Fraunhofer-Institut für Elektronische Mikrosysteme und Festkörper-Technologien EMFTAI on the Edge kombiniert Edge Computing mit Methoden der künstlichen Intelligenz (KI), um eine leistungsfähige lokale Datenverarbeitung auf Edge-Geräten zu ermöglichen. Die Entwicklung einer AI on the Edge-Lösung für eine spezifische Aufgabe erfordert praktische Erfahrung für die Konzipierung der technischen Anforderungen. Die größte Herausforderung besteht darin, das KI-Modell, den Software-Stack und die eingebettete Hardware als ganzheitliches System aufeinander abzustimmen.
AI on the Edge: KI für effiziente und ressourcenoptimierte Datenverarbeitung
Geringe Latenzzeiten durch die lokale Datenverarbeitung mit Edge AI
KI im Sensorknoten: Embedded Tiny Machine Learning Sensor Plattform
Die Ausführung maschineller Lernverfahren (ML, Machine Learning) auf Edge-Geräten wird als Embedded Machine Learning bezeichnet, wobei Tiny Machine Learning ML-Systeme beschreibt, die Mikrocontroller mit besonders begrenzten Speicher- und Rechenkapazitäten verwenden, um batteriebetriebene, vom Stromnetz unabhängige Anwendungen zu ermöglichen. Dabei ist der Übergang der unterschiedlichen Rechen-Leistungsklassen bei unterschiedlichen eingebetteten Systemen fließend. [1]
AI on the Edge bietet einige Vorteile gegenüber klassischer, serverseitig zentralisierter KI, bringt aber auch zusätzliche Herausforderungen mit sich:
Geringere Latenzzeit
Echtzeitanwendungen erfordern die Auswertung der erfassten Sensordaten direkt auf dem Edge-System. Eine Serververbindung ist möglicherweise nicht jederzeit verfügbar und unterliegt einer zusätzlichen Latenzzeit. Die Herausforderung besteht darin, gleichzeitig die Auswertung komplexer Daten mit ausreichender Genauigkeit bei begrenztem Speicher und begrenzter Rechenleistung zu realisieren und die Echtzeitanforderungen der Anwendung zu erfüllen.
Ressourcensparsamkeit
AI on the Edge kann dazu beitragen, die Umweltbelastung zu reduzieren. Wenn Edge-Geräte die Daten direkt verarbeiten, ist keine ständige energieintensive Datenübertragung erforderlich. Ein möglicher Ansatz besteht darin, anstelle der Rohdaten nur relevante Merkmale oder unerwartete Ereignisse zu übertragen.
Datenschutz
Auch der Schutz sensibler Daten kann durch den Einsatz von AI on the Edge verbessert werden. Werden die Rohdaten nicht an einen zentralen Server übertragen, bleiben sie nur lokal (und temporär) auf dem Edge-Gerät gespeichert. Dieser datensparsame Ansatz reduziert die Angriffsvektoren erheblich. Allerdings sind die lokal erfassten Datensätze untereinander oft nicht homogen und weisen oft unterschiedliche statistische Eigenschaften auf.
Es besteht die Möglichkeit, Modelle auf den lokalen Edge-Geräten mit Hilfe von Algorithmen des föderalen Lernens (Federated Learning) zu trainieren. Dabei wird auf jedem Edge-Gerät jeweils ein Modell auf dem lokalen Datensatz trainiert und nur die Modellparameter werden an einen globalen Server gesendet. Dies gewährleistet den Datenschutz, während gleichzeitig die Erkenntnisse von jedem einzelnen Edge-Gerät genutzt werden können.
Tiny Machine Learning Edge-Computing Architecture
Edge AI Referenzdesign
Die Gruppe Machine Learning Enhanced Sensor Systems des Fraunhofer EMFT hat in dem Projekt KI im Sensorknoten (KIS) eine Referenzplattform für AI on the Edge entwickelt. Dabei handelt es sich um eine mikrocontrollerbasierte Sensorplattform, die die einfache Konnektivität und Erweiterung der Plattform mit unterschiedlichen Sensoren ermöglicht. Die Sensorplattform kann bei verfügbarer Infrastruktur netzteilbasiert mit einer kabelgebundenen Kommunikationsschnittstelle betrieben werden. Für Tiny Machine Learning Anwendungen erfolgt der Betrieb autark über eine Batterie und mit einer drahtlosen Kommunikationsschnittstelle i.e. NB-IoT.
Das Referenzdesign umfasst den gesamten KI-Lebenszyklus und definiert die vollständige Datenpipeline mit Datenvorverarbeitung, Datenbankanbindung und Modelltraining. Die serverseitige Datenverarbeitung läuft auf einer containerisierten Umgebung, die auf bewährten Open-Source-Softwarepaketen basiert. Je nach Komplexität der Anwendung kann das Machine Learning Modell von einfachen linearen Modellen bis hin zu komplexen neuronalen Netzwerken angepasst werden. Die serverseitige Modellentwicklung wird häufig in Python durchgeführt, während die eingebettete Software für das Edge-Gerät, wie z. B. die Inferenzumgebung für maschinelles Lernen, in C/C++ programmiert wird. Die Implementierung von KI-Modellen auf dem Edge-Gerät ist durch die Rechenleistung begrenzt. Optimierungsmethoden wie Quantisierung und Pruning, die den Speicher- und Rechenbedarf reduzieren, müssen im Hinblick auf ihre Auswirkungen auf die Modellleistung auf dem Edge-Gerät bewertet werden. [2]
[1] D. Situnayake und J. Plunkett, AI at the Edge. O'Reilly Media, Inc., 2023.
[2] F. Fraidling et al., "Tiny Machine Learning Sensor Platform for Local Sensor Data Fusion and Evaluation," in MikroSystemTechnik Kongress, Dresden, Deutschland, 2023.
Sie wollen mehr über die Anwendungsmöglichkeiten von AI on the Edge in der Praxis erfahren?
Dann nehmen Sie mit uns Kontakt auf!