Fraunhofer-Institut für Elektronische Mikrosysteme und Festkörper-Technologien EMFT
Fraunhofer-Institut für Elektronische Mikrosysteme und Festkörper-Technologien EMFT

Neuromorphes Computing für schnelle KI am Sensor

Neuromorphe Chips und Systeme verarbeiten Sensordaten in Echtzeit

Künstliche Intelligenz verlagert sich zunehmend aus der Cloud an die Edge: in Sensoren, Maschinen, Kommunikationssysteme und mobile Endgeräte. Dort werten Systeme Daten direkt vor Ort aus, müssen innerhalb enger Zeitvorgaben reagieren und mit einem begrenzten Energiebudget auskommen. Neuromorphes Computing bietet eine Alternative zu herkömmlichen Edge-KI-Ansätzen, die Daten sequenziell oder in Batches verarbeiten. Informationen werden dabei als kurze Ereignisse dargestellt, sogenannte Spikes. Die Verarbeitung orientiert sich so an den relevanten Änderungen im Signal statt an jedem einzelnen Abtastwert.

Am Fraunhofer EMFT ist neuromorphes Computing ein strategisches Forschungsfeld für sensornahe KI-Systeme mit geringer Latenz und niedrigem Energieverbrauch.

Erforschung der Hardware-in-the-Loop-Neuralarchitektursuche in unserem NeuroSpark-Projekt
© Fraunhofer EMFT / Bernd Müller
Erforschung der Hardware-in-the-Loop-Neuralarchitektursuche in unserem NeuroSpark-Projekt

Was ist neuromorphes Comuputing?

Neuromorphes Computing nutzt Hardware und Algorithmen, die von biologischen Nervensystemen inspiriert sind. Netzwerke aus Neuronen tauschen kurze binäre Impulse – sogenannte Spikes – über gewichtete synaptische Verbindungen aus. Das Timing trägt dabei Information: Ein Spike ist somit weder herkömmlicher digitaler Datenwert noch eine analoge Signalform.

Konventionelle KI-Pipelines wandeln Sensorsignale in große Mengen digitaler Daten um, speichern diese im Speicher und verarbeiten sie sequenziell oder stapelweise. Das verursacht Energieverbrauch und Latenz – insbesondere dann, wenn die Daten zunächst an einen Cloud-Dienst übertragen werden. Neuromorphe Chips verarbeiten die Informationen direkt dort, wo das Signal entsteht.

Spiking Neural Networks sind daher besonders vielversprechend, wenn Timing, Energieverbrauch und die direkte Interaktion mit Sensoren oder Aktoren darüber entscheiden, ob ein System zuverlässig funktioniert.

Vom Sensorsignal zur Aktion

Das volle Potenzial zeigt sich erst, wenn die gesamte Verarbeitungskette gemeinsam entworfen wird. Wir untersuchen durchgängige Ketten in fünf Stufen.

01

Sensorschnittstelle

Ein Sensor erfasst Licht, Schall, Strom, Spannung, Bewegung oder Druck.

02

Merkmalsextraktion

Ein analoges oder Mixed-Signal-Frontend zieht die relevanten Merkmale heraus.

03

Spike-Codierung

Die Information wird in eine sparsame zeitliche Spike-Darstellung übersetzt.

04

Neuromorphe Verarbeitung

SENNA verarbeitet die Spike-Ströme mit einem konfigurierten SNN.

05

Ausgabe und Aktion

Ausgangs-Spikes lösen Steuersignale, Aktortreiber oder Alarme aus.

Der neuromorphe Prozessor SENNA

SENNA ist eine Mixed-Signal-Architektur für neuromorphe Prozessoren, die gemeinsam vom Fraunhofer EMFT und Fraunhofer IIS entwickelt wurde. Sie basiert auf einem feldprogrammierbaren Spiking-Neuron-Array, das Mixed-Signal-Neuronen mit einer digital konfigurierbaren, leitungsvermittelten Kommunikationsstruktur kombiniert.

SENNA soll keine großen Cloud-KI-Systeme ersetzen. Seine Stärke liegt in der schnellen, lokalen und energieeffizienten Verarbeitung direkt in der Nähe von Sensoren oder Aktoren.

Block diagram der SENNA Architektur.
© Fraunhofer EMFT / Ferdinand Pscheidl
Block diagram der SENNA Architektur.

Die Architektur bietet:

  • direkte Ein- und Ausgangsschnittstellen für Spikes,
  • parallele Verarbeitung von Spike-Ereignissen,
  • vorhersehbare und zeitdeterministische Signalweiterleitung,
  • geringe Latenz vom Spike-Eingang bis zum Spike-Ausgang,
  • konfigurierbare Netzwerktopologien,
  • effiziente Implementierung von Small-World- und rekurrenten Spiking Neural Networks (SNNs),
  • Kompatibilität mit hardwarebewussten Trainings- und Mapping-Tools.
So entwickeln wir die Hardware

Anwendungen für neuromorphe Chips

Neuromorphes Computing lohnt sich überall dort, wo Sensordaten lokal, schnell und sparsam verarbeitet werden müssen.

Adaptive Kommunikationssysteme

Filterung, Klassifikation und Entzerrung nahe an der physikalischen Schnittstelle, unter engen Zeit- und Energiegrenzen.

Optische Kommunikation

Hybride optoelektronische Systeme mit photonischen Chips, untersucht im Projekt SpikeHERO.

SpikeHERO Projekt ›

Ereignisbasierte Sensorik

Eventbasiertes Radar, Lidar und andere dynamische Sensoren liefern Daten, die zur Spike-Verarbeitung passen.

Adaptive Regelungstechnik

Regelkreise in Robotik, Antrieben und Automatisierung brauchen schnelle und vorhersagbare Reaktionen.

Zustandsüberwachung

Frontends erkennen relevante Änderungen lokal und reduzieren so die zu übertragende Datenmenge.

Akustik und Ultraschall

Laufzeit, Doppler und Spektralmerkmale als Spikes codiert, für Sensorsysteme mit kurzer Latenz.

Neuromorphe Bewegungssteuerung mit SNN
© Fraunhofer EMFT
Neuromorphe Bewegungssteuerung mit SNN

Neuromorphe Bauelemente

Erforschung zukünftiger Hardwarekonzepte

Unsere Forschung umfasst auch die physikalischen Bausteine von Neuronen und Synapsen. Im europäischen NeurONN-Projekt untersuchten das Fraunhofer EMFT und seine Partner gehirninspirierte Architekturen auf Basis gekoppelter oszillierender Elemente – mit Neuronenbauelementen aus Vanadiumdioxid und memristiven Synapsen aus neuartigen zweidimensionalen Materialien.

Dies ergänzt unsere Arbeit an SENNA. Während SENNA eine skalierbare, programmierbare Prozessorarchitektur ist, erforscht die Bauelementeforschung die Komponenten zukünftiger neuromorpher Hardware.

NeurONN-Projekt

 

Unser Ansatz

Das Fraunhofer EMFT verbindet Schaltungsentwicklung, Sensorschnittstellen, Mikrosysteme, neuartige Bauelemente, Modellierung, Test und Systemintegration. Dadurch entstehen neuromorphe Systeme vom physikalischen Sensorsignal bis zum Algorithmus und zur Hardware.

Gemeinsam mit Partnern aus Forschung und Industrie suchen wir Anwendungen, in denen Neuromorphes Computing messbare Vorteile bei Energieverbrauch, Latenz und Systemkomplexität bringt.

Angewandte Projekte im Bereich neuromorphes Computing

Projekt NeurONN

Energieeffizientes neuromorphes Computing

Erfahre mehr

Projekt TEMPO

Neuromorphe Chips für die KI von morgen

Erfahre mehr

Projekt Senna.connect

Entwicklungskit für Spiking Neural Networks

Erfahre mehr

Häufige Fragen - FAQs

Alle ausklappen Alle einklappen

  • Konventionelle Netzwerke verarbeiten numerische Aktivierungen in synchronen Schichten. Spiking Neural Networks tauschen dagegen kurze binäre Impulse aus, deren zeitliche Abfolge Informationen trägt. Ein Neuron wird dabei nur aktiv, wenn ein Ereignis eintrifft.

  • Spiking-Netzwerke können auf herkömmlichen Prozessoren simuliert werden. Die Vorteile bei Energieverbrauch und Latenz zeigen sich jedoch erst auf Hardware, die Spikes direkt verarbeitet – beispielsweise auf der SENNA-Architektur.

  • Neuromorphe Chips können 10- bis 100-mal energieeffizienter sein als herkömmliche CPUs – jedoch nur bei sparsamen, ereignisgesteuerten Daten wie Sensorsignalen oder bei der Anomalieerkennung. Bei dichten Datenströmen verringert sich dieser Vorteil, und das Training erfordert weiterhin einen erheblichen Energieaufwand.

    Am Fraunhofer EMFT bewerten wir Effizienz auf Systemebene, nicht nur auf Chipebene. Ein neuromorpher Rechenkern erzielt nur dann echte Einsparungen, wenn er mit extrem energiearmen analogen Frontends, adaptivem Energiemanagement und zuverlässiger Gehäuse- und Integrationstechnik kombiniert wird. Durch diese ganzheitliche Integration können Geräte monatelang mit einer einzigen Batterie betrieben werden – der entscheidende praktische Maßstab für Edge AI.

  • Das Training erfolgt offline mit hardwarebewussten Methoden. Gemessenes Neuronenverhalten – etwa Schwankungen der Schwellenwerte, Leckströme und Verzögerungen – wird bereits in den Trainingsmodellen berücksichtigt, bevor das Netzwerk auf den Chip abgebildet wird.

  • Die größten Engpässe liegen in der physischen Verschaltung und Speicherintegration: Mit steigender Neuronenzahl benötigen Verdrahtung und die Speicherung synaptischer Zustände enorme Chipfläche und Energie. Gleichzeitig werden die Verschlechterung analoger Signale und Fertigungsvariabilitäten immer schwieriger zu kontrollieren. Zudem beruhen neuromorphe Architekturen auf spike-basierten Trainingsalgorithmen, die noch nicht ausgereift sind. Ihre Skalierung führt häufig zu instabiler Konvergenz oder erfordert umfangreiche digitale Simulationen, wodurch Effizienzgewinne teilweise wieder verloren gehen.

    Am Fraunhofer EMFT begegnen wir diesen Herausforderungen mit einem Fokus auf heterogene Integration und zuverlässige Mikrosysteme. Unsere Arbeiten zu fortschrittlicher Aufbau- und Verbindungstechnik, Energiemanagement und Fehleranalyse helfen dabei, neuromorphe Chips über einzelne Prototypen hinaus zu skalieren. So entstehen kompakte, energieautarke Edge-Systeme, in denen der neuronale Rechenkern mit Sensoren, Aktoren und Energy Harvesting effizient zusammenspielt.