EaPU und Memristoren: Durchbruch für sparsamere künstliche Intelligenz

Chips ächzen, Stromzähler rasen: Forschende in China melden einen Durchbruch, der künstliche Intelligenz deutlich sparsamer machen könnte.

KI-Rechenzentren ziehen inzwischen Energiemengen, die sonst ganze Städte benötigen. Während grosse Techunternehmen weitere Serverhallen entwerfen, setzen Forschende an einer anderen Stellschraube an: an der Grundtechnik, mit der neuronale Netze überhaupt rechnen und lernen. Ein Team aus China stellt nun einen Ansatz vor, der nicht nur Strom sparen soll, sondern auch mit den Unzulänglichkeiten heutiger Hardware umgehen kann.

Warum AI heute so viel Strom frisst

Hinter ChatGPT, Bildgeneratoren und Sprachassistenten arbeiten gewaltige neuronale Netze. Meist laufen sie auf Supercomputern mit sehr vielen Prozessoren und Grafikkarten. Jeder Trainingsdurchlauf bedeutet Milliarden einzelner Rechenschritte, bei denen Daten fortlaufend zwischen Speicher und Recheneinheiten verschoben werden.

Gerade dieses permanente Hin-und-her treibt den Energiebedarf nach oben. Selbst wenn Chips effizienter werden, steigt der Verbrauch durch immer grössere Modelle häufig noch schneller. Analysten warnen daher bereits, dass der Stromhunger von Rechenzentren in den nächsten Jahren durch AI deutlich zulegen könnte.

Ein möglicher Ausweg heisst In-Memory-Architekturen: Statt Werte immer wieder aus dem Speicher zu holen, werden Rechenoperationen direkt dort ausgeführt, wo die Informationen abgelegt sind.

Memristoren: Rechnen direkt im Speicher

Im Zentrum der neuen Arbeit stehen Memristoren. Das sind elektronische Bauelemente, deren elektrischer Widerstand sich dauerhaft umstellen lässt. Vereinfacht gesagt: Sie „merken“ sich, wie viel Strom zuvor geflossen ist – daher die Wortkombination aus „Memory“ und „Resistor“.

In neuronalen Netzen können Memristoren die Verbindungsstärken, also die Gewichte, speichern. Zugleich lassen sich ihre physikalischen Eigenschaften für die Berechnungen selbst nutzen. Theoretisch spart das viel Energie, weil deutlich weniger Daten bewegt werden müssen.

Allerdings gibt es einen Haken: Memristoren arbeiten nicht ideal. Sie sind leicht ungenau, zeigen Schwankungen und produzieren Rauschen. Für KI-Modelle, die auf präzise Zahlenwerte angewiesen sind, ist das problematisch. Bislang drückten diese Ungenauigkeiten Qualität und Stabilität so stark, dass der Effizienzvorteil in der Praxis kaum auszuschöpfen war.

Was Memristoren und Co. für Laien bedeuten

Wer nicht täglich mit Halbleitern zu tun hat, kann sich Memristoren am ehesten als analoge Regler mit Gedächtnis vorstellen. Statt nur „an“ oder „aus“ gibt es viele Zwischenstufen, die dauerhaft gespeichert bleiben. Genau solche feinen Abstufungen braucht ein neuronales Netz, um Muster zuverlässig zu erkennen.

In herkömmlichen Computern liegen diese Werte digital vor und müssen für jede Rechnung erneut geladen werden. In einem Memristor-Array befinden sie sich dagegen direkt auf einem physischen Gitter, durch das Ströme fliessen. Mathematische Operationen, die sonst Millionen Einzelschritte erfordern würden, laufen hier als physikalischer Prozess gewissermassen in einem Schritt ab.

Diese Mischung aus analogem Verhalten, Speicherfunktion und lokaler Verarbeitung macht die Bauteile so interessant – besonders in einer Phase, in der Staaten und Unternehmen nach Wegen suchen, Stromnetze nicht zusätzlich zu belasten.

Die Idee hinter EaPU: Fehler zulassen, statt bekämpfen

An dieser Stelle setzt die neue Methode aus China an. Die Forschenden haben ein Trainingsverfahren entwickelt, das „error‑aware probabilistic update“ heisst, kurz EaPU. Der Ansatz folgt einem ungewohnten Prinzip: Kleine Fehler werden nicht mit aller Kraft korrigiert, sondern bewusst toleriert.

"Die zentrale Strategie von EaPU: Nur dann schreiben, wenn sich ein Parameter wirklich deutlich ändern muss – alle Mini‑Korrekturen entfallen."

Konkret läuft es so ab:

• Bei jedem Lernschritt bewertet das Netz, wie stark ein Gewicht angepasst werden müsste.
• Sehr kleine Änderungen unterhalb eines Toleranzschwellenwerts werden nicht umgesetzt.
• Pro Schritt wird nur ein winziger Teil der Gewichte tatsächlich geschrieben – weniger als 0,1 Prozent.
• Die Updates erfolgen probabilistisch: Ob eine Anpassung passiert, hängt von der Fehlergrösse und von Zufallskomponenten ab.

Der entscheidende Punkt: Das Schreiben in einen Memristor benötigt deutlich mehr Energie als das Auslesen. Wenn der Algorithmus das Schreiben nur noch extrem selten anstösst, verschwindet damit der grösste Energieposten praktisch.

Massive Energieersparnis und längere Lebensdauer

Das Team berichtet von sehr grossen Effekten. Gegenüber bisherigen Trainingsmethoden auf Memristor-Basis sinkt der Energiebedarf beim Lernen um den Faktor 50. Noch deutlicher wird der Unterschied im Vergleich zu klassischen GPU-Systemen:

"Nach Berechnungen der Arbeitsgruppe verbraucht ein mit EaPU trainiertes System rund eine Million Mal weniger Energie als ein vergleichbares Setup auf Basis moderner GPU‑Cluster."

Hinzu kommt ein weiterer Vorteil: Jede Schreiboperation setzt den Memristor unter Stress und verringert seine Lebensdauer. Wenn nur noch ein Bruchteil der Zellen regelmässig beschrieben wird, halten die Bauteile spürbar länger. Laut Studie erhöht sich die erwartete Lebensdauer um den Faktor 1.000.

Bemerkenswert ist zudem: Die Forschenden melden nicht nur weniger Verbrauch, sondern auch bessere Ergebnisse. Im Vergleich zu früheren Memristor-Ansätzen steigt die Genauigkeit der Netze um rund 60 Prozent. Damit nähert sich die Leistung der von klassischen Supercomputern an.

Erste Tests: Bildrauschen entfernen und Details schärfen

Damit der Ansatz nicht rein theoretisch bleibt, nutzten die Wissenschaftler eine reale Memristor-Matrix im Nanometer-Bereich. Darauf trainierten sie neuronale Netze für zwei konkrete Aufgaben:

• Rauschen aus Bildern entfernen
• Bilder in höherer Auflösung rekonstruieren (Super-Resolution)

In beiden Fällen lieferten die Modelle Resultate, die mit herkömmlichen digitalen Methoden vergleichbar sind – allerdings bei deutlich geringerem Energieeinsatz. Die Hardware war dabei noch relativ grob strukturiert, was die Forschenden ausdrücklich hervorheben: Sie erwarten, dass modernere Bauteile mit feinerer Struktur die Effekte weiter verstärken könnten.

Könnte das auch große Sprachmodelle antreiben?

Die naheliegende Frage lautet: Lässt sich EaPU auf grosse Sprachmodelle (LLM) übertragen, also auf Systeme in der Grössenordnung von ChatGPT und ähnlichen Modellen? Die Antwort der chinesischen Arbeitsgruppe: Sehr wahrscheinlich ja – getestet wurde es bislang jedoch nicht.

Die Grundmuster beim Training ähneln sich zwischen Bild- und Sprachmodellen: viele Gewichte, viele kleine Korrekturen und eine hohe Frequenz von Schreibvorgängen. Gerade bei LLM wäre der Spareffekt enorm, weil dort Milliarden bis Billionen Parameter beteiligt sind. Selbst wenn künftig nur noch ein kleiner Prozentsatz regelmässig geschrieben würde, läge das Einsparpotenzial in einem riesigen Bereich.

Die Forschenden betonen ausserdem, dass EaPU nicht exklusiv an Memristoren hängt. Das Prinzip lässt sich theoretisch auch auf andere Bauelemente übertragen, zum Beispiel:

• ferroelektrische Transistoren
• magnetoresistive RAM-Speicher (MRAM)
• weitere neuromorphe Speichertechnologien

Damit könnte EaPU als eine Art Bauplan für stromsparende AI-Hardware dienen – unabhängig davon, welche konkrete Chip-Generation am Ende eingesetzt wird.

Chancen und offene Fragen für die AI‑Zukunft

Für Betreiber grosser Rechenzentren könnte ein praxistauglicher Einsatz von EaPU zusammen mit Memristor-Hardware einen echten Richtungswechsel bedeuten. Ein niedrigerer Energiebedarf senkt nicht nur die Kosten, sondern erleichtert auch neue Standorte, weil weniger Kühlung und Infrastruktur nötig wären.

Gleichzeitig bleiben zentrale Punkte ungeklärt: Wie gut lässt sich so ein System in bestehende AI-Stacks einbauen? Welche Software-Werkzeuge wären nötig, damit Entwickler nicht von Grund auf neu programmieren müssen? Und wie stabil verhalten sich grosse Memristor-Arrays über Jahre im Dauerbetrieb?

Klar ist: Sollten sich die nun veröffentlichten Resultate auch im grossen Massstab bestätigen, dürfte der Wettbewerb um effizientere AI-Hardware deutlich an Tempo gewinnen. Während ein Teil der Branche weiterhin auf immer grössere GPU-Farmen setzt, zeigt dieser Ansatz, dass intelligenteres Training – das mit Unschärfen umgehen kann – mindestens ebenso viel bewirken könnte wie der nächste Sprung bei Chips.