Direktes Rechnen im Speicher: Warum In-Memory Computing KI beschleunigen und den Energieverbrauch senken könnte
Künstliche Intelligenz wird meist mit immer leistungsfähigeren Prozessoren in Verbindung gebracht, doch der Prozessor ist nur ein Teil der Leistungsfrage. Moderne KI-Systeme bewegen ständig enorme Datenmengen zwischen Speicher und Recheneinheiten, und dieser Datentransfer verbraucht Zeit und Energie, noch bevor die eigentlichen Berechnungen abgeschlossen sind. Mit zunehmender Größe der Modelle gewinnt dieser Speicherverkehr weiter an Bedeutung, insbesondere bei großen Sprachmodellen. In-Memory Computing, häufig als IMC abgekürzt, setzt an einer anderen Stelle an: Statt Daten immer wieder aus dem Speicher zu einem separaten Prozessor zu übertragen, werden bestimmte Berechnungen direkt dort ausgeführt, wo die Daten gespeichert sind. Forschungsarbeiten bis einschließlich 2026 zeigen, dass sich dieser Ansatz von kleinen Labordemonstrationen hin zu umfassenderen KI-Beschleunigern entwickelt. Dadurch könnten Inferenzgeschwindigkeit und Energieeffizienz in Rechenzentren, mobilen Geräten, Industrieanlagen und anderen Systemen verbessert werden. Einschränkungen bei Genauigkeit, Fertigung, Software und Skalierbarkeit bedeuten jedoch, dass herkömmliche CPUs und GPUs nicht verschwinden werden.
Warum der Datentransfer zu einem der größten Hardwareprobleme der KI geworden ist
Bei den meisten herkömmlichen Computern sind Speicher und Verarbeitung voneinander getrennt. Informationen werden im Speicher abgelegt, bei Bedarf an eine CPU, GPU oder einen anderen Beschleuniger übertragen und das Ergebnis anschließend gegebenenfalls wieder in den Speicher geschrieben. Diese Architektur hat jahrzehntelang sehr gut funktioniert, weil sowohl Prozessoren als auch Speichersysteme kontinuierlich verbessert wurden. Das Problem besteht darin, dass das Verschieben von Informationen innerhalb eines Chips oder zwischen verschiedenen Komponenten Energie kostet. Außerdem benötigt jeder Transfer Zeit. Ein Prozessor kann theoretisch eine enorme Zahl von Berechnungen pro Sekunde durchführen, seine Leistungsfähigkeit jedoch nicht vollständig nutzen, wenn er regelmäßig auf die für den nächsten Rechenschritt benötigten Daten warten muss.
Bei KI-Anwendungen wird diese Schwäche besonders deutlich, weil neuronale Netze wiederholt Berechnungen mit großen Mengen numerischer Werte durchführen, den sogenannten Gewichten. Ein Modell muss dieselben Gewichte unter Umständen immer wieder lesen, während es Bilder, Sprache oder Text verarbeitet. Große Sprachmodelle erhöhen den Druck zusätzlich, da sie Milliarden von Parametern enthalten können und während der Inferenz eine beträchtliche Speicherkapazität und Speicherbandbreite benötigen. IBM Research beschrieb dieses Problem in einer 2026 veröffentlichten Studie zum analogen In-Memory Computing für die Inferenz von Sprachmodellen besonders deutlich: Bei modernen LLMs können Speicherkapazität und Datentransfer stärkere Einschränkungen darstellen als die verfügbare reine Rechenleistung. Schnellere Prozessoren allein lösen deshalb nicht jedes Leistungsproblem.
Der Energiebedarf ist dabei ebenso wichtig wie die Geschwindigkeit. Jeder einzelne Datentransfer mag nur wenig Energie verbrauchen, doch KI-Beschleuniger führen eine enorme Zahl solcher Transfers aus. Im Maßstab eines Rechenzentrums wirkt sich der kumulierte Stromverbrauch auf Betriebskosten, Kühlungsanforderungen und die Menge an Rechenleistung aus, die innerhalb eines bestimmten Energiebudgets installiert werden kann. Bei batteriebetriebenen Geräten zeigt sich dasselbe Problem auf andere Weise: Unnötiger Speicherverkehr kann die Laufzeit verkürzen und zusätzliche Wärme erzeugen. Weniger Datenbewegung ist daher selbst dann sinnvoll, wenn der eigentliche Prozessor bereits effizient arbeitet. Genau hier setzt In-Memory Computing an.
Was sich verändert, wenn Berechnungen direkt im Speicher stattfinden
In-Memory Computing verändert den üblichen Weg der Daten. Statt jeden gespeicherten Wert auszulesen, an einen separaten Prozessor zu übertragen und das Ergebnis anschließend wieder weiterzuleiten, kann ein Speicherarray selbst an bestimmten Berechnungen beteiligt werden. Besonders geeignet ist dieser Ansatz für Matrix- und Vektoroperationen, die bei neuronalen Netzen ständig vorkommen. Vereinfacht ausgedrückt werden bei herkömmlicher Hardware Zahlen immer wieder aus dem Speicher geholt, um mit ihnen zu rechnen. Bei einem IMC-Design kann dagegen die physische Anordnung der gespeicherten Werte dazu genutzt werden, einen Teil der Berechnung direkt am Speicherort auszuführen. Weniger Datenbewegung bedeutet weniger Transfers, geringere Verzögerungen und potenziell einen niedrigeren Stromverbrauch pro abgeschlossener KI-Aufgabe.
Es gibt nicht nur eine einzige Form von In-Memory-Computing-Hardware. Einige Konzepte verwenden bekannten statischen Arbeitsspeicher, also SRAM, und führen digitale Berechnungen in unmittelbarer Nähe der Speicherzellen oder direkt darin aus. Andere setzen auf nichtflüchtige Technologien wie Phasenwechselspeicher, resistiven RAM, Flash-Speicher oder magnetischen RAM. Analoge Designs können Werte anhand physikalischer Eigenschaften wie der elektrischen Leitfähigkeit darstellen und dadurch viele Multiplikations- und Additionsoperationen parallel ausführen. Digitale Varianten verzichten häufig auf einen Teil des maximal möglichen Effizienzgewinns, bieten dafür aber ein besser vorhersehbares numerisches Verhalten. Forscher kombinieren zudem unterschiedliche Speicherarten, damit verschiedene Teile eines KI-Workloads mit der jeweils geeigneten Methode verarbeitet werden können.
Diese Unterscheidung ist wichtig, weil In-Memory Computing nicht als vollständiger Computer verstanden werden sollte, der lediglich aus Speicher besteht. Nur bestimmte Operationen profitieren besonders stark davon, direkt in den Speicher verlagert zu werden. Andere Aufgaben benötigen weiterhin herkömmliche digitale Logik. Dazu gehören Steuerungsaufgaben, Datenaufbereitung, Aktivierungsfunktionen, Kommunikation sowie Berechnungen, die eine höhere numerische Präzision erfordern. Erfolgreiche Designs verbinden deshalb speicherbasierte Berechnungen mit klassischer Verarbeitungselektronik. Das praktische Ziel besteht nicht darin, Prozessoren abzuschaffen, sondern energieintensive Transfers zwischen Prozessor und Speicher dort zu vermeiden, wo Berechnungen effizienter direkt am Speicherort stattfinden können.
Wo In-Memory Computing KI schneller und energieeffizienter machen kann
Die KI-Inferenz gehört zu den besonders geeigneten Einsatzgebieten für In-Memory Computing, weil ein trainiertes Modell gespeicherte Gewichte wiederholt auf neue Eingangsdaten anwendet. Können diese Gewichte in einem Speicherarray verbleiben, das gleichzeitig die erforderlichen Multiplikationen und Akkumulationen ausführt, muss das System dieselben Informationen nicht ständig erneut abrufen. Dadurch kann die Latenz sinken, während zahlreiche Operationen parallel ausgeführt werden. Besonders groß ist das Potenzial bei KI-Workloads, deren Geschwindigkeit stärker durch die Speicherbandbreite als durch die mathematische Leistungsfähigkeit des Prozessors begrenzt wird. Bilderkennung, Sprachverarbeitung, Sensordatenanalyse und Teile der Inferenz großer Sprachmodelle enthalten viele Operationen, die zu diesem Muster passen.
Reale Hardware zeigt, dass es sich dabei nicht nur um ein theoretisches Konzept zur Energieeinsparung handelt. Ein in Nature vorgestellter Forschungs-Chip von IBM nutzte 35 Millionen Phasenwechselspeicher-Bauelemente, die auf 34 analoge Rechenkacheln verteilt waren, und erreichte in der gemessenen Konfiguration bis zu 12,4 Billionen Operationen pro Sekunde und Watt. Die Forscher demonstrierten Spracherkennungs- und Transkriptionsaufgaben, darunter ein Netzwerk mit mehreren zehn Millionen Gewichten, die auf mehrere Chips verteilt waren. Neuere IBM-Arbeiten führten diesen Ansatz zu Architekturen mit 64 Kernen weiter, die für größere neuronale Netze vorgesehen sind. Solche Versuche bedeuten nicht, dass ein analoger Speicherchip einfach eine moderne GPU ersetzen kann. Sie zeigen jedoch, dass umfangreiche neuronale Netze grundsätzlich mit diesem Ansatz verarbeitet werden können.
Die Forschung im Jahr 2026 hat außerdem die Bandbreite der eingesetzten Speichertechnologien erweitert. Ein veröffentlichtes System-on-Chip im 55-Nanometer-Verfahren verwendete acht Megabit eingebetteten NOR-Flash-Speicher für Compute-in-Memory-Berechnungen im Bereich Edge AI. Das System erreichte 0,16 TOPS bei einer Leistungsaufnahme von 21,4 Milliwatt, was 7,48 TOPS pro Watt entspricht. Die Forscher berichteten zudem von einer mindestens vierfachen Verringerung der gesamten Inferenzlatenz gegenüber ihren CPU-Vergleichssystemen. Auf der ISSCC 2026 wurde ein weiterer digitaler Compute-in-Memory-Beschleuniger auf Basis der Intel-18A-Technologie vorgestellt, der unter einer bestimmten Testbedingung mit niedriger Spannung und 25 Prozent Eingangsaktivität eine gemessene Spitzenleistung von 147 TOPS pro Watt erreichte. Solche Werte verdeutlichen den schnellen Fortschritt, dürfen jedoch nicht als direkte Vergleichswerte zwischen grundlegend unterschiedlichen Chips verstanden werden.
Warum neuronale Netze besonders gut für diesen Ansatz geeignet sind
Ein wesentlicher Grund für die Eignung von IMC für künstliche Intelligenz liegt in der sich wiederholenden mathematischen Struktur neuronaler Netze. Ein großer Teil der Verarbeitung besteht darin, zahlreiche Eingangswerte mit gespeicherten Gewichten zu multiplizieren und die Ergebnisse anschließend zu addieren. Herkömmliche Beschleuniger führen solche Operationen bereits parallel aus, benötigen dafür jedoch einen kontinuierlichen Strom von Gewichten und Aktivierungen aus dem Speicher. Ein Compute-in-Memory-Array kann große Gruppen von Gewichten physisch nahe an der eigentlichen Berechnung halten. Dadurch können Hunderte oder Tausende Operationen gemeinsam gestartet werden, anstatt jede Multiplikation mit einem separaten Datentransfer zwischen Speicher und Rechenlogik zu verbinden.
Bei großen Sprachmodellen ist dieser Vorteil besonders interessant, gleichzeitig zeigen LLMs aber auch, warum die Technologie keine einfache Lösung für sämtliche KI-Engpässe darstellt. Während der Textgenerierung müssen Modellgewichte bei der Erzeugung jedes neuen Tokens wiederholt abgerufen werden. Dadurch hängen bestimmte Phasen der LLM-Inferenz stark von der Speicherbandbreite ab, sodass die Speicherung der Gewichte in einem berechnungsfähigen Speicher einen erheblichen Teil des Datenverkehrs einsparen könnte. Transformer verwenden jedoch zusätzlich Aufmerksamkeitsmechanismen, Zwischenaktivierungen und sogenannte Key-Value-Caches, deren Umfang mit der Länge eines Gesprächs oder Dokuments wachsen kann. Diese Daten verändern sich deutlich stärker als fest gespeicherte Modellgewichte. Ein praxistauglicher LLM-Beschleuniger benötigt daher neben Compute-in-Memory-Komponenten weiterhin konventionellen Hochgeschwindigkeitsspeicher und digitale Recheneinheiten.
Besonders frühe Vorteile könnten sich bei Edge AI zeigen, wo die verfügbaren Energie- und Kühlungsbudgets wesentlich kleiner sind als in einem Rechenzentrum. Eine Überwachungskamera mit lokaler Objekterkennung, ein Industriesensor zur Erkennung ungewöhnlichen Maschinenverhaltens oder ein tragbares Gerät zur Signalverarbeitung benötigt nicht zwangsläufig die Flexibilität einer großen GPU. Entscheidend ist vielmehr, eine klar definierte Gruppe von KI-Aufgaben schnell und mit möglichst geringem Energieverbrauch auszuführen. Nichtflüchtiger Speicher kann hier einen zusätzlichen Vorteil bieten, weil die Modellgewichte auch dann gespeichert bleiben, wenn die Stromversorgung abgeschaltet wird. Ein Gerät kann dadurch aktiviert werden, Informationen verarbeiten und wieder in einen energiesparenden Zustand wechseln, ohne das vollständige Modell jedes Mal erneut aus einem externen Speicher laden zu müssen.
Was In-Memory Computing noch daran hindert, heutige KI-Hardware zu ersetzen
Die größte technische Herausforderung des analogen In-Memory Computing besteht darin, dass reale Speicherbauelemente mathematisch nicht vollkommen exakt arbeiten. Elektrisches Rauschen, Fertigungsunterschiede zwischen einzelnen Zellen, Veränderungen im Laufe der Zeit sowie Temperatureinflüsse können dazu führen, dass der physikalisch gespeicherte Wert geringfügig vom vorgesehenen Zahlenwert abweicht. Phasenwechselspeicher können beispielsweise eine Veränderung ihres Widerstands im Laufe der Zeit aufweisen, während andere resistive Speichertechnologien eigene Formen der Variabilität besitzen. Neuronale Netze können ein gewisses Maß an Ungenauigkeit tolerieren, trotzdem müssen Fehler innerhalb akzeptabler Grenzen bleiben. Eine 2026 veröffentlichte Übersicht in npj Unconventional Computing hebt Verfahren wie Mixed-Precision-Verarbeitung und Fehlerkorrektur hervor, die die Genauigkeit verbessern können. Diese Maßnahmen benötigen allerdings zusätzliche Schaltungen oder weitere Berechnungsschritte.
Auch außerhalb des eigentlichen Speicherarrays entsteht Energieverbrauch. Eine analoge Berechnung ist für gewöhnliche Software erst dann nutzbar, wenn Ein- und Ausgabewerte in einer Form dargestellt werden, die vom restlichen Chip verarbeitet werden kann. Digital-Analog- und Analog-Digital-Wandler können dabei einen relevanten Anteil an Strom und Chipfläche beanspruchen. Auch die Kommunikation zwischen mehreren Speicherarrays kann einen Teil der Vorteile verringern, die innerhalb eines einzelnen Arrays erzielt werden. Deshalb können beeindruckende Laborwerte eines kleinen Compute-in-Memory-Makros nicht automatisch mit der Effizienz einer vollständigen GPU oder eines vollständigen KI-Beschleunigers verglichen werden. Numerische Präzision, Workload, Speicherkapazität, Eingangsaktivität, Chipfläche und die Frage, welche Systembestandteile in einer Messung berücksichtigt wurden, beeinflussen die angegebenen TOPS-pro-Watt-Werte erheblich.
Digitale Compute-in-Memory-Designs vermeiden einen Teil der Genauigkeitsprobleme analoger Systeme, indem die Berechnungen weiterhin in klassischer binärer Form erfolgen. Eine 2025 in Nature Electronics veröffentlichte Forschungsarbeit demonstrierte ein spintronisches digitales Compute-in-Memory-Makro auf Basis magnetischen Speichers, das verschiedene numerische Präzisionsstufen unterstützte und bei den getesteten Workloads eine mit Softwareberechnungen vergleichbare Inferenzgenauigkeit erreichte. Abhängig von Präzision und Betriebsbedingungen lag die angegebene Effizienz zwischen 7,02 und 112,3 TOPS pro Watt. Schon diese große Spannbreite verdeutlicht einen wichtigen Punkt: Energieeffizienz ist keine feste Eigenschaft einer Architektur. Höhere Präzision, andere Workloads oder der Übergang von einem kleinen Speichermakro zu einem vollständig nutzbaren System verändern das Ergebnis deutlich.
Wie ein realistischer Weg zur Einführung nach 2026 aussehen könnte
Die realistischste Entwicklung ist daher heterogenes Computing, bei dem mehrere Hardwaretypen zusammenarbeiten, anstatt dass eine einzige Architektur alle anderen ersetzt. CPUs eignen sich gut für allgemeine Steuerungsaufgaben und unregelmäßige Abläufe. GPUs und spezielle digitale Beschleuniger bieten Programmierbarkeit, ausgereifte Softwareunterstützung und hohe Leistung bei vielen verschiedenen KI-Workloads. Compute-in-Memory-Blöcke können für diejenigen Operationen ergänzt werden, bei denen das wiederholte Verschieben von Gewichten besonders ineffizient ist. Forschungsprozessoren verfolgen bereits dieses Prinzip und kombinieren analoge oder digitale Speicherarrays mit konventioneller Logik. Ein System kann dadurch unterschiedliche Teile eines neuronalen Netzes an die jeweils dafür am besten geeignete Hardware weitergeben.
Edge-Geräte könnten diese Konzepte anders übernehmen als große Rechenzentren. Bei kleinen Geräten können ein Stromverbrauch im Milliwattbereich, kurze Reaktionszeiten und die Möglichkeit, ein kompaktes Modell dauerhaft lokal zu speichern, entscheidend sein. Die 2026 demonstrierte NOR-Flash-Lösung zeigt, wie Compute-in-Memory gemeinsam mit unterstützender Elektronik und Software für solche Aufgaben integriert werden kann. Rechenzentren stehen vor einer schwierigeren Aufgabe, weil die größten Modelle enorme Speicherkapazitäten, komplexe Netzwerke und häufige Softwareänderungen erfordern. Hier dürfte IMC zunächst eher als spezialisierter Beschleuniger oder speicherzentrierte Komponente neben etablierten KI-Prozessoren eingesetzt werden und weniger als eigenständiger Ersatz für vorhandene Serverhardware.
Bis 2026 hat sich In-Memory Computing weit genug entwickelt, um eine glaubwürdige Antwort auf eine grundlegende Ineffizienz moderner KI-Hardware zu liefern: enorme Datenmengen werden bewegt, nur damit Berechnungen anschließend an einer anderen Stelle stattfinden können. Forschungs-Chips mit Phasenwechselspeicher, SRAM, magnetischem Speicher, Memristoren und Flash-Speicher haben gezeigt, dass wichtige Operationen neuronaler Netze näher an den gespeicherten Daten ausgeführt werden können und unter geeigneten Bedingungen deutliche Verbesserungen bei der Energieeffizienz ermöglichen. Die verbleibenden Herausforderungen sind jedoch ebenso relevant: Genauigkeit, Datenwandler, Speicherkapazität, Softwarekompatibilität, Fertigungskonsistenz und Kommunikation auf Systemebene beeinflussen die tatsächliche Leistung. Das stärkste Argument für IMC besteht deshalb nicht darin, dass Speicher den Prozessor ersetzen wird, sondern darin, dass zukünftige KI-Hardware wesentlich weniger Energie verschwenden kann, wenn sorgfältiger entschieden wird, wo eine bestimmte Berechnung ausgeführt werden sollte.
