Rekenen direct in het geheugen: waarom In-Memory Computing AI kan versnellen en het energieverbruik kan verlagen
Kunstmatige intelligentie wordt meestal geassocieerd met steeds krachtigere processors, maar de processor is slechts een deel van het prestatieprobleem. Moderne AI-systemen verplaatsen voortdurend enorme hoeveelheden informatie tussen geheugen en rekeneenheden, en die gegevensoverdracht kost tijd en elektriciteit nog voordat de daadwerkelijke berekeningen zijn uitgevoerd. Naarmate modellen groter worden, vooral grote taalmodellen, wordt dit geheugenverkeer steeds belangrijker. In-Memory Computing, vaak afgekort tot IMC, benadert het probleem op een andere manier: in plaats van gegevens steeds opnieuw van het geheugen naar een afzonderlijke processor te sturen, worden bepaalde berekeningen uitgevoerd op de plaats waar de gegevens zijn opgeslagen. Onderzoek dat tot en met 2026 is gepubliceerd, laat zien dat dit concept verder gaat dan kleinschalige laboratoriumexperimenten en steeds vaker wordt toegepast in completere AI-accelerators. Het kan de snelheid van inferentie en de energie-efficiëntie verbeteren in datacenters, mobiele apparaten, industriële apparatuur en andere systemen, hoewel beperkingen op het gebied van nauwkeurigheid, productie, software en schaalbaarheid betekenen dat conventionele CPU’s en GPU’s voorlopig niet verdwijnen.
Waarom gegevensverplaatsing een van de grootste hardwareproblemen van AI is geworden
De meeste conventionele computers scheiden geheugen en verwerking van elkaar. Informatie wordt in het geheugen opgeslagen, naar een CPU, GPU of andere accelerator gestuurd wanneer een berekening nodig is en het resultaat kan vervolgens weer naar het geheugen worden teruggeschreven. Deze opzet heeft tientallen jaren uitstekend gewerkt, omdat processors sneller konden worden terwijl ook geheugensystemen verbeterden. Het probleem is dat het verplaatsen van informatie over een chip of tussen afzonderlijke componenten energie kost. Het kost bovendien tijd. Een processor kan theoretisch een enorm aantal berekeningen per seconde uitvoeren, maar kan die capaciteit niet efficiënt benutten wanneer hij regelmatig moet wachten op de gegevens die voor de volgende bewerking nodig zijn.
AI maakt deze zwakte duidelijker zichtbaar omdat neurale netwerken herhaaldelijk berekeningen uitvoeren met grote verzamelingen numerieke waarden die gewichten worden genoemd. Een model moet dezelfde gewichten vaak meerdere keren uitlezen tijdens het verwerken van afbeeldingen, spraak of tekst. Grote taalmodellen verhogen die druk verder omdat ze miljarden parameters kunnen bevatten en tijdens inferentie een aanzienlijke geheugencapaciteit en bandbreedte vereisen. IBM Research beschreef dit probleem bijzonder duidelijk in een onderzoek uit 2026 naar analoge In-Memory Computing voor inferentie met taalmodellen: bij moderne LLM’s kunnen geheugencapaciteit en gegevensverplaatsing grotere beperkingen vormen dan de beschikbare rekenkracht zelf. Alleen snellere processors lossen daarom niet ieder prestatieprobleem op.
Het energieverbruik is minstens zo belangrijk als snelheid. Elke afzonderlijke overdracht kan weinig energie vergen, maar AI-accelerators voeren enorme aantallen overdrachten uit. Op de schaal van een datacenter beïnvloedt de totale elektriciteitsvraag de operationele kosten, de koelbehoefte en de hoeveelheid rekenapparatuur die binnen een bepaalde energievoorziening kan worden geïnstalleerd. Bij apparaten die op batterijen werken, uit hetzelfde probleem zich anders: onnodig geheugenverkeer kan de gebruiksduur verkorten en extra warmte produceren. Het beperken van gegevensverplaatsing is daarom aantrekkelijk, zelfs wanneer de onderliggende processor al efficiënt is. Dit is precies het probleem dat In-Memory Computing probeert aan te pakken.
Wat verandert er wanneer berekeningen in het geheugen plaatsvinden?
In-Memory Computing verandert de gebruikelijke route van gegevens. In plaats van iedere opgeslagen waarde uit te lezen, naar een afzonderlijke processor te sturen en het resultaat vervolgens elders naartoe te verplaatsen, kan een geheugenarray rechtstreeks deelnemen aan bepaalde berekeningen. Deze aanpak is vooral geschikt voor matrix- en vectorbewerkingen, die voortdurend voorkomen in neurale-netwerkworkloads. Eenvoudig gezegd haalt conventionele hardware getallen telkens uit de opslag om ermee te rekenen, terwijl een IMC-ontwerp de fysieke organisatie van opgeslagen waarden kan gebruiken om de berekening op dezelfde locatie uit te voeren. Minder verplaatsing betekent minder gegevensoverdracht, een lagere vertraging en mogelijk minder elektriciteitsverbruik per voltooide AI-taak.
Er bestaat niet één enkel type In-Memory Computing-hardware. Sommige ontwerpen gebruiken vertrouwd statisch random-accessgeheugen, oftewel SRAM, en voeren digitale berekeningen dicht bij of binnen de geheugencellen uit. Andere maken gebruik van niet-vluchtige technologieën, zoals phase-change memory, resistive RAM, flashgeheugen of magnetisch RAM. Analoge ontwerpen kunnen waarden weergeven met behulp van fysieke eigenschappen zoals elektrische geleidbaarheid, waardoor veel vermenigvuldigingen en optellingen parallel kunnen plaatsvinden. Digitale ontwerpen leveren doorgaans een deel van de maximale potentiële efficiëntie in, maar bieden voorspelbaarder numeriek gedrag. Onderzoekers combineren bovendien verschillende geheugentypen, zodat verschillende delen van een AI-workload de meest geschikte methode kunnen gebruiken.
Dit onderscheid is belangrijk omdat IMC niet moet worden gezien als een volledige computer die toevallig uit geheugen bestaat. Alleen bepaalde bewerkingen profiteren sterk van verplaatsing naar het geheugen. Andere werkzaamheden vereisen nog steeds conventionele digitale logica, waaronder besturingstaken, gegevensvoorbereiding, activatiefuncties, communicatie en bewerkingen die een hogere numerieke precisie nodig hebben. Succesvolle ontwerpen bevatten daarom een combinatie van geheugengebaseerde berekeningen en traditionele verwerkingscircuits. Het praktische doel is niet om processors te elimineren, maar om energieverslindende overdrachten tussen processor en geheugen te vermijden voor berekeningen die efficiënter elders kunnen worden uitgevoerd.
Waar In-Memory Computing AI sneller en energiezuiniger kan maken
AI-inferentie is een van de meest geschikte toepassingen voor In-Memory Computing, omdat een getraind model opgeslagen gewichten herhaaldelijk toepast op nieuwe invoergegevens. Wanneer die gewichten in een geheugenarray kunnen blijven die ook de benodigde vermenigvuldigingen en optellingen uitvoert, hoeft het systeem dezelfde informatie niet steeds opnieuw op te halen. Dat kan de vertraging verminderen en tegelijkertijd veel bewerkingen parallel laten verlopen. Het potentiële voordeel is vooral groot wanneer een AI-workload wordt beperkt door de geheugenbandbreedte en niet door de rekenkracht van de processor. Beeldherkenning, spraakverwerking, sensoranalyse en delen van de inferentie van taalmodellen bevatten allemaal bewerkingen die goed bij deze aanpak passen.
Echte hardware laat zien dat het concept meer is dan alleen een theoretische methode om energie te besparen. Een onderzoekschip van IBM die in Nature werd beschreven, gebruikte 35 miljoen phase-change memory-componenten verdeeld over 34 analoge rekentegels en behaalde in de gemeten configuratie maximaal 12,4 biljoen bewerkingen per seconde per watt. De onderzoekers demonstreerden workloads voor spraakherkenning en transcriptie, waaronder een netwerk met tientallen miljoenen gewichten verspreid over meerdere chips. Recenter werk van IBM is verder gegaan richting ontwerpen met 64 cores en architecturen die grotere neurale netwerken moeten ondersteunen. Deze experimenten betekenen niet dat een analoge geheugenchip simpelweg een moderne GPU kan vervangen, maar ze tonen wel aan dat omvangrijke neurale-netwerkworkloads met deze aanpak kunnen worden uitgevoerd.
Onderzoek in 2026 heeft ook het aantal gebruikte geheugentechnologieën uitgebreid. Een gepubliceerd system-on-chip van 55 nanometer gebruikte acht megabit embedded NOR-flash voor compute-in-memory-bewerkingen gericht op edge-AI. Het leverde 0,16 TOPS bij een verbruik van 21,4 milliwatt, wat overeenkomt met 7,48 TOPS per watt, en de onderzoekers rapporteerden minstens viermaal lagere end-to-end-inferentievertraging dan bij hun CPU-referentietests. Tijdens ISSCC 2026 demonstreerde een andere digitale compute-in-memory-accelerator, geproduceerd met Intel 18A-technologie, een gemeten piekefficiëntie van 147 TOPS per watt onder een specifieke testconditie met lage spanning en 25% invoeractiviteit. Zulke cijfers illustreren de snelle ontwikkeling, maar mogen niet als rechtstreekse vergelijking tussen verschillende chips worden gebruikt.
Waarom neurale netwerken bijzonder geschikt zijn voor deze aanpak
Een belangrijke reden waarom IMC goed bij AI past, is de repetitieve wiskundige structuur van neurale netwerken. Een groot deel van de verwerking bestaat uit het vermenigvuldigen van veel invoerwaarden met opgeslagen gewichten en het vervolgens optellen van de resultaten. Conventionele accelerators voeren deze bewerkingen al parallel uit, maar hebben nog steeds een constante aanvoer van gewichten en activaties uit het geheugen nodig. Een compute-in-memory-array kan grote groepen gewichten fysiek dicht bij de berekening houden. Daardoor kunnen honderden of duizenden bewerkingen tegelijkertijd worden gestart, in plaats van iedere vermenigvuldiging te behandelen als een afzonderlijke gegevensoverdracht tussen geheugen en verwerkingslogica.
Grote taalmodellen maken dit voordeel bijzonder interessant, maar laten tegelijkertijd zien waarom de technologie geen eenvoudige oplossing voor iedere AI-beperking vormt. Tijdens tekstgeneratie moeten modelgewichten herhaaldelijk worden geraadpleegd wanneer ieder nieuw token wordt geproduceerd. Sommige fasen van LLM-inferentie zijn daardoor sterk afhankelijk van geheugenbandbreedte, zodat het opslaan van gewichten in rekengeheugen een aanzienlijk deel van het gegevensverkeer kan verminderen. Transformers gebruiken echter ook attention-mechanismen, tussentijdse activaties en key-value-caches die groter kunnen worden naarmate een gesprek of document langer wordt. Deze gegevens zijn dynamischer dan vaste modelgewichten. Een praktische LLM-accelerator heeft daarom naast compute-in-memory-componenten nog steeds conventioneel snel geheugen en digitale verwerking nodig.
De duidelijkste eerste voordelen kunnen zichtbaar worden bij edge-AI, waar de beschikbare energie en koeling veel beperkter zijn dan in een datacenter. Een beveiligingscamera die lokaal objecten herkent, een industriële sensor die afwijkend machinegedrag detecteert of een draagbaar apparaat dat signalen verwerkt, heeft niet noodzakelijk de flexibiliteit van een grote GPU nodig. Het apparaat moet een afgebakende reeks AI-bewerkingen snel uitvoeren en daarbij zo weinig mogelijk energie gebruiken. Niet-vluchtig geheugen kan daarbij een extra voordeel bieden, omdat modelgewichten opgeslagen blijven wanneer de stroom wordt uitgeschakeld. Een apparaat kan daardoor ontwaken, informatie verwerken en weer naar een energiezuinige toestand terugkeren zonder telkens het volledige model uit externe opslag te laden.
Wat voorkomt dat In-Memory Computing de huidige AI-hardware vervangt?
De grootste technische uitdaging voor analoge In-Memory Computing is dat echte geheugencomponenten wiskundig niet perfect zijn. Elektrische ruis, productieverschillen tussen cellen, veranderingen in de tijd en temperatuureffecten kunnen ervoor zorgen dat de fysieke waarde die in een component is opgeslagen iets afwijkt van het bedoelde getal. Phase-change memory kan bijvoorbeeld te maken krijgen met veranderingen in weerstand na verloop van tijd, terwijl andere resistieve geheugentypen hun eigen vormen van variabiliteit kennen. Neurale netwerken kunnen een zekere mate van benadering verdragen, maar fouten moeten wel binnen aanvaardbare grenzen blijven. Een overzichtsstudie uit 2026 in npj Unconventional Computing wees op methoden zoals mixed-precision-verwerking en foutcorrectietechnieken die de nauwkeurigheid kunnen verbeteren, maar deze maatregelen vereisen extra circuits of aanvullende berekeningen.
Ook buiten de geheugenarray zelf bestaan energiekosten. Een analoge berekening is alleen bruikbaar voor gewone software nadat de invoer en uitvoer zijn weergegeven in een vorm die de rest van de chip kan begrijpen. Digitaal-naar-analoog- en analoog-naar-digitaalomzetters kunnen aanzienlijke hoeveelheden stroom verbruiken en chipoppervlak innemen. Communicatie tussen meerdere geheugenarrays kan eveneens een deel van het voordeel van een afzonderlijke array tenietdoen. Daarom kunnen indrukwekkende laboratoriummetingen van een kleine compute-in-memory-macro niet automatisch worden vergeleken met de efficiëntie van een volledige GPU of AI-accelerator. Precisie, workload, geheugencapaciteit, invoeractiviteit, chipoppervlak en de onderdelen die in de meting zijn meegenomen, beïnvloeden allemaal de gerapporteerde TOPS-per-watt-waarden.
Digitale compute-in-memory-ontwerpen vermijden sommige nauwkeurigheidsproblemen van analoge systemen door berekeningen in conventionele binaire vorm uit te voeren. Onderzoek dat in 2025 in Nature Electronics werd gepubliceerd, demonstreerde een spintronische digitale compute-in-memory-macro op basis van magnetisch geheugen die meerdere niveaus van numerieke precisie ondersteunde en in de geteste workloads een inferentienauwkeurigheid behaalde die gelijkwaardig was aan software. Afhankelijk van de precisie en bedrijfsomstandigheden varieerde de gerapporteerde efficiëntie van 7,02 tot 112,3 TOPS per watt. Juist die grote spreiding illustreert een belangrijk punt: energie-efficiëntie is geen vaste eigenschap van een architectuur. Een hogere precisie, andere workloads of de overstap van een kleine geheugenmacro naar een volledig bruikbaar systeem kunnen het resultaat aanzienlijk veranderen.
Hoe een realistisch adoptietraject na 2026 eruitziet
De meest realistische toekomst is daarom heterogene computing, waarbij verschillende soorten hardware samenwerken in plaats van dat één ontwerp alle andere vervangt. CPU’s zijn geschikt voor algemene besturing en onregelmatige taken. GPU’s en gespecialiseerde digitale accelerators bieden programmeerbaarheid, volwassen softwareondersteuning en hoge prestaties voor uiteenlopende AI-workloads. Compute-in-memory-blokken kunnen worden toegevoegd voor de bewerkingen waarbij het voortdurend heen en weer verplaatsen van gewichten bijzonder inefficiënt is. Onderzoeksprocessors volgen dit principe nu al door analoge of digitale geheugenarrays te combineren met conventionele logica. Een systeem kan vervolgens ieder deel van een neuraal netwerk naar het hardwaretype sturen dat die taak het efficiëntst uitvoert.
Edge-apparaten zullen deze ideeën waarschijnlijk anders toepassen dan grote datacenters. Bij een klein apparaat kan het belangrijker zijn om het energieverbruik op milliwattniveau te houden, direct te reageren en een compact model lokaal opgeslagen te houden. De NOR-flashdemonstratie uit 2026 laat zien hoe compute-in-memory kan worden gecombineerd met ondersteunende circuits en software voor dit type workload. Datacenters staan voor een moeilijker probleem, omdat de grootste modellen enorme geheugencapaciteit, geavanceerde netwerkverbindingen en frequente softwarewijzigingen vereisen. Daar zal IMC waarschijnlijk eerst verschijnen als gespecialiseerde accelerator of geheugengerichte component naast bestaande AI-processors, in plaats van als zelfstandige vervanging voor huidige serverhardware.
In 2026 is In-Memory Computing ver genoeg ontwikkeld om een geloofwaardig antwoord te bieden op een van de fundamentele inefficiënties van AI-hardware: enorme hoeveelheden gegevens verplaatsen alleen zodat berekeningen ergens anders kunnen worden uitgevoerd. Onderzoekschips met phase-change memory, SRAM, magnetisch geheugen, memristors en flashgeheugen hebben aangetoond dat nuttige neurale-netwerkbewerkingen dichter bij de opgeslagen gegevens kunnen plaatsvinden en onder de juiste omstandigheden aanzienlijke verbeteringen in energie-efficiëntie kunnen opleveren. Tegelijkertijd blijven de beperkingen belangrijk: nauwkeurigheid, omzetters, geheugencapaciteit, softwarecompatibiliteit, productieconsistentie en communicatie op systeemniveau beïnvloeden allemaal de werkelijke prestaties. De sterkste argumentatie voor IMC is daarom niet dat geheugen de processor zal vervangen, maar dat toekomstige AI-hardware veel minder energie kan verspillen door zorgvuldiger te bepalen waar iedere berekening het best kan plaatsvinden.
