De LLM Wiki: hoe Karpathy's AI-geheugenidee een beweging startte

Bekijk de video

Dit artikel hoort bij onze YouTube-video over het LLM Wiki-concept. Bekijk de volledige uitleg hieronder, of lees verder voor de geschreven gids met extra details en bronnen.

Het probleem: AI heeft geheugenverlies

Een paar weken geleden plaatste AI-onderzoeker Andrej Karpathy een enkel idee op GitHub dat een enorme discussie ontketende. Geen nieuw model, geen fancy code, maar een compleet nieuwe manier van denken over kennisbeheer met AI.

Hij noemt het de LLM Wiki. De kern is eenvoudig maar krachtig: elk AI-systeem dat we vandaag gebruiken, of het nu ChatGPT, Claude of iets anders is, begint elke keer vanaf nul. Er is geen echt geheugen. Het is alsof je een briljante expert hebt die geheugenverlies krijgt zodra je wegloopt. Krachtig, maar ze leren en groeien nooit echt van onze interacties.

Waarom RAG niet genoeg is

De huidige gouden standaard om AI langetermijncontext te geven is Retrieval-Augmented Generation (RAG). Het kan bergen documenten doorzoeken om een antwoord te vinden. Maar het doet dat elke keer opnieuw. Het bouwt nooit een dieper, onderling verbonden web van kennis op.

RAG herleest dezelfde boeken voor elk examen en leert het materiaal nooit echt. Het is een krachtige zoeker, maar geen leerling. En dat gat, dat onvermogen om kennis over tijd op te bouwen, is precies wat Karpathy wilde oplossen.

Het groeiende brein

Karpathy's visie draait het script om. In plaats van een vergeetachtige zoeker die steeds teruggaat naar ruwe bronnen, creëert de LLM Wiki een groeiend brein. De AI is niet langer alleen een zoeker, maar een bouwer. Het construeert een persistente kennisbasis waar kennis één keer wordt samengesteld en daarna bijgewerkt. De wiki zelf wordt het geheugen.

Hij noemt dit een compounding artifact. Het is niet zomaar een map met notities. Zie het als een levende tuin. Elk nieuw stukje informatie is niet alleen een nieuwe plant, het is mest voor het hele ecosysteem. Het geheel wordt niet alleen groter, het wordt daadwerkelijk slimmer.

Hoe de LLM Wiki werkt

Karpathy gebruikt een briljante analogie: zie je notitie-app (zoals Obsidian) als je ontwikkelomgeving. De wiki die je bouwt is je codebase. En de LLM is je onvermoeibare programmeur die al het zware werk doet van schrijven, linken en onderhouden.

Het systeem is gebouwd op drie lagen:

• Raw Sources: je artikelen, PDF's en notities. Deze zijn heilig en worden nooit gewijzigd. Ze zijn de absolute bron van waarheid.
• De Wiki: eenvoudige tekstbestanden waar de LLM volledige controle over heeft. Hier leeft de samengestelde kennis.
• Het Schema: het geheime wapen. Een strikt regelboek dat de LLM precies vertelt hoe de wiki te bouwen, waardoor het van een creatieve verteller een gedisciplineerde bibliothecaris wordt.

Ingest, Query en Lint

De wiki komt tot leven via drie kernoperaties:

• Ingest: voer een nieuw document in en de LLM leest het, weeft vervolgens de inzichten door de bestaande wiki en werkt mogelijk tien verschillende pagina's tegelijk bij.
• Query: stel een vraag en krijg een antwoord op basis van georganiseerde kennis. Als je een geweldig antwoord krijgt, kun je de AI vertellen het op te slaan als een gloednieuwe pagina, zodat je eigen nieuwsgierigheid het systeem slimmer maakt.
• Lint: een programmeerterm voor het controleren op fouten. Laat de LLM scannen op tegenstrijdigheden of verouderde informatie, en het ruimt zichzelf automatisch op.

Deze zelfregulerend cyclus is wat de LLM Wiki fundamenteel anders maakt dan een statische documentopslag of een traditionele RAG-pipeline.

De realiteitscheck

Zodra het idee het internet bereikte, begon de ontwikkelaarsgemeenschap een serieuze realiteitscheck. Drie grote kritieken kwamen naar voren:

• Hallucinatierisico: als de LLM een kleine fout maakt bij het samenvatten van een document en die foutieve samenvatting vervolgens gebruikt om toekomstige vragen te beantwoorden, creëer je een feedbackloop van opgestapelde fouten.
• Consistentieproblemen: LLM's zijn probabilistisch. Ze raden het volgende woord. Kan een machine die tekst genereert zonder echte intentie of begrip vertrouwd worden om een betekenisvolle, coherente kennisbasis te schrijven?
• Architecturale beperkingen: kennis is geen nette boom. Het is een rommelig, complex web van onderling verbonden ideeën. Dat web beheren met eenvoudige links en tekstbestanden is mogelijk fundamenteel ontoereikend.

De oplossing: gecontroleerde pipelines

De kritiek doodde het idee niet, maar maakte het beter. De community verschoof van wachten op een perfecte AI naar het bouwen van betere systemen rond imperfecte AI's. Het doel werd een ongelooflijke co-piloot die 90% van het routinewerk afhandelt.

• Strikte schema's dwingen de LLM je opmaak- en organisatieregels te volgen
• Betrouwbaarheidsscore laat de AI onzekere outputs markeren in plaats van te gokken
• Human-in-the-loop betekent dat de AI bij grote tegenstrijdigheden een takenlijst maakt voor menselijke beoordeling
• Bronverwijzingen zorgen ervoor dat de wiki altijd teruglinkt naar originele documenten

Community-projecten

Met deze veiligheidsmechanismen overleefde Karpathy's idee niet alleen, het ging viraal. Ontwikkelaars wereldwijd begonnen hun eigen versies te bouwen:

Het ecosysteem bruist van versies gericht op strikte data-integriteit, meertalige ondersteuning en verfijnde pipelines. Dit is niet langer het idee van één persoon, het is een volledige beweging geworden.

Wat dit betekent voor het MKB

Als je een klein bedrijf runt, is het LLM Wiki-patroon belangrijk omdat het een reëel probleem oplost: institutionele kennis die de deur uitloopt wanneer medewerkers vertrekken, of begraven raakt in e-mailthreads die niemand ooit meer doorzoekt.

Stel je een AI-assistent voor die elk klantgesprek, elke procesbeslissing en elke leveranciersonderhandeling onthoudt en organiseert in een doorzoekbare, groeiende kennisbasis die slimmer wordt naarmate je hem meer gebruikt.

Bij TecAdRise bouwen we al systemen die dit patroon gebruiken. Ons MemPalace-project implementeert privé, lokaal AI-geheugen met semantic search.

Bronnen