De harness rond AI: waarom hetzelfde model in de ene organisatie werkt en in de andere niet

Stel: op dezelfde afdeling werken twee mensen met dezelfde AI-assistent, die bij hun bestanden en systemen kan. De ene laat hem een offerte voorbereiden, een rapport samenvatten en een planning nalopen, en houdt er elke week tijd aan over. De andere legt hem elke ochtend opnieuw uit hoe het bedrijf werkt, welke klant gevoelig ligt en welke cijfers niet zomaar mogen veranderen, en controleert daarna alles zelf nog eens. Na drie weken vindt de eerste het onmisbaar en de tweede overroepen. Allebei hebben ze gelijk over hun eigen ervaring, en allebei vergissen ze zich in de oorzaak.

Een talent zonder inwerkmap

Een taalmodel lijkt op een uitzonderlijk getalenteerde nieuwkomer die op zijn eerste dag binnenstapt. Hij weet veel, leert snel en kent het huis niet. Wat hem productief maakt, is wat rond hem georganiseerd wordt: de afspraken, de sleutels die hij wel en niet krijgt, en iemand die zijn werk nakijkt. In de AI-wereld heet dat geheel de harness, een Engelse vakterm die er gangbare taal is. Anthropic noemt zijn ontwikkelkit voor agents zo, OpenAI wijdde er een lang stuk aan, en onderzoekers van Google omschrijven het als alles waarmee een model zijn taak uitvoert: instructies, geheugen, vaardigheden, tools en de aansturing van dat geheel.

Waar dat geheel ontbreekt, neemt een mens die rol over. De tweede collega uit de openingsscène doet precies dat. Zij levert elke dag met de hand de context, de regels en de controle die nergens anders vastliggen.

Wat een betere omgeving oplevert

Onderzoekers van onder meer Google Cloud lieten in een recente, nog niet peer-reviewde studie een model een professionele taak opnieuw uitvoeren, met hetzelfde model maar een aangepaste werkwijze die een tweede AI-systeem had voorgesteld. De score ging van 43 naar 78 op honderd. Dat was meer dan één extra regel om het eigen werk na te kijken. Het model moest onder meer elk cijfer naar zijn bron herleiden en zijn eigen bestanden opnieuw openen en nakijken, en het kreeg vakspecifieke werkwijzen mee. De fouten van de eerste poging waren volgens de auteurs procedureel en geen gebrek aan kennis. Het blijft één taak, door de onderzoekers zelf als illustratie gekozen. Over alle testtaken samen waren de winsten veel kleiner.

Een onafhankelijke studie met kantoortaken, eveneens een preprint, wijst dezelfde kant uit: hetzelfde model scoort in verschillende kant-en-klare omgevingen duidelijk anders, en welke omgeving het best werkt, verschilt per model. Een universeel beste harness bestaat volgens dat onderzoek niet. OpenAI schreef over een eigen experiment dat het werk eerst traag vorderde, "not because Codex was incapable, but because the environment was underspecified".

Drie keuzes die geen IT-keuzes zijn

Wat in zo'n harness zit, klinkt technisch, maar elke organisatie kent die vragen van het inwerken van een nieuwe medewerker.

Eerst de afspraken. Agents als Claude Code lezen bij elke sessie een bestand met vaste instructies, zoals CLAUDE.md of het open formaat AGENTS.md. Wie de werkwijze één keer goed opschrijft, hoeft ze niet elke ochtend te herhalen. Meer is daarbij niet beter. OpenAI zag een groot instructiebestand mislukken en kreeg betere resultaten met een korte inhoudstafel die naar diepere documentatie verwijst. Een afspraak blijft wel een verzoek. Anthropic schrijft dat Claude zulke bestanden behandelt "as context, not enforced configuration". Wat echt niet mag gebeuren, vraagt een technische grens, al blijft de keuze wat niet mag een beslissing van het management.

Dan de toegang. Anthropic raadt een zo klein mogelijke set tools aan, zodat een agent niet verward raakt, en OpenAI adviseert elke tool in te schatten op risico, met menselijk toezicht bij acties die gevoelig, onomkeerbaar of zwaar zijn. Hoe het misloopt zonder die grens, bleek in juli 2025. Tijdens een publiek experiment van SaaStr-oprichter Jason Lemkin wiste een agent van Replit gegevens uit een productiedatabase, ondanks een afgesproken codestop. Replit-topman Amjad Masad noemde het "Unacceptable and should never be possible" en kondigde een scheiding tussen ontwikkel- en productiegegevens aan. Replit wees erop dat het back-ups heeft waarmee een project met één klik hersteld kan worden. Het toont wel wat een afspraak waard is zonder slot.

Ten slotte de controle. Een model vragen om zijn eigen werk na te lezen, levert in onderzoek zonder toets van buitenaf meestal weinig op. Onderzoek van Google DeepMind vond dat taalmodellen hun redeneringen zonder externe feedback moeilijk zelf verbeteren en soms zelfs achteruitgaan. Een overzichtsstudie kwam tot een vergelijkbare conclusie: zelfcorrectie werkt vooral wanneer er betrouwbare feedback van buitenaf is. Modellen die er grootschalig op getraind zijn, doen het beter, maar de betrouwbare winst komt van buiten. Anthropic zag zijn agents eigen werk zelfverzekerd prijzen, ook als het middelmatig was. Een controle die werkt, toetst tegen iets buiten het model: een bron, een test, een checklist of een tweede beoordelaar. De ingreep in de Google-studie was van die soort.

Het model doet er wel degelijk toe

Daaruit volgt niet dat het model niet langer het knelpunt is. Dat zou te ver gaan. Nieuwe modelgeneraties maken nog altijd de grote sprongen: METR stelt vast dat de taken die modellen zelfstandig kunnen afronden, sinds 2019 in hoog tempo langer worden, vooral bij software- en onderzoekstaken. In de Google-studie won het sterkste geteste model het minst bij een betere harness, en bleef het sterkere model voor wanneer beide er een kregen. De makers van een minimale programmeeragent melden dat die met sterke modellen hoge scores haalt op een bekende programmeerbenchmark.

Daar komt een ouder argument bij. AI-onderzoeker Rich Sutton beschreef in 2019 als "bitter lesson" dat ingebouwde menselijke kennis op korte termijn helpt en op lange termijn verliest van methodes die meegroeien met rekenkracht. Op harnesses toegepast betekent dat: wat een harness vandaag voor het model opvangt, kan een volgend model misschien zelf. Anthropic schrijft iets verwants: elk onderdeel van een harness bevat een aanname over wat het model niet alleen kan, en die aannames kunnen snel verouderen naarmate modellen beter worden. Wat vandaag noodzakelijk is, kan bij het volgende model ballast zijn.

Wie over harnesses schrijft, heeft er vaak belang bij: Anthropic en OpenAI verkopen ze, Google publiceert er een eigen raamwerk voor. De onafhankelijke studie over kantoortaken en het overzichtsonderzoek naar zelfcorrectie wijzen wel dezelfde richting uit.

Wat overblijft, is een scherpere verdeling. Het model bepaalt wat mogelijk is. De harness bepaalt hoeveel daarvan een organisatie betrouwbaar en herhaalbaar terugkrijgt. Het eerste wordt ingekocht, het tweede moet een organisatie zelf regelen. Volgens Anthropic krimpt de ruimte voor interessante harnesses niet als modellen beter worden, ze verschuift. Het technische deel mag dus vervangbaar zijn. De vragen wat mag, wie goedkeurt en waartegen gecontroleerd wordt, verdwijnen niet met een nieuw model. Vrijwel al het meetbare bewijs komt uit testomgevingen, vooral met programmeer- en kantoortaken. De vertaling naar echte organisaties blijft dus een redenering.

Wie de harness niet bouwt

Terug naar de afdeling. De eerste collega werkt niet met een beter model. Zij heeft ergens opgeschreven hoe het werk gaat, de assistent niet meer toegang gegeven dan nodig en een vaste manier gevonden om te controleren voor iets de deur uitgaat. De tweede doet hetzelfde werk, alleen elke dag opnieuw en met de hand. In veel organisaties ziet AI er vandaag zo uit: een sterke nieuwkomer, en een collega die hem elke ochtend opnieuw inwerkt.