Van hype tot soevereine infrastructuur
Samenvatting
Agentic AI wordt in 2025 gekenmerkt door een scherp contrast tussen marktverwachtingen en technische realiteit. Door het gebruiksgemak van ChatGPT verwachten veel mensen wonderen en onmiddellijke integratie. Autonome agents voor bedrijfsworkflows bouwen vraagt in werkelijkheid om grondige engineering, doordachte architectuur en soevereine infrastructuur.
Dit rapport beschrijft de uitdagingen en werkwijzen die we tegenkwamen bij de deployment van lokale AI-agents op maat. Waar een groot deel van de markt afhankelijk is van veranderlijke publieke API's, kiezen wij voor Sovereign AI: modulaire oplossingen op maat die volledig lokaal draaien. Zo beperken we de risico's van API-storingen, stille modelupdates die prompts breken en onvoorspelbare prijsstijgingen. De oplossingen van onze klanten blijven daardoor robuust, privé en kostenefficiënt op lange termijn.
1. De verwachtingskloof en de noodzaak van maatwerk
1.1 De wondermythe versus de technische realiteit
Een veelvoorkomende uitdaging in 2025 zijn te hooggespannen verwachtingen rond AI. Klanten benaderen Agentic AI soms vanuit de ervaring met een chatbot en verwachten een plug-and-playoplossing die zonder configuratie door hun volledige ERP-systeem navigeert.
- De realiteit. Een AI-agent is geen wonder; het is een complex softwaresysteem dat gedefinieerde grenzen vereist.
- De oplossing. We bouwen alles modulair. Dankzij een componentgebaseerde architectuur kunnen we nieuwe cognitieve modules toevoegen wanneer een klant opschaalt of nieuwe use-cases ontdekt, bijvoorbeeld een uitbreiding van supporttickets naar voorraadbeheer. Het kernsysteem hoeft dan niet herschreven te worden. Die modulariteit is essentieel voor de levensduur van de oplossing.
1.2 Waarom universele oplossingen tekortschieten
Een universeel product proberen te bouwen dat voor iedere klant werkt, is een valkuil. Generieke agents missen de nuances van specifieke bedrijfsworkflows, met zwakkere prestaties en veel supportoverhead als gevolg.
- Engineering op maat. Succes vereist een analyse van de volledige workflow van de klant, vaak met overleg op locatie en een grondige studie van de datastructuren. Een oplossing die rekening houdt met de specifieke eigenschappen van klantgegevens presteert beter dan een algemeen one-size-fits-allmodel.
- Nauwkeurige uitvoering. Door de scope van de agent te beperken tot een omgeving op maat, verkleinen we de ruimte voor hallucinaties en logische fouten. Zo streven we naar uitstekende prestaties binnen een duidelijk domein in plaats van middelmatige prestaties overal.
2. De economie van Agentic AI
2.1 De kosten van ontdekking
Omdat bestaande AI-agents niet zomaar uitgerold kunnen worden zoals een standaardsoftwarebibliotheek, vereist ieder project een afzonderlijke analysefase.
- Analysefase. Voor de ontwikkeling investeren we veel tijd in analyse. Tijdens verschillende gesprekken brengen we de werkelijke operationele situatie van de klant in kaart.
- Kostenrealiteit. Zoals uiteengezet in sectoranalyses, omvatten de kosten van de ontwikkeling van aangepaste agenten verborgen factoren die verder gaan dan alleen coderen, waaronder het voorbereiden van datasets, architectuurontwerp en uitgebreid testen.
2.2 Het financiële model van “soevereine AI”
We maken geen gebruik van de API's van grote providers (OpenAI, Anthropic, etc.). Het vertrouwen op externe API's brengt existentiële bedrijfsrisico's met zich mee:
- Volatiliteit. Zal de API-prijs plotseling verdrievoudigen?
- Betrouwbaarheid. Crasht de API tijdens piekuren?
- Drift. Zal een “stille modelupdate” onze prompts van de ene op de andere dag verbreken?
Het voordeel op locatie:
Door alles lokaal te trainen en uit te voeren (On-Prem), zetten we variabele, onvoorspelbare kosten om in vaste, voorspelbare activa.
- Toekomstbestendig. Een lokaal model gecombineerd met eigen hardware doet zijn werk jarenlang effectief zonder problemen. Het wordt niet ‘dommer’ omdat het ‘oud’ is, noch kost het in 2027 meer om te draaien dan in 2025. Het is een stabiel bezit.
3. Observability, debugging en hallucinaties
U kunt niet oplossen wat u niet kunt zien. Betrouwbare oplossingen vereisen daarom gedetailleerde observability.
3.1 Inzicht in de black box
We gebruiken meerdere tools om het besluitvormingsproces van de LLM nauwkeurig te volgen. Om een agentloop te debuggen, moeten we de redeneerstappen en toolinput kunnen analyseren die tot een specifieke actie hebben geleid.
- Waarom we het doen. Hiermee kunnen we precies vaststellen waar een agent in een lus is vastgelopen of er niet in is geslaagd de juiste context op te halen, waardoor foutopsporing van giswerk wordt omgezet in een precieze wetenschap.
3.2 Omgaan met hallucinaties
Hallucinaties zijn een risico dat actief beheerd moet worden. Daarom loggen we alles. Met een volledige audittrail van iedere input, tussenstap en output kunnen we:
- Opvolgen. Patronen herkennen waarin het model consequent informatie verzint.
- Oplossen. De systeemprompt aanpassen of het model fine-tunen om specifieke foutmodi weg te werken.
- Voorkomen. Guardrail-classifiers inzetten die hallucinerende output blokkeren voordat die de gebruiker bereikt.
3.3 Metadatastrategie voor agentisch zoeken
Voor agentic search volstaat ruwe tekst niet. Naast vector embeddings slaan we daarom uitgebreide metadata op.
- Contextuele verankering. Een agent die een contract analyseert, moet de datum, auteur, versie en afdeling kennen. Zonder die metadata zoekt de agent blind. Onze data-ingestionpipelines leggen deze context automatisch vast, zodat de agent niet alleen vergelijkbare tekst ophaalt, maar het juiste document.
4. De cognitieve laag: modellen en training
4.1 Fine-tuning is niet optioneel
We testen open-sourcemodellen uitgebreid, maar ze voldoen zelden kant-en-klaar aan onze specifieke verwachtingen.
- De realiteit. Om betrouwbaarheid op productieniveau te bereiken, moeten we modellen vrijwel altijd fine-tunen met specifieke klantgegevens. Zo stemmen we de tone of voice en logica van het model af op de werkelijke bedrijfsregels.
4.2 Vision: trainen vanaf nul
Voor visionprojecten is fine-tuning vaak onvoldoende. We trainen modellen regelmatig vanaf nul met de eigen visuele gegevens van de klant, bijvoorbeeld productiefouten of documentlay-outs. Zo leert het model precies de visuele kenmerken die voor die klant relevant zijn, in plaats van te vertrouwen op generieke kenmerken uit internetdata.
4.3 Redeneringsmodellen en benchmarks
We hebben ontdekt dat redeneer-/denkmodellen (zoals DeepSeek R1 of vergelijkbare architecturen voor complexe redenering) absoluut de betere keuze zijn voor complexe agentische workflows.
- Benchmarks zijn niet alles. Een model kan sterk scoren op een algemene benchmark zoals MMLU, terwijl een kleine wijziging in de prompt of workflow een heel ander resultaat geeft. Onze uitgebreide interne tests spreken publieke leaderboards dan ook geregeld tegen.
5. De realiteit van hardware: het VRAM-knelpunt
5.1 De afweging tussen geheugen en context
Het lokaal uitvoeren van 'Reasoning Models' brengt aanzienlijke kanttekeningen met zich mee, voornamelijk hardwarevereisten.
- De noodzaak van een buffer. Context kost veel geheugen. Alleen al de KV-cache voor de analyse van één e-mailthread met 50 e-mails kan meerdere gigabytes innemen.
- De foutmodus. Zonder voldoende geheugenbuffer ontstaat een Out-of-Memory-fout (OOM) of moeten we de context inkorten. Minder context verlaagt de nauwkeurigheid en kan de AI-agent doen falen.
5.2 Quantisatie: groter is beter
Onze praktijktests tonen dat het aantal parameters belangrijker kan zijn dan de precisie.
- De vuistregel. Een groot, gequantiseerd model, bijvoorbeeld een 72B-model in FP8 of zelfs lager, levert vaak veel betere redeneerresultaten dan een kleiner, niet-gequantiseerd 8B-model in BF16.
- Waarom. Het grotere model beschikt over een dieper 'wereldmodel' en logisch vermogen dat kwantisering overleeft, terwijl het kleinere model, zelfs bij hoge precisie, de cognitieve diepgang mist om complexe agentische taken uit te voeren.
5.3 Schaal en kosten
Hoewel we dure datacenter-GPU's (B200s/MI355X) met enorm geheugen kunnen aanschaffen, zijn deze vaak onbetaalbaar voor middelgrote (of zelfs grotere) bedrijven.
- De uitdaging. We moeten voortdurend een evenwicht vinden tussen de behoefte aan enorme context (voor betrouwbaarheid) en de budgetbeperkingen van hardware op locatie.
- Inferentiesnelheid versus nauwkeurigheid. We testen uitgebreid gekwantiseerde versies om te zien of we de inferentie kunnen versnellen en geheugen kunnen besparen zonder de nauwkeurigheid te verliezen. Het werkt niet zomaar ‘out of the box’; het vereist rigoureuze benchmarking per gebruiksscenario.
Conclusie: voortdurende evolutie
De markt verandert extreem snel. Nieuwe kwantiseringsformaten, nieuwe open-sourcemodellen en nieuwe agentische raamwerken verschijnen dagelijks.
- Onze toewijding. We moeten bijblijven. We testen en verbeteren onze workflows voortdurend om ervoor te zorgen dat onze klanten niet achterblijven.
- De positieve kant. Ondanks alle uitdagingen, van hardwarebeperkingen en dataopschoning tot het opvolgen van hallucinaties, doen we dit werk bijzonder graag. We bouwen systemen die echte, soevereine automatisering bieden, onafhankelijk van de grillen van grote AI-leveranciers.
Klaar om uw eigen soevereine AI-capaciteit uit te bouwen? Zoekt u een partner die deze uitdagingen aankan en een lokale oplossing op maat kan bouwen waarvan u echt eigenaar bent, dan helpen we u graag.