Bij Eliovp volgen we de nieuwste AI-ontwikkelingen op de voet. Daarom onderzochten we AI-agents en ontwikkelden we een medische agent die rechtstreeks met DICOM-servers in ziekenhuizen communiceert. Het is meer dan een chatbot of algemene AI-tool: deze intelligente assistent begrijpt de taal van radiologie en ondersteunt radiologen, technici en ziekenhuispersoneel in hun dagelijkse werk.
Wat kan de medische agent doen?
Onze agent maakt rechtstreeks verbinding met de DICOM-infrastructuur van uw ziekenhuis, wat betekent dat hij:
- Patiënten opzoeken op naam, ID of metadata
- Onderzoeksinformatie ophalen, inclusief modaliteiten, tijdstempels en diagnostische opmerkingen
- Medische beelden analyseren op afwijkingen, pathologieën en letsels. De agent kan relevante beelden rechtstreeks van de DICOM-server ophalen en uitsluitend op basis van die beelden een analyse geven, zonder voorafgaand verslag.
Met deze tool hoeven radiologen niet dagelijks uren te besteden aan het opzoeken van patiënten, doorzoeken van onderzoeken en reeksen en handmatig analyseren van beelden. Ze stellen hun vraag in gewone taal, waarna de agent de nodige informatie verzamelt.
Naadloze workflow, geen extra tools en veilige verbindingen
Wat deze agent echt krachtig maakt, is de natuurlijke integratie ervan in bestaande ziekenhuisworkflows. Het is niet nodig om nieuwe software te leren of door complexe menu's te navigeren. Vraag het gewoon en ontvang de informatie die u nodig heeft.
Bij medische gegevens is beveiliging vanzelfsprekend cruciaal. De agent kan op de eigen servers van het ziekenhuis draaien met self-hosted modellen, zodat gevoelige gegevens de lokale omgeving niet hoeven te verlaten. Ingebouwde beperkingen in de tools bieden een extra beschermingslaag voor de ziekenhuisgegevens.
Zie het in actie
We namen enkele demo's op waarin de agent patiëntendossiers ophaalt en pathologieën in diagnostische beelden detecteert. De video's tonen dagelijkse taken van ziekenhuispersoneel en hoe AI-ondersteuning die sneller en eenvoudiger kan maken.
Deze demo's zijn uitgevoerd in een testomgeving en de uitvoeringssnelheid kan nog worden geoptimaliseerd. De agent hanteert altijd een stapsgewijze aanpak bij het verzamelen van de meest relevante informatie, zodat meerdere tooloproepen, zoals het bevragen van patiënten, onderzoeken en series, opeenvolgend worden uitgevoerd.
Alle patiëntinformatie in de demo's is geanonimiseerd.
Technische details
Hier is een kleine samenvatting van de technische kant van de agent:
- LLM van de agent: Qwen2.5-32B-Instruct, geserveerd met vLLM op één AMD MI300X GPU
- DICOM-server in de demo: self-hosted Orthanc
- Vision-language models: we vergeleken verschillende geavanceerde VLM's voor beeldanalyse en het formuleren van een mogelijke diagnose. De modellen draaiden met vLLM op respectievelijk 4, 1, 2 en 1 AMD MI300X GPU's. In de laatste demovideo hierboven gebruiken we Qwen/Qwen2.5-VL-72B-Instruct.
Vergelijking van vision-language models
Aan de hand van een MRI-scan van een knie tonen we hoe sterk de diagnostische conclusies van toonaangevende vision-language models kunnen verschillen. Hieronder kunt u hun output vergelijken met het verslag van de radioloog. Llama-4-Scout-17B-16E-Instruct en Qwen2.5-VL-32B-Instruct missen belangrijke elementen van de diagnose. Qwen2.5-VL-72B-Instruct en gemma-3-27b-it presteren in deze test beter en herkennen meer van de relevante bevindingen.
Om de resultaten overzichtelijk te vergelijken, gebruiken we een eenvoudig scoresysteem. Uit het verslag van de radioloog halen we vier kernelementen: een VKB-scheur (1), een beperkte Segondfractuur met rek van het anterolaterale ligament (2), botoedeem (3) en vermoedelijk geen meniscusscheur (4). Voor ieder correct vermeld element krijgt het VLM één punt.
| Model | Score (punten) | Score (percentage) |
|---|---|---|
| meta-llama/Llama-4-Scout-17B-16E-Instruct | 0/4 | 0% |
| google/gemma-3-27b-it | 3/4 | 75% |
| Qwen/Qwen2.5-VL-72B-Instruct | 3/4 | 75% |
| Qwen/Qwen2.5-VL-32B-Instruct | 1/4 | 25% |
Disclaimer: wij zijn geen medische professionals. Deze score is uitsluitend gebaseerd op de tekstoutput.
De output van de modellen en de conclusie van de radioloog vindt u hieronder.
Invoerbericht: Kunt u de beelden in serie pd_tse_sag analyseren vanaf patiënt-ID 0000850361?
Radioloog
Volledige scheur van de voorste kruisband; geassocieerde beperkte Segondfractuur met enige verlenging van het anterolaterale ligament.
Aanzienlijk botoedeem, voornamelijk lateraal tibiaal, iets minder mediaal tibiaal en nog minder mediaal femoraal, met inliggende botspleten, voornamelijk lateraal tibiaal.
Vermoedelijk geen scheur in de achterhoorn van de laterale meniscus, zie beschrijving.
Geen scheur van de mediale meniscus.
meta-llama/Llama-4-Scout-17B-16E-Instruct
De analyse van de MRI-beelden uit de serie ‘pd_tse_sag’ is afgerond. De conclusie luidt als volgt:
Diagnose:
Op basis van het verstrekte MRI-beeld van de knie lijkt de diagnose een letsel aan de achterste kruisband (PCL) te zijn, met name een PCL-scheur.
redeneerstappen:
Zichtbare verstoring: de PCL lijkt verstoord of gescheurd, wat een vaak voorkomende blessure is bij sport en trauma.
Klinische context: PCL-blessures zijn vaak het gevolg van een directe klap op de voorkant van de knie of van een val op een gebogen knie. Symptomen kunnen zijn: pijn, instabiliteit en zwelling.
Beeldkenmerken: De MRI toont een discontinuïteit of abnormaal signaal in de PCL, indicatief voor een scheur.
Conclusie:
De diagnose van PCL-letsel is van cruciaal belang voor het begeleiden van de behandeling, die conservatieve behandeling of chirurgische interventie kan omvatten, afhankelijk van de ernst en het activiteitenniveau van de patiënt.
google/gemma-3-27b-it
De analyse van de knie-MRI-serie “pd_tse_sag” van patiënt-ID 0000850361 suggereert het volgende:
Belangrijkste bevindingen:
VKB-scheur: de voorste kruisband (VKB) lijkt gescheurd omdat deze gerafeld en onderbroken is.
Botkneuzing: er is beenmergoedeem in de laterale femurcondyl en het posterieure aspect van het laterale tibiale plateau, wat wijst op impactkrachten op het moment van het letsel.
Mogelijke meniscusscheur: de achterhoorn van de mediale meniscus ziet er onregelmatig en mogelijk verstoord uit.
Gewrichtseffusie: er zit wat vocht in de gewrichtsruimte, wat vaak voorkomt na een acute knieblessure.
Posterieure verplaatsing van het scheenbeen: het scheenbeen lijkt enigszins naar achteren verschoven ten opzichte van het dijbeen, een teken van VKB-insufficiëntie.
Waarschijnlijke diagnose: een acute VKB-scheur met bijbehorende botcontusies en een mogelijke mediale meniscusscheur.
Ik ben echter een AI en mijn analyse mag professioneel medisch advies niet vervangen. Raadpleeg een gekwalificeerde zorgverlener voor een nauwkeurige diagnose en een behandelplan.
Qwen/Qwen2.5-VL-72B-Instruct
De MRI-beeldserie ‘pde_tse_sag’ van patiënt-ID 0000850361 toont een sagittale weergave van het linkerkniegewricht. Op basis van de beeldanalyse volgen hier enkele observaties en mogelijke diagnoses:
VKB-scheur (voorste kruisband): de VKB lijkt ontwricht of gescheurd. De normale continuïteit van het ligament is niet zichtbaar, wat een sterke indicator is voor een VKB-scheur.
Botkneuzing: Er kunnen aanwijzingen zijn voor botkneuzingen (beenmergoedeem) in het dijbeen en het scheenbeen, wat vaak gepaard gaat met VKB-letsel.
Meniscusscheur: de meniscus lijkt intact op basis van deze afbeelding, maar een meer gedetailleerde analyse zou nodig zijn om scheurtjes uit te sluiten.
Gewrichtseffusie: er is een aanzienlijke hoeveelheid vocht in de gewrichtsruimte, wat overeenkomt met een acuut letsel.
Andere verwondingen aan zacht weefsel: er kunnen extra verwondingen aan zacht weefsel zijn, zoals schade aan de collaterale ligamenten of andere structuren, maar dit zou verdere evaluatie vereisen.
Aanbevelingen:
Klinische correlatie: de bevindingen moeten worden gecorreleerd met de klinische geschiedenis en het lichamelijk onderzoek van de patiënt.
Verdere beeldvorming: aanvullende MRI-sequenties (bijv. T1-gewogen, PD-gewogen) kunnen nodig zijn voor een uitgebreidere evaluatie.
Verwijzing naar orthopedisch specialist: gezien de kans op een VKB-scheur, wordt verwijzing naar een orthopedisch chirurg aanbevolen voor verdere behandeling en mogelijke chirurgische ingreep.
Neem contact op met een medische professional voor een definitieve diagnose en behandelplan.
Qwen/Qwen2.5-VL-32B-Instruct
Gebaseerd op de analyse van MRI-beelden uit de serie “pd_tse_sag” voor de patiënt met ID 0000850361, zijn hier enkele mogelijke bevindingen:
De gewrichtsruimte lijkt intact, wat erop duidt dat er geen significante degeneratieve veranderingen zijn.
Er is een focusgebied met verhoogde signaalintensiteit in de mediale meniscus, wat op een scheur of degeneratie kan duiden.
De kruisbanden (ACL en PCL) lijken intact, maar subtiele scheuren of verstuikingen zijn mogelijk niet zichtbaar zonder specifieke sequenties.
Er is een gebied met verhoogde signaalintensiteit in het beenmerg van het tibiaplateau, wat op beenmergoedeem (BME) zou kunnen duiden. Dit gaat vaak gepaard met trauma, stressfracturen of ontstekingsaandoeningen.
De omliggende zachte weefsels vertonen geen significante afwijkingen, maar er kan enige vochtophoping rond het gewricht optreden.
Het is echter belangrijk op te merken dat deze bevindingen puur observationeel zijn en een juiste medische diagnose niet kunnen vervangen. Voor een definitieve diagnose en een behandelplan is overleg nodig met een beroepsbeoefenaar in de gezondheidszorg die rekening kan houden met de symptomen en de medische voorgeschiedenis van de patiënt en een lichamelijk onderzoek kan uitvoeren.
Conclusie
Deze proef brengt een vereenvoudigde, geautomatiseerde ondersteuning voor beeldanalyse een stap dichterbij. Voorzichtigheid blijft echter noodzakelijk. Overmatige vereenvoudiging kan tot te brede of onnauwkeurige conclusies leiden, waardoor kritieke details verloren gaan en het risico op slechte uitkomsten toeneemt. De juiste balans tussen gebruiksgemak en klinische precisie is essentieel.
Hoewel algemene vision-language models indrukwekkende mogelijkheden tonen, kan hun output aanzienlijk verbeteren door afstemming op domeinspecifieke datasets. In de zorg betekent dat training met hoogwaardige medische beelden, radiologieverslagen, pathologienotities en andere klinische documentatie. Door fine-tuning leert het model medische terminologie, ziektespecifieke beeldpatronen en subtiele diagnostische signalen. Dat levert nauwkeurigere resultaten met meer context op. Die domeinafstemming is cruciaal bij de deployment van AI-tools in gevoelige omgevingen zoals ziekenhuizen, waar precisie en betrouwbaarheid centraal staan.