AI op de IC: OLVG en Maasstad wenden zich tot Robo Doc voor 2nd opinion

Geschreven door

Martin Scholten

Gecontroleerd door

Jolien

Bijgewerkt op

1 juni 2023

[addtoany] ×

Een zogenoemde kunstmatige intelligentie van softwarebedrijf Pacmed gaat Amsterdamse arsten helpen op de IC. Nog even geen reden voor paniek. De “AI” gaat niet beslissen of je onder het mes mag of bent afgeschreven. De bedoeling is dat het systeem gaat werken als een extra check wanneer een arts de keuze maakt of iemand van de IC ontslagen mag worden.

AI berekent kans op dood of terugkeer naar IC

Dat is in feite alles wat het systeem doet. Wanneer een arts denkt dat het tijd wordt om een besluit te maken, checkt deze bij het systeem hoe groot deze de kans acht dat een patiënt na direct ontslag binnen twee weken terugkeert naar de IC of komt te overlijden. Dit percentage wordt gebaseerd op basis van het elektronische dossier van een patiënt in relatie tot die van alle andere recentelijk opgenomen patiënten in het betreffende ziekenhuis. 

De arts blijft dus voorlopig de baas op de IC’s. Gemiddeld genomen is er bij ontslag van de IC zo’n 5 tot 10 procent. Komt de “AI” ineens met een veel hoger percentage dan kan dit reden zijn voor een arts om de keuze te heroverwegen.

Een “AI” kan veel meer data verwerken dan een mensenbrein ooit zal kunnen. Daarbij kan computersoftware makkelijker patronen herkennen, mits de software weet hoe het naar de data moet “kijken”. Het idee is dat de software bijvoorbeeld een probleem in een vroeg stadium al kan herkennen terwijl een arts van vlees en bloed zoiets over het hoofd ziet.

Kortere IC bezoeken en minder mankracht

De software is dus geen wondermiddel. Een goed getraind oog blijft noodzakelijk voor het maken van de juiste keuze. Maar wel kan de software helpen bij het terugbrengen van de gemiddelde duur van een IC bezoek. Zo’n bezoek is niet alleen ingrijpend voor de patiënt. Ook is het erg intensief te noemen, zowel financieel als qua mankracht. Vooral die laatste zal gezien de nijpende tekorten, in de hele medische wereld, maar in het specifiek op de IC’s, zwaar wegen.

Maar is het veilig?

Een van de meest zorgwekkende geluiden uit de “AI” wereld komt van wetenschappelijke onderzoekers. Dat een “AI” model je leraar kan laten geloven dat je je huiswerk zelf hebt gemaakt is leuk, maar er hangt dan ook niet bar veel van af. Verzaakt het “AI” model dan is er doorgaans geen man overboord. Het is dan ook niet bijzonder relevant om te onderzoeken waarom de “AI” in een specifiek geval die fout heeft gemaakt. 

Wanneer het gaat om medische besluitvorming ligt dat anders. De keuze of iemand wel of niet van de IC ontslagen kan worden, ligt uiteindelijk gelukkig nog bij de arts. Maar wanneer een “AI” mee gaat praten over het onderwerp is het van groot belang dat hoe het “AI” model tot het antwoord is gekomen volledig begrepen wordt. En laat het daar nu vaak fout gaan.

“Black box” modellen

Wat wij kunstmatige intelligenties noemen zijn niets anders dan algoritmes die op basis van input (trainingsdata en een opdracht) een voorspelling doen naar wat waarschijnlijk het volgende woord/pixel etc moet zijn. Naarmate de huidige modellen complexer worden, hebben onderzoekers en ontwikkelaars steeds meer moeite om te doorgronden hoe een dergelijk algoritme tot een antwoord komt. De focus ligt voornamelijk op het genereren van het gewenste antwoord.

Er wordt dus doorgaans alleen maar gekeken of een antwoord in de lijn der verwachtingen ligt. Een antwoord dat dus per definitie beperkt is door de aanwezige vooroordelen in de dataset. Niet voor niets gaan er steeds meer stemmen op die willen dat het gebruik van “AI” door bijvoorbeeld overheden aan strenge eisen voldoet.

Niet elk vooroordeel uit je dataset halen is prima wanneer je te maken hebt met een menselijk brein dat in staat is te redeneren. Althans, daar gaan we vanuit. (Laten we niet te filosofisch worden!) Maar dat is dus niet wat een “AI” doet. Een “AI” is gewoon aan het gokken totdat een mens zegt, “That’ll do pig, that’ll do.” Wederom, leuk voor het genereren van een abstract kunstwerk. Je kan jezelf afvragen of zoiets werkelijk thuishoort op een IC?