Det fremgår av en ny studie utført av Steno Diabetes Center Aarhus, skriver Aarhus Universitetssykehus i en pressemelding.

I januar 2023 ba forskerne ansatte ved Steno Diabetes Center Aarhus om å delta i en undersøkelse for å se om de ville oppdage svar gitt av kunstig intelligens. De ansatte ble presentert for to ulike svar på ti spørsmål om diabetes. Det ene settet med svar var hentet fra informasjonssider om diabetes laget av helsepersonell. Det andre settet med svar ble generert av chatboten ChatGPT, som er basert på kunstig intelligens. 

Studien konkluderer med at ChatGPT ikke svarer like godt som en ekspert på diabetes ville gjort. 

Dersom svarene hadde vært like gode, ville forskerne ha forventet at halvparten av deltakerne kunne finne svarene i ChatGPT.

Resultatene viste imidlertid at 60 prosent av deltakerne klarte å finne svarene gitt av ChatGPT. Dersom deltakerne hadde brukt ChatGPT før, klarte 67 prosent å avsløre svarene som var basert på kunstig intelligens.

– Det var den språklige forskjellen mellom de to typene svar som avgjorde om deltakerne kunne identifisere svarene fra ChatGPT. Men ChatGPT svarte også feil på to av spørsmålene, sier Adam Hulman, Senior data scientist og leder av en forskningsgruppe for kunstig intelligens ved Steno Diabetes Center Aarhus, Aarhus Universitetshospital.

– Jeg tror ikke ChatGPT i seg selv vil kunne brukes i klinikken som et klinisk beslutningsstøtteverktøy for personer med diabetes. Så langt er ikke utviklingen kommet, og det er heller ikke hensikten med ChatGPT. Men teknologien kan være en øyeåpner for pasienter, slik at de kan oppleve mulighetene ved bruk av kunstig intelligens, sier han. 

Evalueringen av svarene inngår i en studie som nylig er publisert i tidsskriftet PLOS ONE. Studien er blant de første vitenskapelige studiene som undersøker verdien av ChatGPT fra et brukerperspektiv, heter det i meldingen.