ChatGPT-4 mai bun decât GPT-3.5 și Google Bard la examenul oral de neurochirurgie

Un studiu recent a evaluat performanța a trei mari modele linvistice (LLM), și anume ChatGPT (sau GPT-3.5), GPT-4 și Google Bard, la întrebări de ordin superior, reprezentând întrebări din examinarea orală a Consiliului American de Chirurgie Neurologică (ABNS).
În timp ce toate cele trei LLM-uri au demonstrat capacitatea de a trece examenele consiliului medical cu întrebări cu răspunsuri multiple, niciun studiu anterior nu a testat sau comparat performanța lor la întrebări predominant de ordin superior dintr-un domeniu de subspecialitate medicală cu miză mare, cum ar fi neurochirurgia.

Cercetătorii au evaluat performanța celor trei modele linvistice pe un modul de 149 de întrebări care imită examenul oral de neurochirurgie. GPT-4 a avut performanțe mai bune decât ChatGPT, obținând un scor de 82,6% comparativ cu 62,4% al ChatGPT. Google Bard a generat răspunsuri corecte pentru 44,2% dintre întrebări, cu răspunsuri incorecte pentru 45% și a refuzat să răspundă la 10,7%. Interesant, GPT-4 a depășit Google Bard în toate categoriile, cu performanțe îmbunătățite în categoriile de întrebări pentru care ChatGPT a arătat o acuratețe mai mică.

Rezultatele studiului evidențiază necesitatea validării riguroase a performanței modelelor linvistice în scenarii din ce în ce mai mari și deschise pentru a dezvolta mai multă încredere în aceste sisteme.

Descoperirile sugerează că progresele în domeniul AI ar putea face evaluările verbale mai importante decât modelele de examinare cu opțiuni multiple în educația medicală. În plus, LLM-urile ar putea oferi noi perspective clinice și ar putea servi drept ajutoare conversaționale pentru a repeta diverse scenarii clinice pe subiecte provocatoare pentru consiliile examinatoare.

sursa: News Medical
foto: Login / Shutterstock