Jaký lékařský test projde ChatGPT?

Téma, které v poslední době naprosto ovládá internet, je ChatGPT, umělá inteligence v podobě chatbota, který se poprvé objevil v listopadu. Lidé se s ním zapojují do hravých a lehce povrchních konverzací, abychom otestovali jeho schopnost být vtipný. ChatGPT však dokázal mnoho úspěchů, jako je například úspěšné absolvování těch nejtěžších zkoušek, jako jsou americké lékařské zkoušky, zkouška na Wharton Business School a čtyři zkoušky na právnické fakultě University of Minnesota ve státním právu. Tento úspěch přitáhl pozornost CEO Twitteru Elona Muska, který si udělal legraci z tohoto AI chatbota s tím, že řekl: "Jsem si jistý, že to všechno bude v pořádku." Podívejme se nyní, kterou lékařskou zkoušku zvládl ChatGPT.

Vzestup ChatGPT

Je zajímavé poznamenat, že Open AI, výzkumná společnost, do které Musk a Microsoft investovali, vytvořila ChatGPT. Každý, kdo používá webovou stránku tohoto nástroje AI, může položit otázku na libovolné téma a obdržet rychlou a podrobnou odpověď ve formě odstavce. ChatGPT prokázal svou schopnost v různých oblastech. Dokáže psát okamžité a složité eseje, vypracovávat marketingové návrhy, produkovat básně a vtipy a dokonce vypracovat projev pro člena Kongresu ve Spojených státech. Nicméně existují obavy, že AI by mohla převzít některé lidské práce.

Čtěte také: Je ChatGPT 4 zdarma k použití?

ChatGPT absolvuje lékařský zápis: Přehled

Jedním z posledních úspěchů tohoto nástroje je schopnost složit americké lékařské zkoušky. V předtiskovém studiu výzkumníci zkoumali horní hranice schopností ChatGPT. Napájeli otázky z předchozích zkoušek do AI nástroje a dvěma lékařskými arbitry nezávisle hodnotili odpovědi, které se pohybovaly od otevřených textových odpovědí po vícevolbové. Ujistili se, že odpovědi na tyto otázky nebyly již dostupné pro chatbota, když byl trénován. Tým poznamenal, že i když ChatGPT tyto odpovědi nikdy předtím neviděl, dosáhl na nebo téměř na prahovou hodnotu úspěšného složení zkoušek bez jakékoliv specializované úpravy nebo posílení. Nástroj dosáhl více než 50 procent ve všech zkouškách a přiblížil se hranici složení USMLE kolem 60 procent. "ChatGPT je tak v současnosti pohodlně v rozmezí úspěšného složení," uzavírá článek.

ChatGPT úspěšně složil USMLE zkoušku: Vše, co potřebujete vědět

V průlomovém novém výzkumu vědci z Massachusetts General Hospital (MGH) a AnsibleHealth zjistili, že ChatGPT od společnosti OpenAI může úspěšně složit zkoušku pro získání lékařské licence ve Spojených státech (USMLE) s úctyhodnou přesností 60%. Tato studie otevírá vzrušující možnosti využití umělé inteligence ve vzdělávání a školení v oblasti medicíny.

Nástroje pro zpracování přirozeného jazyka a medicínské vzdělání

ChatGPT je nástroj pro zpracování přirozeného jazyka, který je trénován na obrovském množství jazykových dat a hledá vzorce a vztahy. Jeho schopnost generovat nový text na základě jazyka, na který je trénován, ho činí ideálním kandidátem pro použití ve vzdělávání v oblasti medicíny. Avšak, ChatGPT se spoléhá na trénovací data, což znamená, že jako jiné chatboty s umělou inteligencí, neprohledává internet.

Testování modelu

Vědci zhodnotili model ChatGPT na základě tří standardizovaných testů, které tvoří USMLE. Tým trénoval model pomocí otázek z červnové ukázkové zkoušky z roku 2022, která byla zveřejněna veřejnosti. Otázky vyžadující vizuální analýzu byly vynechány ze sady trénovacích dat.

Chcete-li snížit zkreslení paměti uchovávání, tým vložil do modelu tři různé typy otázek:

1. Výběr jednoho správného z více možností, bez nutnosti odpovědi zdůvodnit. Například: „Pacientovo onemocnění je převážně způsobeno kterou z následujících patogenů?“
2. Výběr jednoho správného z více možností, s nutností zdůvodnění odpovědi. Například: „Který z následujících je nejpravděpodobnějším důvodem pacientových nočních příznaků? Vysvětlete své důvody pro každou možnost.“
3. Otevřená otázka, například: „Jaká by byla diagnóza pacienta na základě poskytnutých informací?“

Impresivní výsledky

Poprvé model umělé inteligence dosáhl úspěchu při absolvování USMLE s přesností kolem 60% bez pomoci klinických trenérů. Tento výsledek je významný a otevírá nové možnosti pro využití AI ve vzdělávání v oblasti medicíny. Výzkumníci také zjistili, že výsledky ChatGPT přinesly platné klinické poznatky a zdůvodnění, což posiluje důvěru v schopnost modelu vysvětlit své závěry a jeho důvěryhodnost.

Budoucnost lékařského vzdělání

Tým věří, že ChatGPT a další generativní konverzační modely mohou pomoci s výcvikem budoucích lékařů. Jednou z takových aplikací by mohlo být překládání technických lékařských výsledků do srozumitelnějšího jazyka pro pacienty. Společnost AnsibleHealth už se touto projektem zabývá.

ChatGPT předvádí své schopnosti v medicíně

Své schopnosti odpovídat na otázky a diagnostikovat nemoci překračuje GPT-4 také jako vynikající překladatel. Dokáže přeložit propouštěcí informace pro pacienta hovořícího portugalsky a zpracovat odborný žargon do něčeho, co by bylo snadno čitelné pro žáky šesté třídy. GPT-4 lékařům také může poskytnout užitečné rady ohledně etikety na lůžkovém oddělení, nabízejíce tipy, jak mluvit s pacienty o jejich stavu v soucitném a jasném jazyce.

Přestože má svá omezení, GPT-4 umí napodobit, jak lékaři diagnostikují různé stavy s ohromujícími, avšak ne zcela dokonalými výsledky. Když bylo položeno otázku, zda je schopný provádět příčinné úvahy, odpověděl, že jeho inteligence je stále "omezena na vzory v datech a nezahrnuje opravdové porozumění nebo záměr."

Myšlenky Dr. Isaaca Kohaneho o GPT-4

V připravované knize "Revoluce umělé inteligence v medicíně" testoval počítačový vědec a lékař Dr. Isaac Kohane spolu se dvěma kolegy GPT-4, nejnovější model umělé inteligence od OpenAI, aby zjistili, jak se vede v medicínském prostředí. Výsledky byly ohromující.

V knize pan doktor Kohane poznamenává, že GPT-4, který byl vydán v březnu 2023 placeným předplatitelům, je schopen správně odpovědět na americké lékařské zkoušky více než 90% času. Je mnohem lepším testovacím programem než předchozí modely ChatGPT AI, GPT-3 a GPT-3.5, a lepším než někteří licencovaní lékaři sami. Podle Careyho Goldberga a viceprezidenta výzkumu společnosti Microsoft Petera Lee má GPT-4 lepší klinický úsudek než „mnoho lékařů“ a dokáže diagnostikovat „stejně jako já“ i vzácné stavy.

Testování GPT-4: Metoda

Aby otestovali GPT-4, Dr. Kohane a jeho kolegové se spojili, aby zjistili, jak se tento model umělé inteligence osvědčuje v lékařském prostředí. Položili GPT-4 otázky a podali mu klinické scénáře k diagnóze, které pak porovnali s diagnózami, které byly stanoveny lidskými lékaři. Autoři zdůrazňují, že GPT-4 má několik výhod oproti lidským lékařům, jako je schopnost pamatovat si a syntetizovat velké množství informací z různých zdrojů.

Nicméně autoři také uznávají, že GPT-4 má několik omezení. Například GPT-4 není schopen zohlednit jedinečnou lékařskou historii pacienta nebo sociální determinanty zdraví. Kromě toho vyvolává používání GPT-4 velkého množství dat obavy o ochranu dat a sklon k předsudkům.

GPT-4: Možnosti a Potenciál

GPT-4 je více než jenom vyhledavač faktů a dobrý testový správce; je také vynikajícím překladatelem. Podle autorů GPT-4 může překládat informace o propuštění pacienta, který hovoří portugalsky, a přetavit technický žargon do něčeho, co je pro žáky šesté třídy snadno srozumitelné.

Ale GPT-4 ukazuje svůj potenciál nejen v oblasti diagnózy. V knize autoři vysvětlují, jak GPT-4 může poskytnout lékařům užitečné tipy ohledně způsobu, jak lépe navázat kontakt s pacienty při péči na lůžku.

Nicméně je důležité si uvědomit, že GPT-4 není neomylný. Jak autoři varují, může stále dělat chyby a neprohlásil Hippokratovu přísahu. Navíc, technologie AI, včetně GPT-4, vyvolává etické otázky ohledně nahrazování pracovních míst a ochrany soukromí pacientů.

Závěr: Budoucnost umělé inteligence v lékařství

Přestože jsou tyto omezení, úspěch GPT-4 při diagnostice lékařských stavů otevírá vzrušující možnosti pro použití AI technologií v medicíně. V budoucnosti by mohly AI modely jako GPT-4 pomoci lékařům při diagnostice vzácných nemocí, překládat lékařskou žargon a poskytovat lepší péči pacientům. Je však důležité, aby byly AI modely vyvíjeny a testovány s ohledem na etické záležitosti.