ChatGPT dokáže psát kód. Nyní výzkumníci říkají, že je také dobrý v opravování chyb.

Chatbot ChatGPT od OpenAI je schopný velmi dobře opravit softwarové chyby, ale jeho hlavní předností oproti jiným metodám a modelům AI je jeho unikátní schopnost dialogu s lidmi, což mu umožňuje zlepšovat přesnost odpovědí.

Badatelé z Johannes Gutenbergova univerzity v Mainzy a University College London postavili OpenAI ChatGPT proti "standardním automatizovaným technikám opravy programů" a dvěma hloubkovým přístupům k opravám programů: CoCoNut od badatelů z University of Waterloo v Kanadě a Codex, modelu založeného na GPT-3 od OpenAI, který je základem služby Github Copilot pro automatické dokončování kódu v párovém programování.

Také: Jak začít používat ChatGPT

"Zjišťujeme, že výkonnost oprav chyb ChatGPT je konkurenceschopná ve srovnání s běžnými přístupy hlubokého učení CoCoNut a Codex a výrazně lepší než výsledky uváděné pro standardní přístupy opravy programu," píší výzkumníci v novém článku na arXivu, který jako první objevil New Scientist.

Nejlepší AI chatboti: ChatGPT a další zajímavé alternativy, které stojí za vyzkoušení

AI chatboti a spisovatelé mohou pomoci snížit vaši pracovní zátěž tím, že napíší e-maily a eseje a dokonce i vyřeší matematické problémy. Používají umělou inteligenci k generování textu nebo odpověď na dotazy na základě uživatelského vstupu. ChatGPT je jedním populárním příkladem, ale existují i další pozoruhodní chatboti.

Přečíst nyní

To, že lze ChatGPT použít k řešení programovacích problémů, není nic nového, ale výzkumníci zdůrazňují, že jeho jedinečná schopnost dialogu s lidmi mu dává potenciální výhodu oproti jiným přístupům a modelům.

Výzkumníci testovali výkon ChatGPT pomocí benchmarku QuixBugs pro opravování chyb. Systémy automatické opravy programu (APR) se zdají být ve znevýhodnění, protože byly vyvinuty před rokem 2018.

ChatGPT je založen na architektuře Transformer, kterou tento týden zdůraznil šéf umělé inteligence společnosti Meta Yann LeCun, že byla vyvinuta společností Google. Codex a CodeBERT z Microsoft Researchu a jeho předchůdce BERT od Googlu jsou všechny založeny na transformerové metodě od Googlu.

OpenAI zvýrazňuje schopnost ChatGPTu v dialogu na příkladech pro odstraňování chyb v kódu, kde může požádat o objasnění a získat od člověka nápovědu k dosažení lepší odpovědi. Trénovala velké jazykové modely stojící za ChatGPTem (GPT-3 a GPT 3.5) pomocí posilování učení z lidské zpětné vazby (RLHF).

Zatímco schopnost ChatGPTu vést diskusi může pomoci v dosažení správnějších odpovědí, kvalita jeho návrhů zůstává nejasná, upozorňují výzkumníci. Proto chtěli zhodnotit výkon ChatGPTu v opravování chyb.

Badatelé otestovali ChatGPT proti 40 problémům pouze v Pythonu QuixBugs a následně ručně ověřili, zda navržené řešení bylo správné nebo ne. Dotaz několikrát zopakovali, protože existuje určitá náhodnost spolehlivosti odpovědí ChatGPT, jak zjistil profesor z Whartonovy školy poté, co chatbota podrobil podobnému testu jako MBA zkouška.

ChatGPT vyřešil 19 ze 40 Python chyb, což ho staví na stejnou úroveň jako CoCoNut (19) a Codex (21). Ale standardní metody APR vyřešily pouze sedm problémů.

Badatelé zjistili, že úspěšnost ChatGPT při následných interakcích dosáhla 77,5%.

Implicationy pro vývojáře z hlediska úsilí a produktivity jsou nejasné. Nedávno Stack Overflow zakázal ChatGPT-generované odpovědi, protože měly nízkou kvalitu, ale zněly pravděpodobně. Profesor ze Whartonu zjistil, že ChatGPT by mohl být skvělým partnerem pro studenty MBA, protože může hrát roli "chytrého konzultanta" - toho, který vytváří elegantní, ale často nesprávné odpovědi - a podporuje kritické myšlení.

"To ukazuje, že lidský vstup může být velkou pomocí pro automatizovaný systém pro automatické rozpoznávání řeči, a to díky ChatGPT," píší výzkumníci.

"Přestože má vynikající výkon, vyvstává otázka, zda mentální náklady spojené s ověřením odpovědí od ChatGPT převažují nad výhodami, které ChatGPT přináší."