ChatGPT složil zkoušku MBA. Zde je návod, jak to dopadlo

Profesor na Wharton, University of Pennsylvania udělil teoretický B-grade Pass na ChatGPT poté, co označil odpovědi, které vygeneroval pro závěrečnou zkoušku v typickém kurzu MBA.

Christian Terwiesch, profesor provozního managementu ve Whartonu, řekl, že ChatGPT odvádí "úžasnou práci v otázkách základního řízení operací a analýzy procesů."

„Nejen, že jsou správné odpovědi, ale i vysvětlení jsou vynikající,“ píše v nové bílé knize.

Také: Jak začít používat ChatGPT

Dodal však, že chatbot dělá „překvapivé chyby v relativně jednoduchých výpočtech na úrovni matematiky 6. třídy“ a že v současnosti nezvládá pokročilejší otázky procesní analýzy. Na druhou stranu, aktuální verze ChatGPT může upravit své odpovědi v reakci na lidské rady, aby dospěla ke správnému řešení.

"Vzhledem k tomuto výkonu by Chat GPT3 u zkoušky obdržel známku B až B," píše Terwiesch.

Několik Terwieschových otázek mělo za cíl otestovat, zda ChatGPT dokáže identifikovat úzké místo ve zpracovatelské operaci s více stroji, které mají různé kapacity propustnosti.

ChatGPT však "udělal významnou chybu obrovského rozsahu" při výpočtu s aritmetikou střední úrovně.

Zajímavé je, že ChatGPT zpočátku nesprávně odpověděl na jednu z Terwieschových otázek týkajících se analýzy fronty. Vyzval ho nápovědou pro lepší odpověď a ChatGPT svou odpověď vylepšil. Následující den mu profesor položil stejnou počáteční otázku ve frontě bez náznaku - a ChatGPT odpověděl správně na první pokus.

"Buď se dokáže poučit z minulé zpětné vazby, nebo jsem měl prostě štěstí," poznamenává a dodává, že se zdálo, že kvalita jeho odpovědí je nějaká náhoda.

Terwiesch také zjistil, že ChatGPT je schopen formulovat chytré a vtipné otázky, které by mohl použít při budoucích zkouškách. Chatbot však v některých otázkách také zavedl jemné nedostatky, kvůli kterým na ně nebylo možné odpovědět.

Také: ChatGPT „postrádal hloubku a vhled“, říkají redaktoři prestižních vědeckých časopisů

Terwiesch varuje ostatní, aby si uvědomovali možnosti a omezení ChatGPT. Říká, že se "zamiloval" do ChatGPT poté, co si přečetl odpověď na svou první otázku, ale varuje, že "udělal velké chyby v některých poměrně jednoduchých situacích."

"Stále jsme daleko od A+ pro komplexní problémy a stále potřebujeme člověka ve smyčce," píše.

„Z mého pohledu na vzdělání se žák základní školy stále potřebuje naučit, že 7 x 7 = 49 a že hlavním městem Pensylvánie je Harrisburg, přestože kalkulačky jsou široce používány již více než 50 let a studenti mohou k hledání odpovědí používat Google Wikipedii. pro většinu faktických otázek. K pochopení pokročilejších témat je povahou základních dovedností."

Terwiesch souhlasí s tím, že pedagogové by se měli obávat, že studenti K-12 mohou používat ChatGPT k podvádění při úkolech a zkouškách. Například ministerstvo školství města New York nedávno zakázalo chatbota, protože spolehlivé testy jsou důležité ve výuce, zatímco certifikace dovedností by neměla být ohrožena kvůli nové technologii. Student používající ChatGPT je jako být schopen zavolat kamarádovi s „průměrnou akademickou kompetencí“, aby za něj zkoušku dokončil, poznamenává.

Ale také tvrdí, že ChatGPT a podobné technologie mají schopnost hrát roli „chytrého konzultanta“ – takového, který produkuje elegantní, ale často nesprávné odpovědi, což je podle něj „dokonalé tréninkové pole“ pro rozvoj dovedností mezi studenty MBA, kteří potřebují kriticky zhodnotit navrhované alternativy.