Může ChatGPT složit zkoušku advokátní komory?

ChatGPT a Barová zkouška

Barová zkouška je náročný test, který posuzuje znalosti a schopnost uvažování prostřednictvím esejů, praktických úloh a otázek s více možnostmi. Jedná se o standardizovaný test, který se používá mnoha jurisdikcemi ve Spojených státech jako součást procesu přijetí do advokacie. Skládá se ze tří částí, které posuzují kandidátovy znalosti obecných právních principů, schopnost aplikovat právní principy na konkrétní skutečnosti a schopnost dokončit právní úkoly.

Tento test je navržen tak, aby umožnil advokátům získat licenci v různých státech, aniž by museli skládat barovou zkoušku pro každý stát zvlášť. Minimální požadovaný skóre je stanovené každou jurisdikcí a výsledky zkoušky lze převést do jiných jurisdikcí, v souladu s pravidly a požadavky každé jurisdikce.

GPT-3.5 a GPT-4, velké jazykové modely od OpenAI, na kterých je postaveno ChatGPT, mají schopnost vykonávat obtížné úkoly, které vyžadují rozsáhlé právní znalosti, schopnost porozumění četbě a dovednosti psaní, takže dokáží splňovat standard lidských právníků téměř ve všech oblastech práva v amerických jurisdikcích. Národní konference advokátních zkoušek, která vytvořila vícenásobný výběr, upozorňuje, že právníci disponují jedinečnými schopnostmi, které získávají prostřednictvím studia a praxe, a které umělá inteligence momentálně nedokáže dosáhnout.

Jak si ChatGPT vedl při zkoušce v advokacii?

Dříve v tomto roce výzkum provedený profesory z Illinois Tech a Michigan State College of Law ukázal, že ChatGPT 3.5 dosáhl úspěšného výsledku ve dvou kategoriích multistátního zkouškového testu (MBE) a ve třetí kategorii se podobně osvědčil jako lidský testující a prokázal tak své obecné porozumění právnímu oboru. V dalším výzkumu provedeném samotnými výzkumníky OpenAI byl ChatGPT úspěšný na zkoušce a dosáhl na 90. percentil v tomto výzkumu, téměř 76% otázek na vícero výběrových odpovědí zodpověděl správně, proti ChatGPT’s původních 50% a překonal průměrného lidského testujícího o více než 7%.

ChatGPT byl schopný generovat eseje a odpovědi na test výkonu, které byly převážně relevantní a logicky propojené. Práh pro úspěšné složení advokátní zkoušky se liší od státu ke státu a v New Yorku je potřeba získat skóre 266, což je přibližně v 50. percentilu, abyste prošli. Výsledky ChatGPT naznačují, že schopnosti velkých jazykových modelů se rozšiřují i na složité úkoly, které vyžadují významnou právní znalost, porozumění a schopnost psát. Tyto modely splňují standard, který platí pro lidské právníky téměř ve všech jurisdikcích ve Spojených státech.

Prošel ChatGPT barovou zkouškou?

ChatGPT úspěšně složil Uniform Bar Examination.

Jaké je nejvyšší 1% skóre z bar examu?

300 je přibližně nejvyšší desetiprocentní percentil, zatímco skóre 330 je zhruba ve vrchní 1%.