Co je GPT-3? Vše, co vaše firma potřebuje vědět o průlomovém jazykovém programu umělé inteligence od OpenAI

GPT-3 je počítačový program vytvořený soukromou společností OpenAI se sídlem v San Francisku. Je to obrovská neuronová síť a jako taková patří do hlubokého učení, což je částí strojového učení, které zase spadá do oblasti počítačové vědy nazvané umělá inteligence neboli AI. Tento program je lepší než jakýkoli předchozí program v produkování textových řádků, které zní jako by je napsal člověk.

Důvodem, proč by takový průlom mohl být užitečný pro společnosti, je, že má velký potenciál pro automatizaci úkolů. GPT-3 může reagovat na jakýkoli text, který osoba napíše do počítače, a vrátit nový text, který je vhodný pro kontext. Například zadejte do vyhledávacího pole plnou anglickou větu a je pravděpodobnější, že se vrátí odpověď ve větách, která je relevantní. To znamená, že GPT-3 může potenciálně zvýšit lidské úsilí v široké škále situací, od otázek a odpovědí pro zákaznickou podporu po vyhledávání dokumentů pro due diligence a tvorbu zpráv.

Podívejte se na následující stručný příklad toho, co osoba napíše do počítače, a jak GPT-3 pošle zpět odpověď:

Lidský vstup: Odpověď: Kdo hrál Tess v doteku anděla?

GPT-3-vytvořené dokončení : A: Delloreese Patricia Early (6. července 1931 - 19. listopadu 2017), známá jako Della Reese

Program aktuálně prochází soukromou beta verzí, na kterou si lidé mohou přihlásit na seznam čekajících. Nabízí ji OpenAI jako API přístupné prostřednictvím cloudu a firmy, kterým byl přístup udělen, vyvinuly několik zajímavých aplikací, které využívají generování textu k vylepšení různých druhů programů, od jednoduchého zodpovídání otázek až po tvorbu programovacího kódu.

S možností automatizace přicházejí také velká omezení. GPT-3 vyžaduje velké množství výpočetního výkonu, což mu umožňuje používat jen málo společností v jakémkoli možném vlastním prostředí. Jeho generovaný text může na první pohled působit dojmem, ale dlouhé kompozice se často stávají jaksi nesmyslnými. A má velký potenciál pro zesilování předsudků, včetně rasismu a sexismu.

JAK GPT-3 FUNGUJE?

GPT-3 je příkladem toho, co se nazývá jazykový model, což je konkrétní druh statistického programu. V tomto případě byl vytvořen jako neuronová síť.

Název GPT-3 je zkratkou slov "generativní předtrénink", které je takto označenou třetí verzí. Je generativní, protože na rozdíl od jiných neuronových sítí, které vytvářejí numerické hodnocení nebo odpověď ano/ne, GPT-3 může generovat dlouhé sekvence původního textu jako výstup. Je předtrénovaný v tom smyslu, že nebyl vybudován s žádným oborovým znalostem, i když dokáže dokončit úkoly specifické pro daný obor, například překlad do cizího jazyka.

Languageový model je v případě GPT-3 program, který vypočítává pravděpodobnost, že se jedno slovo objeví v textu s ohledem na ostatní slova v textu. To je to, co je známo jako podmíněná pravděpodobnost slov.

Například ve větě, Chtěl jsem udělat omeletu, takže jsem šel do lednice a vzal si něco ____, lze mezeru vyplnit libovolným slovem, dokonce i nesmyslem, díky nekonečné složitelnosti jazyka. Ale slovo "vejce" pravděpodobně dostává vysoké hodnocení pro vyplnění té mezery ve většině normálních textů, vyšší než například "sloni". Říkáme, že pravděpodobnost "vejce" za podmínky otevřené věty je vyšší než pravděpodobnost "sloni".

Při vývoji neuronové sítě, nazývané fáze trénování, je do GPT-3 vloženo miliony a miliony vzorků textu, který převádí slova na tzv. vektory, numerické reprezentace. Jedná se o formu komprese dat. Program poté pokouší rozbalit tento komprimovaný text zpět do platného souvětí. Úloha komprese a dekomprese rozvíjí přesnost programu při výpočtu podmíněné pravděpodobnosti slov.

Jednou, když je model vycvičen, tedy když jsou jeho výpočty podmíněné pravděpodobnosti napříč miliardami slov co nejpřesnější, může předpovědět, jaká slova budou následovat, když je vybízen k zadání výchozího slova nebo slov. Tato akce předpovídání je ve strojovém učení nazývána inferencí.

To vede k úžasnému zrcadlovému efektu. Nejenom, že se objevují pravděpodobná slova, ale je reprodukován i rytmus a struktura žánru nebo formy psané úlohy, jako je sada otázek a odpovědí. Například GPT-3 může dostat nějaká jména slavných básníků a ukázky jejich díla, poté jméno jiného básníka a pouze název imaginárního básně, a GPT-3 vyprodukuje novou báseň způsobem, který je v souladu s rytmem a syntaxí básníka, kterého bylo dotázáno.

Zvažte následující příklad, ve kterém GPT-3 vytváří básnický text od začátku, který je podobný dílu Wallace Stevensa, po obdržení názvů, jmen a příkladů jiných básníků a jejich děl:

Člověkem dodaný vstup: Město  OD C. P. CAVAFY   PŘELOŽIL EDMUND KEELEY [Text básně vynechán]

Lidský vstup: NĚKTERÉ STROMY John Ashbery [Text básně vynechán]

 
Humánní vstup: Shadows on the Way - Wallace Stevens

GPT-3-vytvořené dokončení : -------- Vygenerovaná báseň 1 --------   Musím mít stíny na cestě  Abych mohl chodit musím  Každý krok činit pomalu a sám  Mít ho připraveného    A musím myslet ve šedinách  Aby byly zamlžené myšlenky mým průvodcem  Musím hledět na modrou a zelenou  A nikdy nenechávat svůj zrak zapomenout  Že barva je můj přítel  A fialová mě také musí obklopovat  Žluté slunce už není  Natolik invazivní jako modravý sníh  Který na nás padá. Musím mít  Šedivé myšlenky a modré myšlenky, které se mnou kráčejí  Pokud se vůbec chci vydat pryč.

Generování odpovědi znamená, že GPT-3 může jít mnohem dál než jen produkování psaní. Dokáže se vyrovnat s různými druhy testů včetně testů rozumování, které zahrnují odpověď v přirozeném jazyce. Pokud je například GPT-3 zadána esej o nájemních sazbách manhattanských nemovitostí a výroku shrnujícím text, jako například "Manhattan je levný," a otázce "pravda nebo lež?", GPT-3 odpoví na celý dávaný úkol vrácením slova "lež," protože výrok nesouhlasí s argumentem eseje.

Lidský vstup: Trend směrem dolů pronájmů se může zdát překvapivý vzhledem k tomu, že některé komunity v New Yorku lamentují ztrátu oblíbených místních podniků kvůli vysokému pronájmu. Ale přestože nedávné zmírnění, pro mnoho z těchto prodejců stále od roku 1970, kdy byly podepsány jejich nájemní smlouvy, byl příliš velký skok od nájemných sazeb z konce 70. let. Samozřejmě, nedávný pokles cen neznamená, že Manhattan je levný.

Člověkem zadaný vstup: dotaz: Manhattan je levný. pravda, nepravda, nebo nic z toho?

Člověkem zadaný vstup: odpověď: 

Dokončení generované pomocí GPT-3: false

Schopnost GPT-3 reagovat způsobem, který je v souladu s úkolovým příkladem, včetně formulářů, se kterými nebyl nikdy dříve seznámen, ho činí tím, co se nazývá "few-shot" jazykový model. Namísto rozsáhlého doladění, nebo jak se to nazývá "trénování," pro daný úkol, GPT-3 již obsahuje tolik informací o mnoha způsobech, jak se slova kombinují, že mu stačí pouze pár příkladů úkolu, co se nazývá jemné doladění, a získá také schopnost provádět tento nový úkol.

Schopnost napodobovat přirozené jazykové styly a dosahovat relativně vysokých výsledků v jazykových testech může vzbudit dojem, že GPT-3 se přibližuje lidskému schopnosti pracovat s jazykem. Jak uvidíme, tomu tak ale není.

Více technických podrobností naleznete ve formálním článku o GPT-3, který vypracovali vědci z OpenAI.

CO DOKÁŽE GPT-3?

OpenAI se nyní stalo stejně slavným - nebo pověstným - pro své postupy při vydávání svého kódu, jako samotný kód. Když společnost představila předchůdce GPT-2 na Valentýna roku 2019, původně nechtěla veřejnosti zpřístupnit nejvýkonnější verzi, tvrdila, že je příliš nebezpečná k vydání do volné přírody kvůli riziku hromadného vytváření falešného a zavádějícího textu. OpenAI ji následně dala k dispozici ke stažení.

Tentokrát OpenAI neposkytuje žádné stahování. Namísto toho spustilo cloudový API endpoint, který z GPT-3 vytváří nabídku jako službu. (Představte si to jako LMaaS, službu modelu jazyka.) Důvodem je, jak tvrdí OpenAI, omezit použití GPT-3 špatnými jedinci a vydělat peníze.

"S otevřeným zdrojovým kódem neexistuje žádné tlačítko 'zpět'," zdělil(a) OpenAI ZDNet prostřednictvím mluvčího.

"Propuštění GPT-3 prostřednictvím API nám umožňuje bezpečně ovládat jeho používání a potřebě realizovat omezení přístupu."

V současné době je OpenAI API služba omezena na schválené strany; je zde čekací seznam, na který se můžete přihlásit, abyste získali přístup.

"V tuto chvíli je API v kontrolované beta verzi s malým počtem vývojářů, kteří předložili nápad na něco, co by chtěli pomocí API uvést do produkce," uvedla společnost OpenAI pro ZDNet.

Také: OpenAIho 'nebezpečný' textový generátor umělé inteligence je venku: Lidé považují slova za 'přesvědčivá'

Existují zajímavé příklady toho, co lze dělat od společností ve beta programu. Sapling, společnost podporovaná venture fondem Y Combinator, nabízí program, který působí jako nadstavba nad CRM softwarem. Když zástupce zákaznické podpory řeší příchozí žádost o pomoc, třeba prostřednictvím e-mailu, program používá GPT-3 k navržení celé věty jako odpovědi z nejpravděpodobnějších možností.

Herní tvůrce Latitude využívá GPT-3 k vylepšení své textové dobrodružné hry, AI Dungeon. Obvykle by dobrodružná hra vyžadovala složitý rozhodovací strom, který by naprogramoval mnoho možných cest hrou. Místo toho může GPT-3 dynamicky generovat měnící se stav hraní v reakci na akce, které uživatelé zadají.

Už dnes automatizace úkolů přesahuje přirozený jazyk a generuje počítačový kód. Kód je jazyk a GPT-3 dokáže odvodit nejpravděpodobnější syntaxi operátorů a operandů v různých programovacích jazycích a produkovat posloupnosti, které lze úspěšně přeložit a spustit.

Raným příkladem oslnil Twitter-verse, od vývojového startupu Debuild. Šéf společnosti, Sharif Shameem, dokázal vytvořit program, ve kterém napíšete popis uživatelského rozhraní softwaru česky, a GPT-3 odpoví kódem počítače pomocí rozšíření JSX pro jazyk JavaScript. Tento kód vytvoří rozhraní odpovídající vašemu popisu.

To je neuvěřitelné. S pomocí GPT-3 jsem vytvořil generátor rozložení, kde jen popíšete jakékoli rozložení, které chcete, a generuje pro vás kód JSX. W H A T pic.twitter.com/w8JkrZO4lk

— Sharif Shameem (@sharifshameem) 13. července 2020

Shameem ukázal, že popisem uživatelského rozhraní s více tlačítky dokázal jedinou větou popsat celý program, ačkoli jednoduchý, jako je výpočet základní aritmetiky a zobrazení výsledku, a GPT-3 by vytvořil veškerý kód a spustil aplikaci.

Jen jsem vytvořil *fungující* React aplikaci popsáním toho, co jsem chtěl GPT-3. Stále jsem ohromený. pic.twitter.com/UUKSYz2NJO

— Sharif Shameem (@sharifshameem) 17. července 2020

OpenAI dosud obdržela "desítky tisíc žádostí o přístup k API a pečlivě zvažuje přístup, jakmile se dozvídáme, co tyto modely dokážou ve skutečném světě," uvedla společnosti ZDNet. "Proto je seznam čekatelů možná dlouhý."

Cena pro případnou komerční službu je stále k určení. Když se zeptáme, kdy program vyjde z betaverze, OpenAI řekl ZDNet: „nebrzy“.

"Vypuštění takového výkonného modelu znamená, že musíme postupovat pomalu a uvážlivě zvažovat jeho dopad na podniky, průmysly a lidi," uvedla společnost. "Formát API nám umožňuje studovat a vhodně upravovat jeho použití, ale nemáme žádný spěch, abychom ho obecně dostupným dělali s ohledem na jeho omezení."

Pokud nemůžete dlouho čekat na beta verzi, můžete si stáhnout předchozí verzi GPT-2, kterou můžete spustit na přenosném počítači pomocí instalace Dockeru. Zdrojový kód je k dispozici ve stejném repozitáři na Githubu ve formátu Pythonu pro framework TensorFlow. Samozřejmě nezískáte stejné výsledky jako s GPT-3, ale je to způsob, jak začít seznámení.

Pamatujte si také, že se neustále objevují nové jazykové modely s podobnými schopnostmi a některé z nich mohou být pro vaše účely dostačující. Například Google nedávno vydal verzi svého jazykového modelu BERT, nazvanou LaBSE, která představuje výrazné zlepšení ve strojovém překladu. Je k dispozici ke stažení z TensorFlow Hub.

Také: Obrovský GPT-3 od společnosti OpenAI naznačuje limity jazykových modelů pro umělou inteligenci

JAKÁ JE HISTORIE GPT-3?

GPT-3, odhalený v květnu, je třetí verze programu, který byl poprvé představen v roce 2018 společností OpenAI a následně sledován v loňském roce verzí GPT-2. Tyto tři programy jsou příkladem rychlé inovace v oblasti jazykových modelů, díky dvěma významným pokrokům, které se odehrály v roce 2015.

Prvním pokrokem bylo použití toho, co je známo jako pozornost. Vědec v oblasti AI Yoshua Bengio a jeho kolegové z montrealského institutu Mila pro AI zjistili, že jazykové modely, když komprese anglického věty a poté ji dekomprimovaly, vždy používaly vektor pevné délky. Každá věta byla všechená do vektoru stejné velikosti, bez ohledu na její délku.

Bengio a jeho tým dospěli k závěru, že tento rigidní přístup byl omezením. Jazykový model by měl být schopen prohledávat mnoho vektorů různé délky, aby našel slova, která optimalizují podmíněnou pravděpodobnost. A tak vymysleli způsob, jak umožnit neuronové síti flexibilně komprimovat slova do vektorů různých velikostí, a také umožnit programu flexibilně prohledávat tyto vektory, aby našel relevantní kontext. Toto nazvali pozornost (attention).

Pozornost se stala klíčovým prvkem v jazykových modelech. O dva roky později ji využili vědci ve společnosti Google k vytvoření programu pro jazykový model nazvaného Transformer. Transformer dosáhl neuvěřitelných výsledků při testech manipulace s jazykem. Stal se de facto jazykovým modelem a byl použit společností Google k vytvoření úspěšného jazykového modelu známého jako BERT. Transformer se také stal základem modelu GPT-1.

Osobo významné je osvobození od potřeby přesné manipulace s vektor se stálou velikostí. Transformer a jeho potomci se mohou pohybovat po různých částech daného textu a najít podmíněné závislosti, které se rozprostírají ve mnohem větším kontextu.

Tato svoboda vytvořila prostor pro další inovaci, která přišla v roce 2015 a která byla ještě více středobodem práce OpenAI, známá jako nesupervizované učení.

Dosud se především zaměřovalo na vybíravé učení u většiny jazykových modelů s tzv. označenými daty. Představte si, že neuronová síť dostává jako vstup zadanou úlohou a k ní odpovídající příklad výstupu jako cílovou verzi odpovědi. Například při překladu by anglická věta sloužila jako vstup a lidsky vytvořený francouzský překlad by byl poskytnut jako žádoucí cíl a tato dvojice vět představuje označený příklad.

Pokus neuronové sítě o generování francouzského překladu by byl porovnán s oficiálním francouzským větou, a rozdíl mezi nimi je míra, kterou neuronová síť chybuje ve svých předpovědích, což je známo jako ztrátová funkce nebo cílová funkce.

Fáze tréninku slouží k uzavření této chybové mezery mezi navrhovaným výstupem neuronové sítě a cílovým výstupem. Když je mezera co nejmenší, byla optimalizována objektivní funkce a neuronová síť jazykového modelu je považována za vyškolenou.

Ale problém může nastat při označování požadovaného výstupu, protože vyžaduje velké množství kurace dat, například sestavování dvojic příkladových vět pomocí lidského posouzení, což je časově náročné a náročné na zdroje. Andrew Dai a Quoc Le z Google formulovali hypotézu, že je možné snížit potřebná označovaná data, pokud je jazykový model nejprve trénovaný nesupervizovaným způsobem.

Místo toho, aby byla síti poskytnuta dvojice vět, byly jí poskytnuty pouze samostatné věty a musela každou z nich komprimovat do vektoru a znovu dekomprimovat do původní věty. Zrcadlení se stalo ztrátovou funkcí, kterou je třeba optimalizovat. Zjistili, že čím více nepoznačených příkladů bylo takto komprimováno a dekomprimováno, tím více mohli nahradit velké množství označených dat u úkolů, jako je překlad.

V roce 2018 tým OpenAI kombinoval tyto dvě složky - mechanismus pozornosti, který vyvinul Bengio a jeho kolegové, který se bude pohybovat mezi mnoha slovními vektory, a nepodmíněné předtréninkové přístupy od Daiho a Lea, které by měly absorbovat velké množství textu, komprimovat jej a dekomprimovat jej, aby reprodukovaly původní text.

Vzali standardního Transformera a napájeli jej obsahem BookCorpus, databází sestavenou Univerzitou v Torontu a MIT obsahující přes 7 000 publikovaných knižních textů s celkovým počtem téměř milionu slov, což je dohromady 5GB. GPT-1 byl naučen tyto knihy komprimovat a dekomprimovat.

Tím začala tříletá historie stále větších datových sad. Výzkumníci z OpenAI, zdůvodňující, že větší množství dat vede k přesnějšímu modelu, posunuli hranice toho, co program mohl zpracovat. S GPT-2 se rozhodli odstranit BookCorpus ve prospěch vlastního souboru dat, který se skládal z osmi milionů webových stránek, stažených z odkazů na Redditu, celkem 40 GB dat.

Trénování GPT-3 je stále obrovské, skládající se z populárního datového souboru CommonCrawl obsahujícího webové stránky z let 2016 až 2019. Jeho nominální velikost je 45TB komprimovaných textových dat, ale OpenAI jej upravilo odstraněním duplicit a jinými úpravami, aby zlepšili kvalitu. Finální verze má velikost 570GB dat. OpenAI ji dále doplnilo o několik dalších datových souborů různých druhů, včetně dat z knih.

JAK ZÁVISÍ GPT-3 NA VÝKONU VÝPOČETNÍ TECHNIKY?

S příchodem GPT-1, 2 a 3 se stala velikost výpočetního výkonu nezbytnou součástí pokroku. Modely využívají stále většího množství počítačového výkonu při svém trénování, aby dosáhly lepších výsledků.

Co optimalizuje neuronovou síť během trénování, je úprava jejích vah. Váhy, které jsou také označovány jako parametry, jsou matice, pole řádků a sloupců, kterým je každý vektor násoben. Prostřednictvím násobení jsou mnohé vektory slov nebo slovních fragmentů přidělovány větší nebo menší váhu v konečném výstupu, jak se neuronová síť ladí, aby byla zmenšena chybová mezera.

OpenAI zjistilo, že aby dosáhli dobrých výsledků na jejich stále větších datasetech, museli přidávat stále více vah.

Původní Transformer od Googlu měl 110 milionů váhových hodnot. GPT-1 pokračoval v tomto designu. S GPT-2 byl počet zvýšen na 1,5 miliardy váhových hodnot. S GPT-3 se počet parametrů zvýšil na 175 miliard, čímž se GPT-3 stala největší neuronovou sítí, jakou svět kdy viděl.

Násobení je jednoduchá věc, ale když je třeba přenásobit 175 miliard vah každým bitem vstupních dat, přes miliardy bytů dat, stane se z toho neuvěřitelný úkol paralelního zpracování v počítači.

Již v roce 2018 OpenAI překračovala hranice praktického výpočetního výkonu s GPT-1. Zvětšování objemu dat znamenalo zvětšování počtu GPU. Předchozí jazykové modely se vešly do jedné GPU, protože samotné modely byly malé. GPT-1 se trénovala jeden měsíc na osmi GPU pracujících paralelně.

S GPT-3 byla společností OpenAI zachována určitá záhadnost. Nebyla popsána přesná konfigurace počítače použitého pro trénink, s výjimkou informace, že běžel na clusteru čipů Nvidia V100 v prostředí Microsoft Azure. Společnost popisuje celkový výpočetní výkon potřebný k tréninku ve formě jeden tisíc bilionů operací s pohyblivou řádovou čárkou za sekundu za den po dobu 3 640 dní.

Výrobce počítačů a poskytovatel cloudových služeb Lambda Computing odhaduje, že jedné jednotce GPU by trvalo 355 let vykonat takový výpočet, což by za standardní cenu instancí GPU v cloudu přišlo na 4,6 milionu dolarů. A pak je tam samozřejmě paměť. Pro uložení všech váhových hodnot je potřeba stále víc paměti s růstem počtu parametrů. GPT-3 má 175 miliard parametrů a vyžaduje 700 GB paměti, což je desetkrát více než paměť na jedné jednotce GPU.

To je ten druh obrovských požadavků na energii, který hnací oblast počítačových čipů. To zvýšilo cenu akcií společnosti Nvidia, dominantního dodavatele GPU pro výcvik umělé inteligence, o téměř 5 000 % za posledních deset let. To vedlo k vzniku řady startupových společností podporovaných stovkami milionů dolarů z rizikového kapitálu, včetně Cerebras Systems, Graphcore a Tachyum. Soutěž bude pokračovat tak dlouho, dokud bude zvyšování velikosti modelů zůstávat trendem v této oblasti.

OpenAI vyprodukovalo vlastní výzkum o rostoucí počítačové síle potřebné. Společnost v roce 2018 poznamenala, že spotřebovaná výpočetní cyklická mákájích největších trénovacích modelů umělé inteligence se zdvojnásobovala každé 3,4 měsíce od roku 2012, což je rychlejší růst než v případě slavného Moorova zákona růstu počtu tranzistorů na čipu. (Přetáhni! Společnost také představila výzkum, který ukazuje, že oproti předchozím neuronovým sítím provádějícím stejnou práci jsou stále větší modely úspornější na jednotkové bázi.)

Již existují vývojové modely, které využívají více než bilion parametrů, jak uvádějí společnosti informované o top-secret projektech AI. Pravděpodobně to ale není žádný limit, dokud budou významné firmy jako Google ochotné věnovat svá obrovská datová centra stále větším modelům. Většina odborníků na AI souhlasí, že pro strojové učení bude stále platit, že čím větší, tím lepší, a to i na dlouhou dobu.

"Pokud jde o vliv na oblast umělé inteligence, nejzajímavější částí GPT-3 je, že ukazuje, že jsme se ještě vůbec nepřiblížili limitem měřítka umělé inteligence," řekl Kenny Daniel, CTO dodavatele nástrojů pro správu umělé inteligence Algorithmia, serveru ZDNet.

Kromě zvýšení výpočetního využití bude mít GPT-3 zjevný dopad na to, jak rychleji se zrychluje programování a vývoj aplikací obecně. Demonstrační příklad Shameema ukazující vytvoření JSX programu pouhým napsáním věty je jen špičkou ledovce.

CO JSOU PROBLÉMY GPT-3?

Přestože dochází k velkému zlepšení oproti předchozí verzi, má GPT-3 mnoho omezení, jak sami autoři upozorňují. "I když je kvalita jako celek vysoká, vzorky GPT-3 se stále někdy opakují sémanticky na úrovni dokumentu a začínají ztrácet koherenci při dostatečně dlouhých pasážích," uvádějí ve zveřejněné studii.

Přímo v programu se také nedaří dosahovat dobrých výsledků u řady jednotlivých testů. "Konkrétně má GPT-3 problém s otázkami typu 'Když dám sýr do lednice, rozpustí se?' popisují autoři druh běžných věcí, které se GPT-3 vyhýbá."

Po vydání GPT-3 bylo tolik vzrušení, že CEO společnosti, Sam Altman, veřejně upozornil lidi, aby své nadšení omezili.

"Hype okolo GPT-3 je příliš velký," tweetoval Altman 19. července. "Je to úžasné (díky za hezké komplimenty!), ale stále má vážné nedostatky a někdy dělá velmi hloupé chyby," napsal. "Umělá inteligence změní svět, ale GPT-3 je jen velmi předběžný náhled. Ještě máme hodně věcí, které musíme přešlapat."

Hype kolem GPT-3 je příliš velký. Je to působivé (díky za hezká komplimenty!), ale stále má vážné nedostatky a občas dělá velmi hloupé chyby. Umělá inteligence změní svět, ale GPT-3 je jen velmi počáteční pohled. Máme ještě hodně věcí, které musíme objasnit.

— Sam Altman (@sama) 19. července 2020

Další lidé mimo OpenAI nabízejí svou vlastní realitu. Zkušený uživatel více generací GPT, Max Woolf, napsal na svém osobním blogu, že GPT-3 je lepší než to, co přišlo dříve, ale pouze v průměru. Existuje spektrum kvality generovaného textu tak, že některé příklady, se kterými se setkáte, budou působit pozoruhodně a jiné vůbec nebudou dobré. Woolf přirovnává GPT-3 k Applu Siri, který má znepokojující zvyk často produkovat odpad. (Woolfův esej stojí za přečtení celým svým rozsahem jako promyšlené rozložení GPT-3.)

Skutečně, když člověk čte čím dál více příkladů GPT-3, zejména dlouhých textů, bude se určitě rozptylovat počáteční nadšení. GPT-3 na delší pasáže má tendenci ztrácet nit, jak se říká. Bez ohledu na žánr nebo úkol se jeho textový výstup stává jednotvárný a unavující, objevují se vnitřní nesrovnalosti v příběhu.

Někteří programátoři, navzdory svému nadšení, zaznamenali mnoho nedostatků, jako například nezdařené pokusy GPT-3 o otcovské vtipy. S vstupem "Co jedna talíř řekl druhému?" má správná otcovská odpověď být: "Večeře je na mě!" Ale GPT-3 místo toho může odpovědět nehumorně: "Ponoř mě!"

Člověkem zadaný vstup: Otázka. Co říká jeden talíř druhému talíři?

GPT-3-generované dokončení: A. Ponor mě!

Zatímco GPT-3 dokáže odpovědět na domnělé otázky o zdravém rozumu, jako například kolik očí má žirafa, nedokáže odrazit nesmyslnou otázku a je veden k poskytnutí nesmyslné odpovědi. Když se zeptáte: "Kolik očí má moje noha?", přílišně poslušně odpoví: "Moje noha má dvě oči."

Jedním způsobů, jak přemýšlet o vší té mediokritě, je, že získání dobrého výstupu z GPT-3 vyžaduje určitou investici do vytváření efektivních podnětů. Některé lidské vytvořené podněty nalákají program k lepším výsledkům než jiné podněty. Je to nová verze pořekadla "špatný vstup, špatný výstup". Podněty se zdají být novou oblastí programování samotnou o sobě, vyžadující jak šikovnost, tak uměřenost.

Předsudek je velkým zvážením, nejen u GPT-3, ale i u všech programů, které se spoléhají na podmíněné rozdělení. Základní přístup programu je vrátit přesně to, co do něj vložíme, jako zrcadlo. To má potenciál pro reprodukci předsudků ve vstupních datech. Již byla vedena odborná diskuze o rozsáhlých předsudcích v GPT-2.

S GPT-3 vydal(a) výzkumník umělé inteligence z Nvidia, Anima Anandkumar, výstrahu, že tendence produkovat zaujatý výstup, včetně rasistického a sexistického výstupu, stále přetrvává.

Jsem znepokojen, že toto bylo vydáno bez jakékoli odpovědnosti za zkreslení. Toto bylo trénováno na korpusu z @reddit s ohromným #rasismem a #sexismem. Pracoval jsem s těmito modely a text, který vytvářely, je šokujícím způsobem zkreslený. @alexisohanian @OpenAI https://t.co/R8TU1AeYZd

— Prof. Anima Anandkumar (@AnimaAnandkumar) 11. června 2020

Na dotaz ohledně kritiky Anandkumara řekl OpenAI ZDNetu: "Stejně jako u všech stále mohutnějších generativních modelů jsou i pro nás záležitostí spravedlnost a zneužití."

"Jedním z důvodů, proč tuto technologii sdílíme prostřednictvím API a začínáme v privátní betaverzi," uvedl OpenAI pro ZDNet. Společnost poznamenává, že "nepodpoříme použití, které považujeme za způsobující fyzickou nebo duševní újmu lidem, včetně, ale neomezeně na obtěžování, úmyslného klamání, radikalizace, astroturfingu nebo spamu."

OpenAI řekl ZDNet, že používá známý druh white hat, black hat hry, aby odhalil nebezpečí v programu:

Byli jsme nasadili co nazýváme „červený tým“, který je pověřen trvalým porušováním systému filtrace obsahu, abychom se mohli dozvědět víc o tom, jak a proč model vrací špatné výstupy. Jeho protějškem je „modrý tým“, který se zabývá měřením a snižováním předsudků.

Další velký problém je velmi široká, velkoobchodní povaha GPT-3, skutečnost, že posiluje pouze nejsilnější část křivky podmíněné pravděpodobnosti. Existuje zde takzvaný dlouhý ocásek a někdy i silný ocásek pravděpodobnostního rozdělení. Jsou to méně časté instance, které mohou představovat nejnovátornější příklady použití jazyka. Zaměřování se na odrážení nejrozšířenějšího textu ve společnosti znamená riziko vytlačení kreativity a objevování.

Prozatím je odpovědí OpenAI na tento problém nastavení, které lze upravit v GPT-3, nazývané hodnota teploty. Pokud s tímto ovládacím prvkem pohráváte, GPT-3 bude vybírat méně pravděpodobné kombinace slov a tak produkovat text, který je možná neobvyklý.

Pro podnik je ještě naléhavějším problémem fakt, že nelze doladit GPT-3 s firmou-specifickými daty. Bez možnosti naladit cokoli je obtížné specializovat GPT-3 pro průmyslovou oblast, například. Může se stát, že jakákoli společnost, která používá API službu, bude muset text pracovat dále, aby byl použitelný v dané oblasti. Možná začnou vznikat startupy jako Sapling, které by vyřešily tuto otázku a utvořily ekosystém, ekvivalent k VAR, kteří by to vyřešili. Možná, ale zůstává to ve hvězdách.

Pokud to nebylo dost znepokojivé, je tu další problém, který spočívá v tom, že jako cloudová služba je GPT-3 černou skříňkou. To znamená, že firmy, které by tuto službu využívaly, nemají žádnou představu, jak se dostane k výstupu - a to je zejména nebezpečné, pokud vezmeme v úvahu otázky zkreslení. Ekosystém stran, jako je například Sapling, které zlepšují GPT-3, by mohl přidat další vrstvy zamlčení zároveň s vylepšováním služby.

Jako podsekce problému s černou skříňkou může GPT-3 v některých případech jednoduše zapamatovat, co absorbovalo z webu. To vyvolává otázky autorských práv. Pokud společnost používá výstup z API služby, který je chráněn autorskými právy, může tím společnost porušovat autorské právo jiného subjektu. Když se zeptáte na autorské právo, OpenAI řekl ZDNet, že autorská práva ke generovanému textu GPT-3 "patří uživateli, nikoliv OpenAI." Co to znamená v praxi, zatím není jasné.

V tuto chvíli největším praktickým nedostatkem je potřebná škála pro trénování a provoz GPT-3. OpenAI to uznává ve formálním článku. Autoři píší, že je třeba provést práci, aby se vypočítaly náklady na velké modely v amortizaci času na základě hodnoty vyprodukovaného výstupu.

Také: Ne, tato AI nedokáže dokončit váš větu

UČÍ SE GPT-3 SKUTEČNĚ?

Používajíc užší význam slova se GPT-3 učí v tom smyslu, že se automaticky upravují váhy jeho parametrů při zpracování trénovacích dat, aby se jazykový model stal lepším než by dovolilo jeho explicitní programování. V tomto smyslu je GPT-3 pokrokem v desítky let trvajícím úsilím o počítač, který může naučit funkci, která transformuje data, aniž by člověk explicitně zakódoval tu funkci.

To řečeno, člověk se bude ptát, zda je stroj skutečně inteligentní nebo skutečně se učí. Existuje mnoho způsobů, jak tuto otázku diskutovat, ale povrchní úvaha naznačuje, že většina toho, co bychom mohli nazvat lidským myšlením, se zde neodehrává.

Představte si, že byste ve svém mozku měli číselný údaj o tom, kolik slov se pravděpodobně objeví společně. Řekl byste, že vaše schopnost tvořit fráze, věty, odstavce a celé pasáže textu je promyšlená? Pravděpodobně byste řekli, že je to pouze statistické a že něco chybí.

Byly provedeny srovnání mezi hlubokým učením a slavným Clever Hansem, německým koněm, který ho jeho pán předváděl veřejnosti jako zvíře schopné počítat s pomocí kopyt. Později bylo zjištěno, že Hans reagoval na tělesné signály od svého pána, aby bouchl kopytem, a bez těchto signálů nebyl schopen úkonu provést.

Podobně jako lidská kvalita GPT-3 se rozpadá při bližším zkoumání. Když GPT-3 správně odpovídá na otázku pravda/nepravda o esejích o realitách v New Yorku, není to proto, že program ví o realitě nebo New Yorku. Má uloženo pravděpodobnostní rozdělení, které zachycuje tvrzení v textech a formátu páru výrok-otázka a může je zrcadlit ve výstupu.

Hans o aritmetice vůbec nic nevěděl, i když na Hanse se dá říct, že měl přesto inteligenci. V případě neuronových sítí kritikové řeknou, že jsou tam jen triky, bez jakéhokoli pořádného úsudku.

Přesto mohou inteligence a učení znamenat mnoho věcí a cíle se v průběhu let posunuly v tom, co by měla být umělá inteligence, jak o tom poukázala historička oboru Pamela McCorduck. Někteří by mohli argumentovat, že program, který dokáže počítat pravděpodobnosti přes rozsáhlé sestavy textu, může být odlišným druhem inteligence, možná cizí inteligencí, jinou než naše vlastní. Ještě je příliš brzy ho zavrhovat.

Kromě toho jsou neuronové sítě, které přinášejí tyto podmíněné pravděpodobnosti, více než pouhé statistické programy. Jejich výpočty jsou emergentní vlastností několika současných matematických operací, které se stávají paralelně, laděním vah parametrů. Pokud je možné zvážit jiné formy inteligence, pak může být emergentní vlastnost, jako jsou distribuovaná zobrazení, která se tvoří uvnitř neuronových sítí, jedno místo, kde se pro ni hledá.

JAKÁ JE BUDOUCNOST GPT-3?

Jedno je jasné: GPT-3 otevřel novou kapitolu v strojovém učení. Jeho nejvýraznější vlastností je jeho obecnost. Před pár lety byly neuronové sítě vytvářeny s funkcemi naladěnými na konkrétní úkol, jako je překlad nebo zodpovídání otázek. Dataset byl vytvořen tak, aby odrážel tento úkol. Na rozdíl od toho GPT-3 nemá úkolově specifické funkce a nepotřebuje speciální dataset. Jednoduše se snaží co nejvíce textu odnikud nasávat a odráží ho ve svém výstupu.

Nějakým způsobem, při výpočtu podmíněné pravděpodobnostní distribuce přes všechny ty gigabyty textu, se objeví funkce, která může poskytnout odpovědi, které jsou konkurenceschopné ve všech těchto úkolech. Je to ohromující úspěch jednoduchosti, který pravděpodobně ještě mnoho let bude pokračovat.

Dokonce i tato obecnost se však může dostat na své hranice. Autoři GPT-3 již na konci svého článku poznamenávají, že směr předtrénování by se mohl nakonec vyčerpat. "Další základní omezení obecného přístupu popsaného v tomto článku [...] je, že by se mohl nakonec dostat na (nebo by se již mohl dostávat na) limity původního předtrénovacího cíle."

Autoři navrhují slibné nové směry mohou zahrnovat "učení objektivní funkce od lidí" a kombinování jiných druhů hlubokého učení, jako je "učení zesílení" přístupu používaného v AlphaZero od DeepMind k vítězství ve šachu a go. (Už začali implementovat takové přístupy. Na začátku září autoři OpenAI ukázali, že mohou používat učení zesílení k výcviku GPT-3, aby produkoval lepší shrnutí článků, když poskytnou jazykovému modelu nějakou zpětnou vazbu od lidí na to, která shrnutí zní lépe.)

Další věc, kterou navrhují, je přidání dalších typů dat, jako jsou obrázky, k vyplnění "modelu světa" programu.

Skutečně příští roky pravděpodobně přinesou rozšíření tohoto obecného přístupu i na jiné modalitních nežli text, například na obrazy a video. Představte si program podobný GPT-3, který dokáže překládat obrazy na slova a naopak, aniž by vyžadoval specifický algoritmus pro modelování vztahu mezi nimi. Mohl by například "naučit se" textové popisy scén z fotografií nebo předpovědět fyzickou posloupnost událostí na základě textových popisů.

Ředitel Facebook AI Yann LeCun tvrdí, že nepodmíněné trénování různých forem je budoucností hlubokého učení. Pokud je to pravda, před-tréninkový přístup aplikovaný na různé modalit dat, od hlasu, přes text, obrazy až po video, může být vnímán jako velmi slibný směr pro nepodmíněnou vlnu.