Jak ChatGPT funguje?

ChatGPT je jedním z nejzářivějších nových nástrojů poháněných umělou inteligencí, ale algoritmy pracující na pozadí ve skutečnosti od roku 2020 pohánějí celou řadu aplikací a služeb. Abychom pochopili, jak ChatGPT funguje, musíme začít tím, že si promluvíme o základním jazyce. motor, který ho pohání.

GPT v ChatGPT je většinou GPT-3 nebo Generative Pre-trained Transformer 3, ačkoli GPT-4 je nyní k dispozici pro předplatitele ChatGPT Plus – a pravděpodobně se brzy rozšíří. Modely GPT byly vyvinuty společností OpenAI (společnost stojící za ChatGPT a generátorem obrázků DALL·E 2), ale pohánějí vše od funkcí AI Bing až po nástroje pro psaní, jako je Jasper a Copy.ai. Ve skutečnosti většina textových generátorů AI dostupných v současné době používá GPT-3 a pravděpodobně nabídne GPT-4 jako další krok.

ChatGPT přinesl GPT-3 do centra pozornosti, protože díky němu byl proces interakce s generátorem textu AI jednoduchý a – co je nejdůležitější – zdarma pro každého. Navíc je to chatbot a lidé od SmarterChild milují dobrého chatbota.

Zatímco GPT-3 a GPT-4 jsou v současnosti nejoblíbenějšími modely velkých jazyků (LLM), během několika příštích let bude pravděpodobně mnohem větší konkurence. Google má například Bard — svého chatbota s umělou inteligencí — který je poháněn vlastním jazykovým motorem Pathways Language Model (PaLM 2). Ale prozatím je nabídka OpenAI de facto průmyslovým standardem. Je to jen nejjednodušší nástroj pro lidi, který se jim dostane do rukou.

Takže odpověď na otázku "jak funguje ChatGPT?" je v podstatě: GPT-3 a GPT-4. Ale pojďme zapátrat trochu hlouběji.

Co je ChatGPT?

ChatGPT je aplikace vytvořená OpenAI. Pomocí jazykových modelů GPT může odpovídat na vaše otázky, psát kopie, navrhovat e-maily, vést konverzaci, vysvětlovat kód v různých programovacích jazycích, překládat přirozený jazyk do kódu a další – nebo se o to alespoň pokusit – vše na základě přirozeného jazyka. vyzve, abyste jej nakrmili. Je to chatbot, ale opravdu, opravdu dobrý.

I když je skvělé si s tím pohrát, pokud, řekněme, chcete napsat Shakespearovský sonet o svém mazlíčkovi nebo získat pár nápadů na předměty pro některé marketingové e-maily, je to také dobré pro OpenAI. Je to způsob, jak získat spoustu dat od skutečných uživatelů a slouží jako efektní ukázka síly GPT, která by se jinak mohla zdát trochu nejasná, pokud byste nebyli hluboko ve strojovém učení.

Právě teď ChatGPT nabízí dva modely GPT. Výchozí, GPT-3.5, je méně výkonný, ale dostupný pro každého zdarma. Pokročilejší GPT-4 je omezen na předplatitele ChatGPT Plus a i ti dostanou každý den jen omezený počet otázek.

Jednou z velkých funkcí ChatGPT je, že si dokáže zapamatovat konverzaci, kterou s ním vedete. To znamená, že může získat kontext z čehokoli, na co jste se ho předtím zeptali, a poté jej použít k informování o konverzaci s vámi. Můžete také požádat o přepracování a opravy a bude odkazovat na vše, o čem jste dříve diskutovali. Interakce s umělou inteligencí se díky tomu cítí jako opravdové tam a zpět.

Pokud to chcete opravdu pocítit, jděte a strávte pět minut hraním s ChatGPT (je to zdarma!) a pak se vraťte a přečtěte si, jak to funguje.

Jak ChatGPT funguje?

Tento obrovský soubor dat byl použit k vytvoření neuronové sítě pro hluboké učení [ ... ] modelované podle lidského mozku – což umožnilo ChatGPT naučit se vzorce a vztahy v textových datech [ ... ] předpovídat, jaký text by měl následovat v dané větě .

ChatGPT funguje tak, že se snaží porozumět vaší výzvě a poté vyplivne řetězce slov, o kterých předpovídá, že nejlépe zodpoví vaši otázku, na základě dat, na kterých byl trénován.

Pojďme se vlastně bavit o tom tréninku. Je to proces, kdy vznikající umělé inteligenci jsou dána určitá základní pravidla a poté je buď uvedena do situací, nebo je jí poskytnuto množství dat, kterými se musí propracovat, aby mohla vyvinout své vlastní algoritmy.

GPT-3 byl trénován na zhruba 500 miliardách „tokenů“, které umožňují jeho jazykovým modelům snadněji přiřadit význam a předvídat věrohodný následný text. Mnoho slov se mapuje na jednotlivé tokeny, i když delší nebo složitější slova se často rozdělují do více tokenů. V průměru jsou tokeny dlouhé zhruba čtyři znaky. OpenAI o vnitřním fungování GPT-4 mlčela, ale můžeme s jistotou předpokládat, že byla trénována na téměř stejném datovém souboru, protože je ještě výkonnější.

Všechny tokeny pocházely z obrovského korpusu dat napsaných lidmi. To zahrnuje knihy, články a další dokumenty napříč různými tématy, styly a žánry – a neuvěřitelné množství obsahu staženého z otevřeného internetu. V podstatě bylo dovoleno prokousat se souhrnem lidských znalostí.

Tento obrovský soubor dat byl použit k vytvoření neuronové sítě hlubokého učení – komplexního, mnohovrstevného, váženého algoritmu modelovaného podle lidského mozku – což umožnilo ChatGPT naučit se vzorce a vztahy v textových datech a využít schopnosti vytvářet podobné lidskému odpovědi předpovídáním, jaký text by měl následovat v dané větě.

I když ve skutečnosti to výrazně podbízí věci. ChatGPT nefunguje na úrovni vět – místo toho generuje text toho, jaká slova, věty a dokonce i odstavce nebo sloky mohou následovat. Není to prediktivní text na vašem telefonu, který tupě hádá další slovo; snaží se vytvořit plně koherentní reakce na jakoukoli výzvu.

Pro další zdokonalení schopnosti ChatGPT reagovat na řadu různých výzev byl optimalizován pro dialog pomocí techniky nazývané posílení učení s lidskou zpětnou vazbou (RLHF). Lidé v podstatě vytvořili model odměny se srovnávacími daty (kde byly dvě nebo více odpovědí modelu hodnoceny trenéry AI), takže AI mohla zjistit, která odpověď byla nejlepší.

Zpět k neuronové síti, kterou vytvořila. Na základě všech těchto školení má neuronová síť GPT-3 175 miliard parametrů nebo proměnných, které jí umožňují přijmout vstup – vaši výzvu – a poté na základě hodnot a vah, které dává různým parametrům (a malé množství náhodnosti ), vypíše vše, co si myslí, že nejlépe odpovídá vašemu požadavku. OpenAI neuvedlo, kolik parametrů má GPT-4, ale lze bezpečně odhadnout, že je to více než 175 miliard a méně než kdysi zvěstovaných 100 bilionů parametrů. Bez ohledu na přesné číslo, více parametrů automaticky neznamená lépe. Část zvýšeného výkonu GPT-4 pravděpodobně pochází z toho, že má více parametrů než GPT-3, ale hodně je pravděpodobně způsobeno zlepšením toho, jak byl trénován.

Nakonec, nejjednodušší způsob, jak si to představit, je jako jedna z těch her na „dokončení věty“, které jste hráli jako dítě.

Nakonec, nejjednodušší způsob, jak si to představit, je jako jedna z těch her na „dokončení věty“, které jste hráli jako dítě. Například, když jsem dal ChatGPT pomocí GPT-3 výzvu „Zapier je…“, odpověděl:

"Zapier je webový automatizační nástroj, který uživatelům umožňuje propojovat různé webové aplikace za účelem automatizace opakujících se úloh a zlepšení pracovních postupů."

To je ten druh vět, které můžete najít ve stovkách článků popisujících, co Zapier dělá, takže dává smysl, že je to ten druh věcí, které tady vyplivne. Ale když mu můj editor dal stejnou výzvu, řekl:

"Zapier je webový automatizační nástroj, který uživatelům umožňuje propojovat různé webové aplikace a automatizovat mezi nimi pracovní postupy."

To je dost podobné, ale není to úplně stejná odpověď. Tato náhodnost (kterou můžete v některých aplikacích GPT-3 ovládat pomocí nastavení zvaného „teplota“) zajišťuje, že ChatGPT nereaguje pouze na každou jednotlivou odpověď tím, co se rovná standardní odpovědi. Pokaždé proběhne každou výzvu celou neuronovou sítí a sem tam hodí pár kostek, aby byly věci čerstvé. Je nepravděpodobné, že začne tvrdit, že Zapier je barva z Marsu, ale na základě jejich relativní pravděpodobnosti to bude míchat následující slova.

(Za to, co stojí za to, když běží na GPT-4, ChatGPT řekl: " Zapier je webový automatizační nástroj, který uživatelům umožňuje integrovat a automatizovat úkoly mezi různými online aplikacemi a službami." Totéž!)

Plivnutí slov, ne znalostí

Tvůrci ChatGPT jsou první, kdo říká, že může produkovat nesprávné (a možná škodlivé) informace, ačkoli usilovně pracují na jejich nápravě.

Zde je krotký příklad. Když jsem požádal ChatGPT pomocí GPT-3 a GPT-4, aby odpověděl na „Harry Guinness je…“, GPT-3 nejprve odpověděl dotazem, který Harry Guinness. Skvělá otázka – jsme doslova dva! Tak jsem řekl: "Harry Guinness spisovatel" (to jsem já). GPT-4 okamžitě uhodl, kdo jsem, ačkoli obě odpovědi byly fascinující:

GPT-3: Harry Guinness je spisovatel a novinář na volné noze se sídlem v Irsku. Psal pro různé publikace, včetně The New York Times, The Guardian, The Huffington Post a Popular Mechanics. Zabývá se tématy od technologie a fotografie po cestování a kulturu.

GPT-4: Harry Guinness je irský spisovatel, fotograf a technologický expert. Psal pro různé publikace, včetně How-To Geek, Lifehacker a Tuts+. Jeho práce se zaměřuje především na technologie, návody a tipy, stejně jako na fotografování a úpravy obrázků. Guinness si vybudoval reputaci vytvářením podrobných průvodců, které pomáhají čtenářům porozumět složitým tématům nebo řešit problémy přímočarým způsobem.

První a poslední řádky GPT-3 jsou téměř doslovně staženy z mých různých webových stránek a životopisů autora na webu (ačkoli se normálně uvádím jako spisovatel a fotograf na volné noze, nikoli novinář). Ale seznam publikací je v podstatě vymyšlený. Psal jsem pro The New York Times , ale ne pro The Guardian , The Huffington Post nebo Popular Mechanics (pravidelně píšu pro Popular Science , takže to může být odkud).

GPT-4 dává fotografovi pravdu a ve skutečnosti uvádí některé publikace, pro které jsem psal, což je působivé, i když to nejsou ty, na které bych byl nejvíce hrdý. Je to skvělý příklad toho, jak OpenAI dokázala zvýšit přesnost GPT-4 ve srovnání s GPT-3, i když nemusí vždy nabídnout tu nejsprávnější odpověď.

Ale vraťme se ke GPT-3, protože jeho chyba poskytuje zajímavý příklad toho, co se děje v zákulisí ChatGPT. Vlastně o mně nic neví. Není to ani kopírování/vkládání z internetu a důvěřování zdroji informací. Místo toho jednoduše předpovídá řetězec slov, který přijde jako další, na základě miliard datových bodů, které má.

Například: The New York Times jsou mnohem častěji seskupeny s The Guardian a The Huffington Post než s místy, pro která jsem psal, jako jsou Wired , Outside , The Irish Times a samozřejmě Zapier. Takže když má řešit, co by mělo navazovat na The New York Times , netahá ze zveřejněných informací o mně; vytáhne tento seznam velkých publikací ze všech tréninkových dat, která má. Je to velmi chytré a vypadá to věrohodně, ale není to pravda.

GPT-4 odvádí mnohem lepší práci a vylepšuje publikace, ale zbytek toho, co říká, skutečně působí jako věrohodné navazující věty. Nemyslím si, že to má nějaké velké uznání pro mou reputaci: je to jen vyjadřování toho, co říká bio. Je mnohem lepší skrýt, jak to funguje, než GPT-3, i když ve skutečnosti používá téměř stejnou techniku.

Přesto je velmi působivé, jak moc se GPT již zlepšil. Prozatím je GPT-4 uzamčen za prémiové předplatné, takže většina obsahu ChatGPT, který uvidíte, bude záviset na GPT-3, ale to se může během příští doby změnit. Kdo ví, co GPT-5 přinese.

Co je ChatGPT API?

OpenAI nemá ke své technologii přístup pouze pro nás. Společnost má platformu API, která umožňuje vývojářům integrovat sílu ChatGPT do svých vlastních aplikací a služeb (samozřejmě za cenu).

Zapier používá ChatGPT API k podpoře své vlastní integrace ChatGPT, která vám umožní připojit ChatGPT k tisícům dalších aplikací a přidat AI do vašich kritických pracovních postupů. Zde je několik příkladů, jak začít, ale ChatGPT můžete spustit v podstatě z jakékoli aplikace.

Můžete také využít další modely OpenAI – jako DALL·E a Whisper – s integrací OpenAI společnosti Zapier. Automatizujte pracovní postupy, které zahrnují generování obrázků a přepis zvuku, přímo z aplikací, které již používáte.

Související čtení: Jak můžete (a kdy byste neměli) používat ChatGPT k psaní marketingové kopie