Bylo vydáno sedm bezplatných open source modelů GPT

Silicon Valley AI společnost Cerebras vydala sedm open source modelů GPT, aby poskytla alternativu k pevně kontrolovaným a proprietárním systémům dostupným dnes.

Královské zdarma dostupné otevřené GPT modely, včetně vah a tréninkového postupu, byly vydány pod velmi tolerantní licencí Apache 2.0 společností Cerebras, technologickou firmou se sídlem v Silicon Valley, zabývající se infrastrukturou pro AI aplikace.

Do určité míry jsou sedm modelů GPT důkazem konceptu pro umělou inteligenci Cerebras Andromeda.

Infrastruktura společnosti Cerebras umožňuje jejím zákazníkům, jako je Jasper AI Copywriter, rychle trénovat vlastní vlastní jazykové modely.

V blogu společnosti Cerebras se zmiňuje o hardwarové technologii:

"Všechny modely Cerebras-GPT jsme trénovali na 16x CS-2 Cerebras Wafer-Scale Clusteru s názvem Andromeda."

Tento cluster umožnil rychlé dokončení všech experimentů bez potřeby tradičního inženýrství rozdělených systémů a ladění modelů paralelně na GPU clustrech.

Nejdůležitější je, že umožnil našim výzkumníkům zaměřit se na design strojového učení namísto rozděleného systému. Věříme, že schopnost snadno trénovat velké modely je klíčovým prvkem pro širokou komunitu, proto jsme Cerebras Wafer-Scale Cluster dostupný v cloud prostřednictvím platformy Cerebras AI Model Studio."

Cerebras GPT Modely a Transparentnost

Cerebras uvádí koncentraci vlastnictví technologie umělé inteligence (AI) pouze několika společnostmi jako důvod pro vytvoření sedmi open source modelů GPT.

OpenAI, Meta a Deepmind udržují velké množství informací o svých systémech jako tajné a přísně kontrolované, což omezuje inovaci na to, co tři korporace rozhodnou, že ostatní mohou dělat se svými daty.

Je uzavřený systém nejlepší pro inovace v oblasti umělé inteligence? Nebo je budoucnost v otevřeném zdroji?

Cerebras píše:

"Pro LLMs, aby byla otevřenou a přístupnou technologií, je důležité mít přístup k nejmodernějším modelům, které jsou otevřené, reprodukovatelné a bez royalty pro výzkum i komerční aplikace.

S tímto cílem jsme vyškolili rodinu transformerových modelů pomocí nejnovějších technik a otevřených datových sad, které nazýváme Cerebras-GPT.

Tyto modely jsou první rodinou GPT modelů, které byly vyškoleny pomocí Chinchilla formule a uvolněny pod licencí Apache 2.0."

Tímto jsou tyto sedm modelů zveřejněny na Hugging Face a GitHubu s cílem podporovat více výzkumu prostřednictvím otevřeného přístupu k technologii umělé inteligence.

Tyto modely byly trénovány s pomocí superpočítače Andromeda od společnosti Cerebras. Tento proces byl dokončen pouze za několik týdnů.

Cerebras-GPT je plně otevřený a transparentní, na rozdíl od nejnovějších modelů GPT od OpenAI (GPT-4), Deepmind a Meta OPT.

OpenAI a Deepmind Chinchilla neposkytují licenci k používání modelů. Meta OPT nabízí pouze nekomerční licenci.

GPT-4 od společnosti OpenAI naprosto postrádá transparentnost ohledně svých trénovacích dat. Použili data z projektu Common Crawl? Skenovali internet a vytvořili si vlastní datovou sadu?

OpenAI uchovává tyto informace (a další) tajné, což je v rozporu s přístupem Cerebras-GPT, který je plně transparentní.

Následující je vše otevřené a transparentní:

• Architektura modelu
• Údaje pro trénink
• Váhy modelu
• Kontrolní body
• Stav optimalizovaného výpočtu pro trénink (ano)
• Licence k použití: Apache 2.0 Licence

Existují sedm verzí ve velikostech 111M, 256M, 590M, 1.3B, 2.7B, 6.7B a 13B modelů.

Bylo oznámeno:

"Jako první mezi společnostmi specializujícími se na hardware umělé inteligence Cerebras provedli výzkumníci na superpočítači Andromeda školení sedmi modelů GPT s parametry 111M, 256M, 590M, 1.3B, 2.7B, 6.7B a 13B."

Tato práce obvykle trvá několik měsíců, ale díky neuvěřitelné rychlosti systémů Cerebras CS-2, které tvoří Andromeda, a schopnosti architektury Cerebras pro proudění vah eliminovat problémy s distribuovaným výpočetním systémem, byla dokončena za několik týdnů.

Tyto výsledky dokazují, že systémy Cerebras jsou schopné trénovat největší a nejsložitější umělou inteligenci dneška.

Toto je poprvé, kdy byla veřejnosti prezentována sada modelů GPT, které byly trénovány pomocí moderních technik efektivity tréninku.

Tyto modely jsou trénovány na nejvyšší přesnost pro daný výpočetní rozpočet (tj. trénink je efektivní pomocí receptu na chinchiley), což znamená kratší čas tréninku, nižší náklady na trénink a nižší energetickou náročnost než u jakýchkoliv existujících veřejných modelů."

Otevřený zdrojový kód umělé inteligence

Zakladatelé nadace Mozilla, tvůrci open source softwaru Firefox, založili společnost s názvem Mozilla.ai, která vyvíjí open source systémy GPT a doporučovací systémy, které jsou důvěryhodné a respektují soukromí.

Databricks nedávno také vydali open source GPT klon s názvem Dolly, který si klade za cíl demokratizovat "kouzlo ChatGPT".

Kromě těchto sedmi modelů Cerebras GPT vydala firma s názvem Nomic AI také GPT4All, otevřený zdrojový kód GPT, který může běžet na přenosném počítači.

Pohyb otevřeného zdroje umělé inteligence je v počáteční fázi, ale nabírá na síle.

GPT technologie přináší masové změny v různých odvětvích a je možné, ba možná nevyhnutelné, že příspěvky v open source mohou změnit tvář těchto odvětví, která tyto změny pohánějí.

Pokud se open source pohyb bude nadále rozvíjet v tomto tempu, mohli bychom být na prahu svědectví o posunu v inovaci umělé inteligence, který zabrání její koncentraci v rukou několika korporací.

Přečtěte si oficiální oznámení:

Cerebras Systems vydává sedm nových modelů GPT, vyškolených na systémech CS-2 ve velikosti waferu