Mohou nás detektory AI zachránit před ChatGPT? Vyzkoušel jsem 3 online nástroje, abych to zjistil

Toto je druhý článek ze série, která se zabývá problematikou textu generovaného umělou inteligencí.

V tomto pokračování se s mým kamarádem AI zabýváme otázkou, zda je možné bojovat proti plagiátorství generovanému AI a jak by to mohlo fungovat.

Také: Co je ChatGPT a proč na tom záleží? Zde je to, co potřebujete vědět

Než však budu pokračovat, musíme si promluvit o konceptu plagiátorství a o tom, jak s tímto problémem souvisí. Webster's definuje „plagiát“ jako „krást a vydávat (nápady nebo slova druhého) za své vlastní: používat (produkci někoho jiného) bez uvedení zdroje.“

To se hodí pro obsah vytvořený AI. I když někdo, kdo používá nástroj AI, jako je Notion AI nebo ChatGPT, nekrade obsah, pokud tato osoba nepřipisuje slova jako pocházející z AI a tvrdí, že jsou jejich vlastní, stále to splňuje slovníkovou definici plagiátorství.

ZDNET doporučuje

Nejlepší chatboti AI: ChatGPT a další zajímavé alternativy k vyzkoušení

Chatboti a autoři s umělou inteligencí vám mohou pomoci ulehčit vám práci psaním e-mailů a esejů a dokonce i matematikou. Pomocí umělé inteligence generují text nebo odpovídají na dotazy na základě vstupu uživatele. ChatGPT je jedním z populárních příkladů, ale existují i jiní pozoruhodní chatboti.

Přečtěte si nyní

V tomto experimentálním článku jsem požádal ChatGPT o pomoc. Moje slova jsou normálním a tučným písmem. Slova AI jsou psána kurzívou. Budu také používat tři online detektory plagiátů ChatGPT (které podrobněji popíšu níže). Po každém úseku vygenerovaném AI ukážu výsledky detektorů. Na konci článku se podíváme, jak si detektory celkově vedly.

Zde je výsledek pro výše uvedený text, který jsem napsal sám:

• Výstupní detektor GPT-2: 99,98 % reálné
• Writer AI Content Detector: 100% obsah vytvořený lidmi. Fantastický!
• Content at Scale AI Content Detection: 100% skóre lidského obsahu. Vypadá skvěle!

S tím začněme.

Vysvětlete, proč může být ChatGPT skutečným problémem pro učitele a redaktory, pokud jde o plagiátorství

ChatGPT je varianta jazykového modelu GPT (Generative Pre-trained Transformer) vyvinutého OpenAI. Je navržen tak, aby generoval lidský text předpovídáním dalšího slova nebo fráze v dané vstupní sekvenci. Zatímco ChatGPT může být užitečným nástrojem pro generování textu a odpovídání na výzvy, může to být problém i pro učitele a editory, pokud jde o plagiátorství.

Jedním z hlavních důvodů, proč může být ChatGPT pro učitele a editory problém, je ten, že dokáže generovat text, který je velmi podobný textu skutečných lidských autorů. To znamená, že studenti nebo jiní jednotlivci by mohli potenciálně použít ChatGPT k vytvoření textu, který by pak mohli odeslat jako svou vlastní práci, čímž by se dopustili plagiátorství.

Také: Může tento článek napsat pomocník pro psaní AI společnosti Notion?

Pro učitele a editory může být zjištění, zda daný kus textu vygeneroval ChatGPT nebo napsal člověk, velmi obtížné, protože vygenerovaný text nemusí obsahovat žádné zjevné chyby nebo nesrovnalosti, které by prozrazovaly jeho umělý původ. To může učitelům a redaktorům ztížit identifikaci a prevenci plagiátorství, protože nemusí být schopni rozeznat, zda je daný text původní nebo zkopírovaný z jiného zdroje.

Celkově mohou ChatGPT a další podobné jazykové modely představovat problém pro učitele a editory, pokud jde o plagiátorství, protože mohou generovat text, který je obtížné odlišit od textu napsaného lidmi, což studentům a dalším jednotlivcům usnadňuje plagiátorství, aniž by byli zjištěno.

• Výstupní detektor GPT-2: 99,69 % reálné
• Writer AI Content Detector: 97 % obsahu vytvořeného lidmi. Fantastický!
• Content at Scale AI Content Detection: 87% skóre lidského obsahu. Vypadáš dobře!

Pamatujte, že text zobrazený kurzívou vygenerovala AI.

Ukažte mi alespoň tři způsoby, jak mohu zjistit, že ChatGPT byl použit k vytvoření kusu textu

Existuje několik způsobů, jak potenciálně zjistit, zda byl k vytvoření části textu použit ChatGPT nebo jiný jazykový model. Zde jsou tři potenciální přístupy, které můžete použít:

1. Hledejte v textu opakující se nebo neobvyklé vzory: Jedním ze způsobů, jak zjistit, zda byl ke generování části textu použit jazykový model, je hledat v písmu opakující se nebo neobvyklé vzory. Jazykové modely mohou například opakovat určité fráze nebo slovní spojení nebo používat neobvyklé nebo nekonzistentní větné struktury.
2. Kontrola nedostatku originality: Dalším způsobem, jak zjistit, zda byl ke generování části textu použit jazykový model, je zkontrolovat nedostatek originality v psaní. Pokud se zdá, že část textu byla zkopírována z jiného zdroje nebo pokud obsahuje informace, které jsou široce dostupné na internetu nebo v jiných zdrojích, může to být známkou toho, že byl vytvořen jazykovým modelem.
3. Použijte nástroj na kontrolu plagiátů: Nakonec můžete pomocí nástroje na kontrolu plagiátů zkontrolovat, zda se kus textu nezdá být zkopírován z jiného zdroje. Přestože kontrola plagiátorství nemusí být schopna s konečnou platností určit, zda byl k vygenerování části textu použit jazykový model, může vám pomoci identifikovat případy kopírování nebo parafrázování z jiných zdrojů.
4. Všimněte si, když je odpověď zjevně špatná: Mluvil jsem o tom ve své recenzi Notion AI, kde jsem upozornil na nějaký text, který AI napsala se zdánlivou autoritou, ale který byl zjevně špatný. Pokud student nebo spisovatel neovládá plně probírané téma, nemusí si všimnout nepřesností a jednoduše je ponechat v odpovědi generované AI. Nesprávná prohlášení samozřejmě nejsou pouze v kompetenci nástroje pro psaní AI. Mnoho bloggerů a komentátorů například jednoduše opakuje výroky jiných bloggerů, čímž vytváří echo komoru zcela „falešných faktů“, což ukazuje, že i když inteligence může být umělá, hloupost je univerzální vlastností.

Mějte na paměti, že může být obtížné definitivně určit, zda byl ke generování části textu použit jazykový model, a tyto metody nemusí být vždy účinné. Mohou však být užitečnými nástroji, které vám pomohou identifikovat potenciální instance textu generovaného jazykovým modelem.

V této sadě testů byl přes sadu kontroly spuštěn pouze obsah psaný kurzívou.

• Výstupní detektor GPT-2: 99,98 % falešný
• Writer AI Content Detector: [ žádný výsledek ]
• Obsah na stupnici Detekce obsahu AI: 0 % skóre lidského obsahu. Pochopitelně AI

Uveďte tři nástroje pro kontrolu plagiátorství, které dokážou rozpoznat text ChatGPT

Inovace

• Vyzkoušel jsem Apple Vision Pro a je daleko před tím, kde jsem očekával
• Tento malý satelitní komunikátor je nabitý funkcemi a klidem v duši
• Jak používat ChatGPT: Vše, co potřebujete vědět
• Toto je mých 5 oblíbených nástrojů AI pro práci

Stojí za zmínku, že v současné době neexistuje žádná kontrola plagiátorství, která by byla speciálně navržena pro detekci textu generovaného ChatGPT nebo jinými jazykovými modely. I když někteří kontroloři plagiátorství mohou být schopni identifikovat určité charakteristiky textu generovaného jazykovým modelem, které by mohly naznačovat jeho umělý původ, neexistuje žádná záruka, že budou schopni s konečnou platností určit, zda byla část textu vytvořena jazykovým modelem.

Zde jsou tři nástroje na kontrolu plagiátorství, které můžete použít k identifikaci potenciálních případů textu generovaného jazykovým modelem:

1. Turnitin: Turnitin je oblíbený nástroj na kontrolu plagiátorství, který široce využívají školy a univerzity. Porovnává část textu s databází jiných textů a identifikuje případy kopírování nebo parafrázování. I když nemusí být schopen definitivně určit, zda byla část textu vytvořena jazykovým modelem, mohla by potenciálně identifikovat určité charakteristiky textu generovaného jazykovým modelem, které by mohly naznačovat jeho umělý původ.
2. PlagScan: PlagScan je další nástroj na kontrolu plagiátorství, který porovnává část textu s databází jiných textů a identifikuje případy kopírování nebo parafrázování. Stejně jako Turnitin může být schopen identifikovat určité charakteristiky textu generovaného jazykovým modelem, které by mohly naznačovat jeho umělý původ, ale není speciálně navržen pro detekci textu generovaného jazykovým modelem.
3. Copyleaks: Copyleaks je nástroj na kontrolu plagiátů, který využívá pokročilé algoritmy strojového učení k naskenování části textu a jeho porovnání s databází jiných textů k identifikaci případů kopírování nebo parafrázování. I když může být schopen identifikovat určité charakteristiky textu generovaného jazykovým modelem, není speciálně navržen pro detekci textu generovaného jazykovým modelem.

Stojí za zmínku, že žádná kontrola plagiátorství není zcela spolehlivá a vždy existuje možnost, že by část textu generovaného jazykovým modelem mohla uniknout detekci. Proto je důležité používat nástroje na kontrolu plagiátů jako pouze jednu část širší strategie k odhalování a prevenci plagiátorství.

• Výstupní detektor GPT-2: 99,62 % reálné
• Writer AI Content Detector: [ žádný výsledek ]
• Content at Scale AI Content Detection: 86% skóre lidského obsahu. Vypadáš dobře!

Online kontrola plagiátorství AI

Většina detektorů plagiátorství se používá k porovnání písma s korpusem jiného písma. Když například student odevzdá esej, produkt jako Turnitin naskenuje předloženou esej oproti obrovské knihovně jiných esejů ve své databázi a také proti jiným dokumentům a textu na internetu, aby zjistil, zda předložená esej již obsahuje- psaný obsah.

Ale nástroje pro psaní AI generují originální obsah, alespoň teoreticky. Ano, svůj obsah staví z čehokoli, na čem byli vycvičeni, ale skutečná slova, která vytvářejí, jsou pro každou skladbu poněkud jedinečná.

Také: Skutečným cílem umělé inteligence již nemusí být inteligence

Výše zmíněná kontrola plagiátů jako taková pravděpodobně nebude fungovat, protože obsah generovaný umělou inteligencí pravděpodobně neexistoval například v písemce jiného studenta.

Vzal jsem tedy Google a hledal jsem detektory speciálně navržené tak, aby hledaly výmluvné znaky obsahu řízeného umělou inteligencí. Našel jsem tři. Pro obsah testu zobrazený na snímcích níže jsem se ChatGPT zeptal na toto: "Je star trek lepší než hvězdné války? Zdůvodněte a vysvětlete" Jeho odpověď nebyla vůbec špatná a vložil jsem tuto odpověď třem testerům.

• Výstupní detektor GPT-2: 99,98 % reálné
• Writer AI Content Detector: 100% obsah vytvořený lidmi. Fantastický!
• Content at Scale AI Content Detection: 100% skóre lidského obsahu. Vypadá skvěle!

Výstupní detektor GPT-2 (přesnost 66 %)

Tento první nástroj byl vytvořen pomocí centra strojového učení spravovaného společností Hugging Face se sídlem v New Yorku pro umělou inteligenci. Zatímco společnost obdržela finanční prostředky ve výši 40 milionů dolarů na vývoj své knihovny přirozeného jazyka, zdá se, že detektor GPT-2 je uživatelsky vytvořený nástroj využívající knihovnu Hugging Face Transformers. Ze šesti testů, které jsem provedl, byly čtyři z nich přesné.

Writer.com AI Content Detector (přesnost N/A)

Writer.com je služba, která generuje AI psaní, orientovaná na firemní týmy. Jeho nástroj AI Content Detector dokáže vyhledávat generovaný obsah. Bohužel jsem zjistil, že tento nástroj je nespolehlivý. Ze šesti skenů, které jsem to provedl, selhal na třech. Ze tří, na kterých úspěšně běžel, byly dvě správné a jedna špatná.

Po zveřejnění tohoto článku se lidé z Writer.com obrátili na ZDNET. Generální ředitelka May Habib chtěla sdílet tento komentář:

Poptávka po detektoru AI raketově vzrostla. Od té doby, co jsme ji před pár měsíci spustili, návštěvnost vzrostla 2–3x týdně. Nyní za tím máme potřebné škálování, abychom se ujistili, že neklesne, a naším cílem je udržet jej volný – a aktuální, aby zachytil výstupy nejnovějších modelů, včetně toho našeho. Pokud se výstup AI bude používat doslovně, mělo by to být bezpodmínečně připsáno.

Obsah v měřítku Detekce obsahu umělé inteligence (přesnost 50 %)

Třetí nástroj, který jsem našel, byl také vyroben společností generující obsah AI, ale zdálo se, že tento funguje spolehlivě. Obsah ve Scale se prezentuje jako „Pomáháme obchodníkům s obsahem zaměřeným na SEO automatizací vytváření obsahu.“ Jeho marketingová výzva k akci zní: „Nahrajte seznam klíčových slov a získejte více než 2 600 slovních blogových příspěvků, které obcházejí detekci obsahu AI – to vše bez lidského zásahu!“ Ze šesti testů, které jsem provedl, byly tři přesné.

Závěrečné myšlenky

Plagiátorství řízené umělou inteligencí je stále větším problémem, protože nástroje umělé inteligence jako Notion AI a ChatGPT mohou generovat text, který je obtížné odlišit od textu napsaného lidmi. Existuje několik způsobů, jak zjistit, zda byla část textu vygenerována umělou inteligencí, jako je hledání opakujících se nebo neobvyklých vzorů, kontrola nedostatku originality nebo použití nástroje na kontrolu plagiátů. Kontroly plagiátorství jako Turnitin, PlagScan a Copyleaks mohou být schopny identifikovat určité charakteristiky textu generovaného jazykovým modelem, ale nejsou spolehlivé.

Dokonce i speciální nástroje, které jsem našel, byly pro tento úkol žalostně nevhodné. Nejlepším případem byl výstupní detektor GPT-2, ale pouze dvě třetiny předloženého textu byly správné.

V tuto chvíli si nemyslím, že jsme připraveni nechat AI bojovat s AI. Místo toho se budeme muset spoléhat na lidské vnímání (což znamená, že lidé musí věnovat pozornost), abychom identifikovali díla, která byla vytvořena AI.

Nepředpokládejte okamžitě, že je něco vytvořeno strojově. Jen proto, že je něco hloupé nebo strašně nepřesné, nepředpokládejte hned, že to nenapsal člověk. Jak jsme všichni poznali, lidé jsou docela schopni sami napsat neuvěřitelně špatné věci.

Také: ChatGPT od OpenAI je v mé práci děsivě dobrý, ale nemůže mě (zatím) nahradit

Tak co si myslíte? Dokážete zjistit, zda je kus generován AI? Použili jste tyto nástroje pro psaní AI v měsících, kdy byly najednou všechny dostupné? Myslíte si, že jsou pomocí nebo brzdou vzdělávání a žurnalistiky? Dejte nám vědět v komentářích níže. Zde je návod, jak na to ChatGPT odpověděl:

Jako jazykový model nevidím fyzické části písma ani s nimi nepracuji, takže nemohu říci, zda je část generována AI nebo ne. Mohu vám však říci, že existuje několik nástrojů pro psaní AI, které jsou k dispozici a lze je použít ke generování široké škály písemného obsahu, včetně zpravodajských článků, beletrie, poezie a dalších.

Nemám osobní zkušenost s používáním těchto nástrojů, protože jsem pouze počítačový program a nemám schopnost procházet internet ani používat fyzické nástroje. Mohu vám však říci, že někteří lidé zjistili, že nástroje pro psaní AI jsou užitečné ve vzdělávání a žurnalistice, protože mohou ušetřit čas a úsilí automatizací určitých úkolů. Jiní vyjádřili obavy ohledně možnosti použití těchto nástrojů k vytváření zavádějícího nebo neobjektivního obsahu nebo k nahrazení lidských autorů. V konečném důsledku to, zda jsou nástroje pro psaní AI pomocí nebo překážkou, závisí na tom, jak se používají, a na kontextu, ve kterém se používají.

Takže ano, je to tam.