„Detektory“ obsahu vytvořeného umělou inteligencí, založené na AI, jsou propagovány jako způsob, jak v éře „AI slopu“ chránit lidské texty na internetu. Bohužel realita vypadá jinak.
Pro čtenáře Unlimited Hangout (web, odkud přebírám tenhle článek, poznámka editora) by nemělo být žádným tajemstvím, že mám velmi negativní názor na dopad, který má umělá inteligence (AI) na nezávislá média a média obecně. Jako někdo, za koho se AI každý den již několik let vydává na velkých video platformách, jsem si začala ostře uvědomovat, že se AI stává nebezpečnou silou, která dobře míněným čtenářům a divákům stále více ztěžuje rozlišit, co je skutečné a co falešné. Nemyslím tím jen ty, kteří si chtějí prohlížet můj obsah, protože osobní problém, s nímž se potýkám, je mikrokosmosem mnohem většího problému.
V důsledku toho by se mohlo zdát, že bych měla být potěšena, ne-li dokonce pocítit ulehčení, když jsem viděla, že Substack, velká platforma pro profesionální autory, navázal spolupráci s „nástrojem na detekci umělé inteligence“. Nejenže nejsem potěšena, ale dokonce jsem si udělala čas a napsala komentář, ve kterém vysvětluji, proč si myslím, že je to špatné, a také kam podle mě celá tato situace směřuje.
Nový partner Substacku a zřejmě i nástroj pro detekci AI, který si v současné době vybírá většina velkých mediálních domů, se jmenuje Pangram. Pangram byl založen v roce 2023, původně pod názvem Checkfor.ai, Maxem Sperem a Bradleyem Emim. Jak Spero, tak Emi jsou absolventi Stanfordské univerzity, kteří před založením Pangramu pracovali pro společnosti jako Nuro a Tesla, kde se oba věnovali vývoji softwaru pro autonomní řízení vozidel pomocí umělé inteligence (tj. nahrazování lidských řidičů softwarem s umělou inteligencí). Oba zakladatelé „již dlouho s nadšením sledují potenciál umělé inteligence proměnit společnost“ a tvrdí, že Pangram vytvořili „s cílem zmírnit nové problémy způsobené šířením výkonných generativních modelů umělé inteligence.“
Považuji za zajímavé, že dva absolventi Stanfordské univerzity, kteří se nadchli pro potenciál umělé inteligence „transformovat společnost“ a poté pracovali na vývoji softwaru pro autonomní řízení bez lidského zásahu, se rozhodli rychle změnit směr a „zmírňovat“ problémy způsobené generativní umělou inteligencí. Mnoho z těchto problémů předpověděly již před lety osobnosti jako bývalý generální ředitel Googlu Eric Schmidt (spoluzakladatel Pangramu Max Spero dříve pracoval pro Google). Schmidt v knize z roku 2021, kterou napsal společně s válečným zločincem Henrym Kissingerem, v podstatě předpověděl, že „transformační potenciál“ umělé inteligence způsobí u mas to, co nazval „kognitivním úpadkem“, a lidem téměř znemožní, aby sami rozlišovali mezi tím, co je skutečné, a tím, co není. Snad nikoho nepřekvapí, že Schmidt a Kissinger jako preferované „řešení“ tohoto problému navrhovali, abychom se při rozlišování toho, co je skutečné a co není, spoléhali na AI – jinými slovy, abychom nechali jinou AI stát se arbitrem naší reality.
O této knize Schmidta a Kissingera a jejích předpovědích jsem již dříve psala. Tam jsem poznamenala, že tyto předpovědi a varování – vzhledem k mocenským sítím, do nichž jsou či byli oba muži zapleteni – byly spíše odhalením toho, co již bylo v souvislosti s umělou inteligencí naplánováno, než varováním před tím, co by se mohlo stát při masovém zavedení umělé inteligence.
„Varování“ Schmidta a Kissingera však byla neobvykle prozíravá. Navíc je jejich navrhované řešení velmi podobné tomu, co v současné době nabízí společnost Pangram – a to v tom, že Pangram využívá umělou inteligenci k rozlišování textů napsaných umělou inteligencí od textů napsaných člověkem. Pangram se tak stává v současnosti preferovaným rozhodčím v oblasti umělé inteligence, který určuje, co je skutečný lidský text a co nikoli.
Určitě proběhla úspěšná marketingová kampaň, která nás měla přesvědčit, že Pangram je „nejpřesnější“ nástroj pro detekci textů generovaných umělou inteligencí na trhu. Titulky článků propagujících Pangram v podstatě sdělují, že vám určitě řekne, zda něco napsala umělá inteligence. Pokud si přečtete více než jen titulek, což mnozí nedělají, uvidíte v drobném písmu, že Pangram označí něco jako generované umělou inteligencí i v případě, že byla umělá inteligence použita pouze k úpravě textu vytvořeného člověkem. Štítek „vygenerováno umělou inteligencí“ od Pangramu ve skutečnosti mezi těmito dvěma případy nerozlišuje, i když, jak uznává spoluzakladatel Max Spero, tento štítek „mění způsob, jakým lidé k textu přistupují.“
Skutečnost, že Pangram nedokáže smysluplně rozlišit mezi textem plně vygenerovaným umělou inteligencí a textem, který byl pouze upraven umělou inteligencí, odhaluje, že se vůbec nejedná o „detektor textu vygenerovaného umělou inteligencí“. Jak již v dubnu poznamenal Tim Requarth:
Termín „detektor“ AI je poněkud zavádějící, protože nástroje jako Pangram neprohledávají databázi známých textů vytvořených AI, aby našly shodu; na základě rozdílů ve vzorcích mezi textem generovaným AI a textem vytvořeným člověkem pouze odhadují pravděpodobného autora. Spíše než o detektor se jedná o „nástroj pro odvozování AI“ nebo, lidověji řečeno, o „nástroj pro nejlepší odhad AI“.
Jako nástroj pro odvozování je Pangram náchylný ke všem faktorům, které odvozování tak ztěžují: malá velikost vzorku (jediný článek namísto korpusu), malá velikost efektu (protože se statistická vzdálenost mezi lidským a AI generovaným textem zmenšuje) a rušivé faktory (člověk, který si přečte a napodobí text generovaný AI, než napíše svůj vlastní).
Pangram totiž funguje tak, že vyvozuje závěry o tom, zda daný text obsahuje dostatek slov, frází, větných konstrukcí atd., které jsou v současné době běžné v textech generovaných umělou inteligencí. Mnoho lidských autorů však již dlouho před vznikem generativní umělé inteligence používalo spoustu těchto slov, frází atd. také. V důsledku toho nyní máme autory, kteří mění svůj zcela lidský styl psaní, aby se zavděčili „bohům“ Pangramu a doufají, že nebudou falešně označeni za šířící braky generované umělou inteligencí.
Dobrý příklad toho byl nedávno popsán v článku Alexe Kirshnera pro Slate. V tomto článku Kirshner píše:
Ať už budoucnost přinese cokoli, pokud jde o přesnost detektorů AI, znepokojuje mě to, co se mnou právě teď dělají jak texty generované AI, tak i detektory. Mám obavy z toho, jak texty generované AI a snahy o jejich odhalení mění ryze lidské psaní. Píšu celý týden, každý týden, a cítím, jak na můj tvůrčí proces negativně doléhají „žháři“ tohoto příběhu (LLM, zejména jsou-li používány nesprávným způsobem) a „hasiči“ (detektory AI).
Stejně jako u mnoha novinářů vychází můj styl psaní z knih, novinových článků, blogů a (ano) příspěvků na sociálních médiích, které se mi za ta léta vryly do paměti. Psaní pomocí umělé inteligence je nyní součástí mého zdroje inspirace, ať už dokážu každý nový doušek identifikovat, nebo ne. Zdá se mi nevyhnutelné, že jsem začal přejímat jeho manýry, dokonce i ty nejznámější, jako je neustálé používání pomlček a nadměrné spoléhání se na strukturu „Není to x, ale y“. Zaprvé se obávám, že se kvůli tomu stanu horším spisovatelem a že můj talent, který byl dost dobrý na to, aby mě přijali sem (i jinde!), se posune zpět k průměru generovanému umělou inteligencí. Ještě děsivější je, že je možné, že někdo – nebo, nedej bože, nějaký detektor umělé inteligence – by mohl můj text zaměnit za text z ChatGPT. Začal jsem se proti tomuto výsledku sám hlídat. V poslední době jsem se několikrát přistihl, jak upravuji vlastní text, aby zněl „méně jako text generovaný umělou inteligencí“. Při tom jsem pravděpodobně zvolil slova, pro která bych se jinak nerozhodl. Připadá mi to dystopické – a pochybuji, že se mi to podařilo.
Šla bych ještě o krok dál než Kirschner a řekla bych, že tento výsledek je rozhodně dystopický. Ještě více to platí, když vezmeme v úvahu, že údajně „prozrazující“ vzorce textu generovaného umělou inteligencí se mění s vydáváním nových, vylepšených modelů, zejména proto, že tyto modely doslova prohrabávají hory obskurních, lidmi napsaných knih, aby se naučily psát stále více jako lidé. Mezitím se skuteční lidé, aby si udrželi práci ve světě, kde se nabídka pracovních míst v oblasti psaní již rychle zmenšuje, snaží ze všech sil, aby nezněli jako něco, co je právě rychle trénováno, aby znělo co nejvíce jako oni. Možná je to záměr – nejde o hru, kterou mají lidé vyhrát, a jak vysvětlím později, znamená to, že je to hra, kterou by spisovatelé měli rychle přestat hrát.
Snímek obrazovky z webových stránek společnosti Pangram
Než se k tomu dostaneme, je třeba si všimnout ještě několika dalších věcí ohledně společnosti Pangram a dalších firem zabývajících se „detekcí“ umělé inteligence. Jednou z nich je problém falešných pozitiv. Ano, je pravda, že Pangram je podle zdánlivě nezávislých výzkumníků (a také podle sebe samotného) považován za společnost s nejnižší mírou falešně pozitivních výsledků v oboru. Pro účely tohoto příkladu použijme tvrzení společnosti Pangram, že pouze 1 z 10 000 štítků generovaných Pangramem ohledně autorství AI nebo člověka jsou falešně pozitivní, což znamená, že text je označen jako generovaný AI, i když tomu tak není. Na platformě Substack, do které je nyní Pangram integrován, nevíme přesně, kolik příspěvků se v průměru denně zveřejňuje, protože Substack tuto informaci nezveřejňuje, ale můžeme to odhadnout. Samotná platforma uvádí, že „potenciální předplatitelé v aplikaci každý den objeví“ více než 1 milion příspěvků. Platforma má více než 2 miliony aktivních publikací, z nichž většina publikuje alespoň jednou týdně. Řekněme pro účely tohoto příkladu, že těchto 2 miliony publikací skutečně vychází jednou týdně. Potom bude podle míry chyb Pangramu každý týden 200 z nich označeno jako falešně pozitivní. Za rok (52 týdnů) tak dostaneme přes 10 000 článků na Substacku, které jsou falešně označeny jako vytvořené umělou inteligencí, i když tomu tak není. I když je toto číslo jistě stále menší než to, co nabízejí konkurenti společnosti Pangram, pokud předpokládáme, že těchto 10 000 falešných pozitiv se týká různých publikací, mohlo by to znamenat, že 10 000 lidských autorů bude falešně označeno za výplod umělé inteligence, což by během daného kalendářního roku ovlivnilo jejich reputaci, příjmy a, což je možná nejdůležitější, důvěru jejich publika. Vnímám to jako snahu přesunout důvěru v autentičnost autora z vztahu mezi autorem a jeho publikem na vztah mezi Pangramem a publikem daného autora.
Ačkoli se jedná o statistiky, které Pangram a jeho partneři využívají pro marketingové účely, za těmito čísly stojí skuteční lidští autoři, kteří čelí obvinění ze strany Pangramovy AI, které by mohlo zničit jejich živobytí. Vzhledem k tomu, že se tento efekt v průběhu let kumuluje, mohlo by to teoreticky vést k tomu, že skupina lidských autorů, jejichž práce nebyla Pangramem označena za AI, bude s postupem času stále menší a menší. Je také spravedlivé říci, že míra falešně pozitivních výsledků, kterou Pangram uvádí, je zároveň nejnižší, jaká se v výzkumu týkajícího se jeho produktu objevila, a je citována nejčastěji, protože ji společnost považuje za nejvýhodnější pro své zájmy. Je zcela možné, že skutečná míra falešně pozitivních výsledků je vyšší. K tomu se přidává další problém: pokud stejný text projdete nástrojem Pangram více než jednou, pravděpodobně získáte velmi proměnlivé – nikoli konzistentní – výsledky, což způsobuje, že verdikty Pangramu vypadají spíše jako výsledek náhody než jako smysluplné „odhalení“ použití umělé inteligence.
Dalším důležitým úhlem pohledu, který je třeba v souvislosti s Pangramem prozkoumat, je možnost, že by tento nástroj mohl být záměrně využíván jako zbraň za účelem cenzury a/nebo diskreditace konkrétního novináře či média. Max Spero, spoluzakladatel Pangramu, byl notably obviněn z toho, že prostřednictvím svého účtu na Twitteru poukazoval na konkrétní média a novináře za to, že používají AI, což – v posledních měsících – vyvolalo velké titulky a kontroverze. Nemyslím si, že by pro účely tohoto článku bylo relevantní zkoumat, zda jsou obvinění vznesená proti těmto novinářům a médiím pravdivá či nikoli. Jak bylo nedávno poznamenáno, Pangram skutečně generuje falešné poplachy, ale je také možné, že tito novináři umělou inteligenci nějakým způsobem použili, avšak tuto skutečnost nezveřejnili. Relevantní zde však je, že zejména Spero využil verdikt „detektoru“ umělé inteligence své společnosti k tomu, aby proti konkrétním novinářům a médiím vznesl obvinění, která použil jako zbraň.
Jako dlouholetá autorka v nezávislých médiích, která důsledně psala o kontroverzních tématech ještě dříve, než se to stalo bezpečným (viz mé rané práce o Epsteinových vazbách na izraelskou rozvědku, o Peteru Thielovi a společnosti Palantir, mimo jiné), nejsem příznivcem mainstreamových ani „tradičních“ médií. Již vícekrát mě buď pomluvili, nebo použili mé výzkumy a texty bez uvedení zdroje. Značnou část své kariéry jsem také strávila rozebíráním často zavádějících narativů, které propagují. V důsledku toho mám sklon být skeptická ohledně autenticity a pravdivosti článků publikovaných mnoha z těch samých velkých médií, na která se Spero zaměřila. Existuje však ještě jedna Speroina citace, která by mohla upoutat vaši pozornost, pokud jste v posledních deseti letech pozorně sledovali nezávislá média.
V článku publikovaném serverem TechCrunch o nedávném získání 9 milionů dolarů od investorů společností Pangram Spero hovořil o tom, že chtěl založit Pangram, aby zmírnil nové problémy, které se objevily po veřejném uvedení generativních nástrojů umělé inteligence. Jako příklad toho, jaké nové problémy vznikly v důsledku rostoucího využívání umělé inteligence, Spero uvedl „ruské dezinformační kampaně založené na velkých jazykových modelech (LLM) a kampaně na Twitteru ovlivněné Spojenými arabskými emiráty“.
Možná si vzpomínáte na dobu, která začala zhruba před deseti lety a trvá již mnoho let, kdy jakákoli reportáž z nezávislých médií, která byla považována za nepohodlnou pro mocenské struktury (zejména o amerických zástupných válkách v zahraničí), byla falešně označována za „ruskou dezinformaci“. Možná si z nedávné doby vzpomenete na proizraelské influencery a mediální kanály, kteří podobně tvrdili, že kritika Izraele v posledních letech byla údajně poháněna financováním z Kataru, a nikoli veřejným pobouřením nad izraelským genocidem Palestinců v Gaze, který byl vysílán živě. Nebo co třeba novější tvrzení, že botové účty z Číny poháněné LLM, které neměly vůbec žádný dosah, ve skutečnosti tajně stojí za rostoucí nedůvěrou Američanů vůči velkým technologickým firmám a nespokojeností s datovými centry?
Pokud to sledujete už dost dlouho, možná jste si všimli trendu, kdy jsou kritici určitých mocenských struktur rutinně a neprávem označováni za propagandisty sponzorované státem nebo za „boty“ – a to jako způsob, jak diskreditovat nejen samotné kritiky, ale také širší problém, ať už jde o dopad datových center nebo imperiální války. Nevím, zda je Speroovým záměrem s Pangramem podobným způsobem zneužít produkt své společnosti jako zbraň, ale je to rozhodně možné.
Skutečnost, že Speroův Pangram spolupracuje s Newsguardem, však tuto možnost rozhodně zvyšuje. Jak jsem napsala již v roce 2019, Newsguard je pochybný „ověřovatel faktů“, který byl původně vytvořen k diskreditaci nezávislých médií kritizujících zahraniční politiku USA, zatímco přiznaným propagandistickým orgánům USA, jako je VOA, dával volnou ruku. Za zmínku stojí také vazby Newsguardu na oblast národní bezpečnosti – například mezi jeho poradci pro určování toho, co jsou „falešné zprávy“ a co ne, původně figurovali bývalí šéfové CIA a DHS z období vlády George W. Bushe. Jedním z jejich hlavních investorů je zakladatel společnosti Kroll Associates, často označované jako „soukromá CIA“, Jules Kroll. Nyní, s pomocí Pangramu, Newsguard určuje, co je „AI slop“ a co není, a využil Pangram k spuštění služby „detekce ‚AI content farm‘ v reálném čase“.
Původní poradní sbor Newsguardu
Existuje snad lepší způsob, jak digitálně zničit skupinu novinářů a jakoukoli doprovodnou vlnu veřejného mínění, než použít nyní „důvěryhodný“ detektor AI k označení jak autorů, tak veřejného mínění za neautentické a generované strojem? Pangram má potenciál stát se novým způsobem cenzury obsahu vytvořeného lidmi, který je však nepohodlný, zejména pokud bude obsah označený jako generovaný AI nakonec algoritmicky potlačen ve prospěch toho, co Pangram označuje jako obsah vytvořený lidmi. Veřejnosti bude řečeno, že „AI slop“ je potlačován, zatímco ve skutečnosti se jedná o nesouhlasné názory.
Mně se to jeví tak, že Pangram se v současné době nachází ve fázi normalizace všudypřítomnosti svého produktu a budování „důvěry“ u těch, kteří používají Substack nebo jakoukoli jinou platformu (či doplněk prohlížeče), do které je Pangram integrován. Během tohoto období budou čtenáři zvyklí vnímat označení Pangramu a důvěřovat jeho výsledkům, aniž by potřebovali další informace. Takto může společnost jako Pangram získat financování ve výši 14 milionů dolarů (včetně prostředků od jednoho z hlavních investorů společnosti Anthropic) na produkt, který je k dispozici zdarma. Jak již bylo dříve řečeno o online produktech: pokud je produkt zdarma, pak jste produktem vy. V tomto případě si myslím, že produktem je to, že vás učí, abyste svou „důvěru“ přesunuli z osoby nebo média, které čtete, na Pangram. Jakmile začnete důvěřovat nástroji pro detekci AI, budete důvěřovat i jeho verdiktům, možná dokonce více než autorovi, ke kterému jste si vybudovali důvěru.
Spoluzakladatelé společnosti Pangram nevytvořili Pangram za účelem ochrany textů a projevů vytvořených lidmi. Spoluzakladatelé společnosti Pangram již dlouho s nadšením očekávají, že AI „změní společnost“, a těsně před založením Pangramu vyvíjeli algoritmy, které měly nahradit lidské řidiče umělou inteligencí. Jak již bylo zmíněno výše, vytvořili Pangram, aby zastavili to, co označovali za státem podporované operace ovlivňování, a další „problémy“, které se objevily po veřejném uvedení generativních nástrojů umělé inteligence. Vzhledem k tomu, že se veřejné mínění obrátilo proti jejich bývalým zaměstnavatelům z řad velkých technologických firem – ať už jde o datová centra, „chytré“ brýle nebo něco jiného –, mohou spoluzakladatelé Pangramu nabídnout nový způsob, jak se zbavit účtů, které jsou považovány za příliš kritické vůči „transformaci“ společnosti umělou inteligencí. Možná ne, ale odpusťte mi můj skepticismus.
Na závěr bych se ráda znovu vrátila ke knize Schmidta a Kissingera o AI a jejím předpovědím. V nezávislých médiích mnozí varují před hegelovskou dialektikou, známou také jako „problém-reakce-řešení“. To znamená, že mocní nejprve vytvoří problém, poté čekají, až veřejnost zareaguje, a nakonec jí jako řešení nabídnou politický výsledek, který vždy chtěli. Je jistě příhodné, že Schmidt a Kissinger, dva velmi hrozní lidé, kteří oba různými způsoby přispěli k vytvoření tohoto chaosu, prorocky předpověděli, že umělá inteligence způsobí, že lidé již nebudou schopni rozeznat, co je skutečné a co ne. Nyní se jejich předpověď stala naší realitou a přesně načas zasáhla společnost Pangram, aby vyřešila problém nepořádku v oblasti umělé inteligence (z něhož těží její vlastní investoři), a to tím, že nám nabízí právě to, co bylo také preferovaným „řešením“ Schmidta a Kissingera – aby se lidé spoléhali na rozhodčího v podobě umělé inteligence, který jim řekne, co je skutečné a co ne.
Jak jsem již dříve napsala, zřejmým způsobem, jak se z této dystopické hry dostat, je nehrát ji. Nedůvěřujte umělé inteligenci společnosti Pangram jen proto, že vypadá „autoritativně“ a má za sebou nějakou pozitivní PR kampaň. Není to „detektor“, jak sama tvrdí, a její výsledky u stejného textu jsou málokdy konzistentní. Pokud jste čtenář, požádejte autory, které čtete, aby zveřejnili, zda používají umělou inteligenci. Důvěra by měla být budována přímo mezi autory a jejich čtenáři, bez AI jako prostředníka a arbitra autenticity či „lidskosti“. V Unlimited Hangout nikdy nepoužíváme AI k psaní, výzkumu ani úpravám našich článků. To jasně vyplývá z našich zásad používání AI, které si můžete přečíst na stránce „O nás“ po brzkém spuštění nově přepracovaného webu Unlimited Hangout (mezitím si je můžete přečíst zde). Tyto zásady jsme vytvořili poté, co jsme se podíleli na vzniku iniciativy IMA AI Transparency Pledge, která vybízí nezávislé novináře a média, aby dobrovolně zveřejňovali, zda a jak se rozhodli umělou inteligenci využívat.
Stejně jako každý jiný lidský autor mohu svým čtenářům nabídnout pouze svůj výzkum, své zdroje, svou autentickou analýzu a, v případě tohoto článku, své názory. Nebudu své články prověřovat přes Pangram v naději, že dostanu výsledek „100 % vytvořený člověkem“. Nedovolím, aby strach z nepříznivého výsledku v Pangramu změnil můj styl psaní a donutil mě bát se používat slova jako „ponořit se“ nebo „hluboký“, protože by mě Pangram mohl potrestat. Vím, že píšu bez AI, a mám ke svým čtenářům dostatečnou důvěru, že vědí, že ji při psaní také nepoužívám. Podobně jako subjekty, které označily nepohodlné novináře za ruské či čínské „boty“, i Pangram předpokládá, že sami nedokážete rozlišit, co je autentické a co ne, a že potřebujete, aby vám to někdo řekl.
Ačkoli kritického myšlení může být v éře AI nedostatek, nenechte to tak. Nepotřebujete další umělou inteligenci, aby vám „pomohla“ určit, co se vám jeví jako autentické a co ne. Nepotřebujete, aby vám říkala, co byste měli nebo neměli číst a komu byste měli nebo neměli věřit. Nikdy není dobrý nápad svěřovat své kritické myšlení a názory do rukou jiných, zejména pak nelidské umělé inteligenci.