Umělá inteligence a předcházení trestným činům mění podstatu lidské svobody. Byl jsem toho svědkem. A je to ta nejděsivější věc, jakou jsem kdy viděl.
Seminární místnost
Na semináři o umělé inteligenci na mé univerzitě jsem předložil tři své fotografie: jednu zepředu, jednu z profilu a jednu, na které se usmívám. Během asi jedné minuty systém vygeneroval video, na kterém jsem byl já. To, co jsem viděl, nebyla jen hrubá aproximace. Mikropohyby mého obličeje, mírná asymetrie mého úsměvu, způsob, jakým se mi v koutcích očí tvoří vrásky – to vše bylo reprodukováno s takovou přesností, že mi z toho naskočila husí kůže. Vložil jsem do systému tři statické snímky a on mi vrátil mě samotného.
Jsem psycholog. Vím, co znamená předpovídání chování. Chápu, jaký dopad mají rozsáhlé datové soubory na pojetí jedinečnosti jednotlivce. Ale když jsem seděl v té seminární místnosti a sledoval, jak se na obrazovce hýbe můj vlastní obličej, který jsem sám neanimoval, něco se změnilo v mém chápání toho, kde se nacházíme a kam směřujeme. Necítil jsem vzrušení. Cítil jsem ten specifický strach člověka, který právě pochopil podstatu klece, která se kolem něj staví.
Buďme upřímní ohledně toho, co se děje. Otázkou není, zda umělá inteligence dokáže předpovídat lidské chování. To už dokáže, a to s přesností, která by měla děsit každého, kdo stále věří v pojem soukromého já. Otázkou je, komu tato schopnost patří, čí zájmy slouží a jaký svět s ní její majitelé budují.
Jsme předvídatelnější, než si uvědomujeme
Lidé jsou, jak ví každý seriózní badatel v oblasti behaviorálních věd, mnohem předvídatelnější, než si rádi myslíme. Jsme bytosti založené na vzorcích, opakování a čitelných zvycích. Já, které vnímáme jako svrchované a spontánní, je v souhrnu překvapivě konzistentní. Jemné podněty v našem prostředí běžně spouštějí naše chování, aniž bychom si toho byli vědomi, zatímco výslednou akci vnímáme jako svobodnou a suverénní volbu. Velká data to o nás odhalila dlouho předtím, než přišla současná generace systémů umělé inteligence, aby toho využila.
„Výstraha, která se spustí v policejní dispečerské místnosti, neříká, že tato osoba spáchala trestný čin. Říká, že se tato osoba chová se sedmdesátiprocentní podobností k behaviorálnímu profilu někoho, kdo trestný čin spáchá.“
Co se změnilo, je rozsah a detailnost tohoto využívání. Výzkumníci již prokázali, že systémy umělé inteligence dokážou předpovědět zvuk lidského hlasu pouze na základě fotografie, přičemž odvozují akustické vlastnosti hrdla, tvar ústní dutiny, strukturu obličeje a z těchto fyzických skutečností rekonstruují něco, co by žádný statický obraz nikdy neměl obsahovat. S tímto odvozením jsme nesouhlasili. Nevěděli jsme, že je to možné. Technologie se nás na to nezeptala.
Toto narušení soukromí probíhá v obou směrech. Již v roce 2022, ještě než měla většina lidí důvod tomu věnovat pozornost, dokázala umělá inteligence pouze na základě zvuku vašeho hlasu rekonstruovat vaši tvář. Byli jste již čitelní zevnitř ven
Stroj na předcházení zločinům
Zvažte nyní, co se stane možným, když do systému umělé inteligence vložíte ne tisíce, ale miliony hodin záznamů z terapie, vězeňských nahrávek, kamerových záznamů z vazebních zařízení, klinických rozhovorů s lidmi, kteří spáchali krádeže, násilné činy nebo sexuální zneužívání. Umělá inteligence nemyslí. Nesoudí. Nachází vzorce v mikrovýrazech obličeje, v geometrii pohybu očí, v načasování určitých svalových skupin, v behaviorálních znacích tak jemných, že je žádný lidský pozorovatel nedokáže vědomě zachytit. A pak to zobecňuje. Vytváří model toho, jak vypadá budoucí zloděj ještě před krádeží. Jak vypadá budoucí pachatel zneužívání ještě před spácháním činu. Přiřazuje tvářím pravděpodobnosti.
Propojte to s chytrými kamerami, které jsou již zabudovány v našich ulicích, v našich dopravních systémech, v našich nákupních centrech, na našich pracovištích. Kamery, které nejen zaznamenávají, ale v reálném čase analyzují tváře a těla všech osob v jejich zorném poli. Upozornění, které se spustí v policejní dispečinku, neříká, že tato osoba spáchala trestný čin. Říká, že tato osoba se chová se sedmdesátiprocentní podobností k behaviorálnímu profilu někoho, kdo trestný čin spáchá. Philip K. Dick si to představil v roce 1956 a nazval to sci-fi. My jsme to vybudovali a nazýváme to veřejnou bezpečností.
Maska nic nemění
Rozpoznávání obličeje je však v tuto chvíli téměř tím nejmenším problémem. Důležitější technologií je rozpoznávání chůze, biometrický systém, který identifikuje jednotlivce nikoli podle obličeje, ale podle specifického, anatomicky daného způsobu chůze. Křivost páteře, rotace boků, specifický rytmus kroku – to vše je stejně jedinečné jako otisk prstu a mnohem těžší zamaskovat. Systémy rozpoznávání chůze, které jsou v současnosti nasazeny, dokážou identifikovat osobu na bezpečnostních záznamech, i když má odvrácený obličej, zakrytý kapucí nebo skrytý za maskou. Demonstranti, kteří si při protestních akcích zakrývali obličeje, věřili, že se tím chrání. Nechránili se. Systém je už dávno rozpoznal od kotníků nahoru.
Rozpoznávání chůze systému prozradí, kdo jste, i když si myslíte, že jste skryti. To, co přijde dál, jde ještě hlouběji. K tomu přidejte nově se rozvíjející obor rozpoznávání emocí v reálném čase – systémy umělé inteligence zabudované do téže infrastruktury kamerových systémů, které klasifikují emocionální stavy podle výrazu obličeje a přiřazují štítky jako rozrušení, nepřátelství, strach nebo skrývání lidem, kteří neudělali nic jiného, než že se nacházeli na veřejném prostranství.
A systém se stále zdokonaluje.
Přesnost je to, co přinášejí investice v řádu miliard dolarů, a tyto investice jsou neúnavné. Blíží se den – blíž, než si většina lidí uvědomuje –, kdy systém přečte tisíce znaků zakódovaných ve vaší tváři, vaší chůzi, vašich mikrovýrazech a s devadesáti pěti procentní jistotou prohlásí, že spácháte vraždu. Že spácháte znásilnění.
Ne že byste to udělali. Ne že byste se o to pokusili. Že to uděláte. A až bude tato prahová hodnota jistoty dosažena, tlak jednat na jejím základě bude zdrcující. Společnost to přijme jako důvod k zásahu, k zadržení, k preventivnímu odstranění, a „pre-crime“ přestane být dystopickou metaforou a stane se oficiální státní politikou. Systém, který označí vaši tvář za nepřátelskou, nemusí mít pravdu dnes. Stačí, aby měl pravdu v budoucnu. A má ji.
Učí se rozpoznávat obličejové znaky osamělosti a nízkého sebevědomí. Nyní si tento systém představte zabudovaný do brýlí. Vstupte do místnosti. Překryvná vrstva predátorovi ukáže, kdo je slabý.
Nástroj predátora
To, co jsem popsal jako událost na tom semináři, představuje pouze jeden malý aspekt toho, co je dnes technicky možné. Zvažte jinou aplikaci, takovou, která by měla přimět každého, kdo byl kdy zranitelný, aby se zastavil a zamyslel se nad jejími důsledky.
Žijeme ve světě plném predátorů. Predátorských zaměstnavatelů. Predátorských mužů. Predátorských finančních institucí. Predátorských sítí, jaké po desetiletí bez následků provozoval Jeffrey Epstein a které sloužily nejmocnějším mužům světa.
Co se stane, když predátor této třídy získá přístup k systému umělé inteligence, který byl vycvičen na tisících hodin terapeutických rozhovorů s oběťmi zneužívání, s lidmi, kteří se stali oběťmi obchodu s lidmi, s jedinci, jejichž psychická minulost z nich udělala terče?
Systém se učí, jak zranitelnost vypadá zvenčí. Učí se, jakým specifickým způsobem se ve veřejném prostoru pohybuje člověk, který byl podmíněn k poslušnosti. Učí se rozpoznávat výraz tváře, který prozrazuje osamělost, nízké sebevědomí, někoho, kdo se nebude bránit, nebo komu nikdo neuvěří, i kdyby se bránil.
Nyní si představte, že tento systém je zabudován do brýlí. Vejděte do místnosti. Překryvný obraz dravci ukáže, kdo je slabý.
Palantir a architektura kontroly
Palantir není hypotetický příklad. Je to společnost s aktuální tržní hodnotou v řádu stovek miliard dolarů, s hlubokými smluvními vztahy s americkou armádou, CIA, FBI, Mossadem, MI6 a Imigračním a celním úřadem (ICE) a s produktovou řadou speciálně navrženou k tomu, co jsem právě popsal.
Její platforma Gotham shromažďuje data z daňových záznamů, registrů motorových vozidel, pracovních historií, vzdělávacích záznamů, imigračního statusu, předvolaných účtů na sociálních médiích včetně soukromých zpráv a historie polohy a syntetizuje je do individuálních spisů, které lze prohledávat podle tetování, čtvrti, spojení nebo pohybových vzorců. Její aplikace pro prosazování imigračních předpisů, nazvaná ELITE, vyplňuje mapu tím, co označuje jako cíle k deportaci, a každému z nich přiřazuje skóre spolehlivosti odhadující pravděpodobnost, že daná adresa je místem, kde daná osoba v současné době přespává. Slovo cíl je jejich, ne moje.
Nejedná se o systém vybudovaný pro národní bezpečnost v jakémkoli smysluplném významu tohoto pojmu. Národní bezpečnost byla pouze záminkou pro jeho vybudování. Ve skutečnosti však tento systém činí obyvatelstvo přehledným, tříditelným a zpracovatelným pro kohokoli, kdo drží smlouvu. V současné době mezi držitele těchto smluv patří i administrativa, která již prokázala svou ochotu použít tyto nástroje proti studentům, kteří se zúčastnili nesprávné demonstrace, akademikům, kteří podepsali nesprávný dopis, a imigrantům, jejichž jediným zločinem bylo to, že žili bez dokladů v zemi, která po desetiletí spoléhala na jejich práci.
Retweet může vést k založení spisu
Program, který Ministerstvo zahraničí nazývá „Catch and Revoke“, využívá nástroje umělé inteligence, včetně platformy zvané Babel X, k provádění automatizované analýzy sentimentu chování cizinců s vízy na sociálních médiích, včetně postgraduálních studentů a výzkumných pracovníků. Systém čte příspěvky, přiřazuje skóre záměru, označuje účty, jejichž vyjádřené názory algoritmus klasifikoval jako ohrožující, a zahajuje řízení o zrušení víza – to vše bez smysluplného lidského přezkumu. Retweet nyní může vést k založení spisu. Komentář zanechaný pod příspěvkem před třemi lety může spustit proces vyhoštění. Osoba, proti níž je řízení vedeno, nemá právo nahlédnout do algoritmu, který ji odsoudil. Algoritmus je chráněn autorským právem. Jeho vnitřní logika je obchodním tajemstvím.
Žalobce, kterému se nemůžete postavit
Tento poslední bod má takovou váhu, s níž se právní systém dosud ani nezačal vyrovnávat. Systémy umělé inteligence používané k předpovídání chování, přiřazování rizika a řízení donucovacích opatření jsou černé skříňky, a to nikoli v hovorovém smyslu, ale v technickém a právním. Společnosti, které je vyvíjejí, nemají žádnou povinnost zveřejňovat své metody. Obžalovaný, jehož zatčení bylo vyvoláno algoritmickým upozorněním, nemůže nařídit předložení trénovacích dat. Jeho právník nemůže model podrobit křížovému výslechu. Presumpce neviny, právo čelit svému žalobci, základní architektura spravedlivého procesu, jejíž zavedení si vyžádalo staletí boje, se hroutí v okamžiku, kdy je žalobcem proprietární softwarový systém vlastněný korporací s vládní zakázkou.
Evropa se rozhodla toto zakázat, nebo tak alespoň tvrdila legislativa. Článek 5 zákona EU o umělé inteligenci, který vstoupil v platnost počátkem roku 2025, formálně zakazuje systémy umělé inteligence určené k předpovídání pravděpodobnosti, že se jednotlivec dopustí trestného činu. Mezi výjimky uvedené v textu patří terorismus, vražda, znásilnění a ozbrojená loupež. Jinými slovy, zákaz se vztahuje na méně závažné přestupky. U všeho, co stát klasifikuje jako závažné, je předpovídání povoleno.
A už víme, jak pružný se stal pojem terorismus. Ve Spojeném království byly starší ženy účastnící se demonstrací na podporu Palestiny označeny za sympatizantky teroristů, sledovány a předány do programů boje proti extremismu. Definice se rozšiřuje tak, aby zahrnovala kohokoli, koho stát považuje za nepohodlného. Jakmile to pochopíte, výjimky zákona o umělé inteligenci přestávají vypadat jako právní záruky a začínají připomínat bianco šek vystavený na jméno toho, kdo právě drží moc.
Zpětná vazba
Ve Spojených státech se ani nesnaží předstírat zákaz. A problém se zhoršuje stejným způsobem, jakým se zhoršují všechny strukturální nespravedlnosti, když jsou instituce určené k jejich omezování pod kontrolou těch, proti nimž mají působit. Systémy prediktivní policejní práce nasměrují více policistů do určitých čtvrtí. Více policistů v těchto čtvrtích vede k většímu počtu zatčení. Větší počet zatčení v těchto čtvrtích potvrzuje původní předpověď algoritmu. Data nepopisují nebezpečnou čtvrť. Data ji vytvářejí. Lidé, kteří v ní žijí, sledují, jak jsou jejich děti přesouvány z kategorie občanů do kategorie potenciálních zločinců, ještě než vůbec něco provedly.
„Datová centra se nestaví proto, aby zrychlila vaše výsledky vyhledávání. Staví se proto, aby ukládala a zpracovávala behaviorální profily každého člověka na Zemi“
Datové centrum Azure AI.
Epsteinova třída, která to buduje
Musíme otevřeně mluvit o tom, kdo to buduje a proč. Elon Musk. Peter Thiel, jehož jméno je synonymem pro Palantir. Donald Trump, jehož administrativa nasadila tyto nástroje s takovou rychlostí a agresivitou, že to naznačuje, že čekali právě na tuto politickou konstelaci. Benjamin Netanjahu, za jehož vlády byly systémy rozpoznávání obličeje používány k sledování palestinských civilistů na Západním břehu, čímž vznikly databáze, které byly od té doby rozšířeny a integrovány do mezinárodních zpravodajských sítí.
OpenAI, jehož generální ředitel Sam Altman strávil roky tím, že prezentoval sebe i svou organizaci jako odpovědné a na bezpečnost dbající správce transformativní technologie – neziskovou organizaci založenou ve prospěch lidstva –, než ji restrukturalizoval na ziskový subjekt, který nyní usiluje o tržní hodnotu, díky níž se stane jednou z nejmocnějších soukromých institucí v dějinách lidstva. Ten samý Sam Altman, jehož sestra Annie Altmanová ho veřejně a opakovaně obvinila ze systematického znásilňování, které začalo, když jí byly tři roky. Tyto obvinění dosud nebyla projednána před soudem. Rovněž s nimi vážně nepočítá ani průmysl, ani tisk, ani vlády, které nyní s jeho společností spolupracují na utváření infrastruktury umělé inteligence budoucnosti.
Muž, který vytváří nástroje pro predikci a klasifikaci chování v celosvětovém měřítku, je muž, kterého se podle vlastních slov jeho sestra bojí již od raného dětství. Říká se nám, abychom tvůrcům důvěřovali. Neříká se nám, abychom se příliš podrobně zajímali o to, kým vlastně jsou.
Toto je „Epsteinova třída“. Není to metafora. Jeffrey Epstein byl predátor a pedofil, který po celá desetiletí provozoval v podstatě soukromou zpravodajskou operaci založenou na systematickém sexuálním zneužívání dětí ze strany superbohatých.
Základem této infrastruktury bylo vydírání. Měnou byl přístup – k tělu nezletilých a k zdokumentovaným tajemstvím nejmocnějších mužů z oblasti vědy, financí, politiky a technologie, kteří se pohybovali v jeho světě. Několik mužů, kteří dnes budují architekturu sledování 21. století, se účastnilo jeho večeří, létalo v jeho letadlech, navštěvovalo jeho ostrovy, zneužívalo jeho oběti. Někteří na okraji. Někteří podstatně blíže k jeho středu.
Epstein pochopil – a jeho hosté to pochopili po svém –, že úplná znalost člověka – jeho touhy, jeho stud, jeho tajemství, jeho zranitelnost – znamená nad ním naprostou moc. Tento systém vybudoval vlastníma rukama, pomocí kamer, mlčení a těl dětí. Muži, kteří s ním seděli u stolu, jej od té doby vybudovali v celosvětovém měřítku, tentokrát s datovými centry, legislativou a za spolupráce vlád. Logika vykořisťování je identická. Změnil se pouze mechanismus.
Nejedná se o samostatné aktéry sledující vlastní zájmy. Tvoří jednu třídu. Vytvořili aliance, společné investice, překrývající se členství v představenstvech a společný politický projekt, který třídy vytvářejí, když rozpoznají společnou příležitost. Tou příležitostí je v tomto případě naprostá informační nadvláda nad zbytkem lidstva. Datová centra, která se staví po celém jihozápadě Spojených států, ve státech Perského zálivu i v jihovýchodní Asii – obrovské, energii pohlcující stavby, jejichž výstavba je v tisku prezentována jako příběh o ekonomickém růstu a technologických ambicích – představují fyzickou infrastrukturu této nadvlády.
Datová centra se nestaví proto, aby zrychlila vaše výsledky vyhledávání. Staví se proto, aby ukládala a zpracovávala behaviorální profily každého člověka na Zemi, aby ti, kdo tyto systémy vlastní, znali lidské bytosti tak důkladně, že se předpovídání stane k nerozeznání od kontroly.
Horší, než si Orwell kdy dokázal představit
Aldous Huxley pochopil něco, co my vytrvale podceňujeme: že nejtrvalejší formy autoritářské kontroly nejsou těmi, kdo pod nimi žijí, vnímány jako útlak. Jsou vnímány jako pohodlí, jako bezpečnost, jako rozumné řízení složitého světa. Kamera na rohu nepůsobí jako Stasi. Aplikace, která ví, kde se nacházíte, nepůsobí jako Lubjanka. Algoritmus, který vám přiřadil rizikové skóre, které nikdy neuvidíte, nepůsobí jako nic, protože nevíte, že existuje. V tom spočívá zvláštní genialita architektury, která se kolem nás buduje. Její násilí je z velké části neviditelné, statistické, „vyprané“ prostřednictvím neutrálního jazyka datové vědy a veřejné bezpečnosti.
Televizní obrazovka George Orwella vás sledovala a vy jste věděli, že vás sleduje. On pochopil, že právě toto vědomí bylo samo o sobě formou kontroly.
To, čemu čelíme, je ještě horší, protože sledování není doprovázeno vědomím, že jsme sledováni. Profily chování, které se sestavují o každém, kdo nosí smartphone, kdo prochází kolem kamery, kdo zveřejňuje příspěvky na internetu, kdo používá kreditní kartu, kdo chodí do školy, navštěvuje lékaře nebo překračuje hranici, existují na serverech, ke kterým nemáme přístup, které vlastní společnosti, u nichž nemůžeme provádět audit, a které se používají k účelům, k jejichž zveřejnění je nemůžeme právně donutit. Spis je sestaven. Prostě nám není dovoleno si ho přečíst.
To, co se buduje kousek po kousku, smlouva po smlouvě, kamera po kameře, není sledovací stát v tom smyslu, jak se tento pojem chápal ve dvacátém století. Je to něco komplexnějšího a intimnějšího. Starý sledovací stát sledoval. Ten nový předpovídá. Ten starý shromažďoval spisy. Ten nový přiděluje skóre. Ten starý zaměstnával informátory a vyšetřovatele. Ten nový běží nepřetržitě, automaticky, na tvářích lidí, kteří nedělají nic jiného, než že žijí své životy ve světě, který se tiše proměnil v aparát klasifikace a kontroly.
Dokončení projektu
Stál jsem v té seminární místnosti a sledoval, jak se na obrazovce pohybuje můj vlastní obličej, který jsem sám neanimoval, a pochopil jsem, že něco skončilo. Skončila poslední technická bariéra mezi tím, kým jsme, a tím, co o nás mohou ti, kdo disponují dostatečným výpočetním výkonem, vědět bez našeho souhlasu či vědomí. Bariéra je pryč. To, co ji nahradí – ať už zákon, odpor nebo ten druh trvalého veřejného rozhořčení, které v historii občas donutilo moc ustoupit –, závisí zcela na tom, zda dostatek lidí pochopí, co již bylo vybudováno a pro koho to bylo vybudováno.
Oligarchové, kteří tyto systémy vlastní, nevnímají svět, který umělá inteligence vytváří, jako hrozbu. Pro ně je to dokončení projektu. Sen třídy, která vždy chtěla vědět vše o těch pod sebou, předvídat jejich pohyby, předjímat jejich nesouhlas, identifikovat jejich slabosti a zranitelná místa, řídit obyvatelstvo tak, jak farmář řídí stádo, kde je každé zvíře označeno, sledováno a tříděno podle své užitečnosti. Pro nás ostatní, ty, kteří jsou označováni, sledováni a tříděni, zbývá jediná naléhavá otázka.
V jakém okamžiku se pokusíme tomu zabránit?