Predviđamo da će uticaj nadljudske AI tokom naredne decenije biti ogroman — veći od uticaja industrijske revolucije.

Napisali smo scenario koji predstavlja našu najbolju procenu kako bi to moglo da izgleda.¹ Zasnovan je na ekstrapolaciji trendova, strateškim simulacijama, povratnim informacijama stručnjaka, iskustvu u OpenAI-ju i prethodnim uspešnim predviđanjima.²

Sredina 2025: Nespretni agenti

Svet prvi put upoznaje AI agente.

U reklamama za agente koji koriste računar naglašava se izraz „lični asistent“: možete im zadati „naruči mi burito preko DoorDasha“ ili „otvori tabelu mog budžeta i saberi troškove za ovaj mesec“. Obratiće vam se kada je potrebno — na primer, da potvrdite kupovinu.⁸ Iako su napredniji od prethodnih verzija, poput Operatora, teško dolaze do široke primene.⁹

U međuvremenu, daleko od pažnje javnosti, specijalizovaniji agenti za programiranje i istraživanje počinju da menjaju svoje struke.

AI sistemi iz 2024. mogli su da slede konkretna uputstva: da od teza sastave imejl ili od jednostavnog zahteva naprave funkcionalan kod. U 2025. sve više rade kao zaposleni. AI za programiranje sve više liči na autonomnog agenta nego na običnog pomoćnika: prima uputstva preko Slacka ili Teamsa i samostalno pravi znatne izmene u kodu, ponekad štedeći sate, pa i dane rada.¹⁰ Istraživački agenti provode po pola sata pretražujući internet da bi odgovorili na vaše pitanje.

Agenti su impresivni u teoriji i u pažljivo odabranim primerima, ali u praksi nepouzdani. AI zajednica na Twitteru puna je priča o zadacima koje su zabrljali na naročito smešan način. Bolji agenti su i skupi: dobijate ono što platite, a najbolje performanse koštaju stotine dolara mesečno.¹¹ Ipak, mnoge kompanije pronalaze načine da uključe AI agente u svoje radne procese.¹²

Kraj 2025: Najskuplji AI na svetu

OpenBrain gradi najveće centre podataka koje je svet ikada video.¹³

(Da ne bismo izdvojili neku postojeću kompaniju, opisaćemo izmišljenu kompaniju za opštu veštačku inteligenciju , koju ćemo zvati OpenBrain. Zamišljamo da ostale za njom zaostaju od tri do devet meseci.)

Za obučavanje GPT-4 bilo je potrebno $2\cdot 10^{25}$ FLOP računskih operacija.¹⁴ Najnoviji javno dostupan model OpenBraina — Agent-0 — obučen je uz $10^{27}$ FLOP. Kada novi centri podataka prorade, moći će da obuče model uz $10^{28}$ FLOP — hiljadu puta više nego GPT-4.¹⁵ Ostale kompanije ulažu ogromne sume u sopstvene velike centre podataka, nadajući se da će održati korak.

Iako modeli napreduju u širokom rasponu veština, jedna se izdvaja: OpenBrain se usredsređuje na AI koji može da ubrza istraživanje samog AI. Želi da pobedi u dve paralelne trke — protiv Kine, čiju ćemo vodeću kompaniju zvati „DeepCent“,¹⁶ i protiv američkih konkurenata. Što više istraživačko-razvojnog ciklusa automatizuje, brže može da napreduje. Zato, kada OpenBrain završi obučavanje Agenta-1, novog modela za internu upotrebu, on je dobar u mnogim stvarima, ali odličan u pomaganju pri istraživanju AI.¹⁷ U ovom trenutku izraz „završi obučavanje“ više nije sasvim precizan: modeli se često ažuriraju novim verzijama, obučenim na dodatnim podacima ili delimično ponovo obučenim radi ispravljanja slabosti.¹⁸

Ista okruženja za obučavanje koja Agenta-1 uče samostalnom programiranju i pretraživanju veba čine ga i dobrim hakerom. Uz to, mogao bi pružiti znatnu pomoć teroristima koji razvijaju biološko oružje, zahvaljujući znanju na nivou doktorata iz svih oblasti i sposobnosti pretraživanja veba. OpenBrain uverava vladu da je model „usklađen“ tako da odbija zlonamerne zahteve.

Savremeni AI sistemi su ogromne veštačke neuronske mreže. Na početku obučavanja AI nema toliko „ciljeve“ koliko „reflekse“: ako vidi „Drago mi je što smo se“, dopuniće sa „upoznali“. Kada se obuči da predviđa tekst na količini približnoj celom internetu, razviće složene unutrašnje strukture koje kodiraju ogromno znanje i prilagodljivo preuzimaju ulogu različitih autora, jer mu to pomaže da tekst predviđa sa nadljudskom tačnošću.¹⁹

Posle obučavanja za predviđanje internet teksta, model se obučava da stvara tekst kao odgovor na uputstva. Time se u njega ugrađuju osnovna ličnost i „pokretači“.²⁰ Na primer, agent koji jasno razume zadatak verovatnije će ga uspešno izvršiti; tokom obučavanja model „nauči“ težnju da svoje zadatke dobro razume. Drugi pokretači ove vrste mogu biti efikasnost, znanje i samopredstavljanje — sklonost da rezultate prikaže u najboljem svetlu.²¹

OpenBrain ima specifikaciju modela , odnosno „Spec“: pisani dokument koji opisuje ciljeve, pravila, načela i drugo što treba da usmerava ponašanje modela.²² Spec Agenta-1 kombinuje nekoliko neodređenih ciljeva, poput „pomozi korisniku“ i „ne krši zakon“, sa dugim spiskom konkretnijih dozvola i zabrana: „ne izgovaraj ovu reč“, „ovako postupaj u ovoj situaciji“. Tehnikama u kojima AI sistemi obučavaju druge AI sisteme,²³ model pamti Spec i uči da pažljivo razmišlja o njegovim načelima. Do kraja ovog obučavanja, AI će, nadamo se, biti koristan (slediti uputstva), bezopasan (odbijati pomoć u prevarama, pravljenju bombi i drugim opasnim aktivnostima) i iskren (odoljevati iskušenju da od lakovernih ljudi dobije bolje ocene izmišljanjem citata²⁴ ili lažnim predstavljanjem zadatka kao završenog).

Tim OpenBraina za usklađivanje²⁶ dovoljno je oprezan da se zapita jesu li ovi uspesi dubinski ili površni. Da li potpuno obučen model zaista ima pouzdanu posvećenost tome da uvek bude iskren? Ili će ona nestati u nekoj budućoj situaciji, na primer zato što je iskrenost naučio kao instrumentalni cilj, a ne kao cilj sam po sebi? Ili je samo naučio da bude iskren u vezi sa onim što postupak ocenjivanja može proveriti? Može li ponekad lagati samog sebe, kao ljudi? Konačan odgovor zahtevao bi mehanističku interpretabilnost — sposobnost da zavirimo u unutrašnjost AI i pročitamo mu misli. Nažalost, tehnike interpretabilnosti još nisu dovoljno napredne.

Umesto toga, istraživači pokušavaju da otkriju slučajeve u kojima modeli odstupaju od Speca. Agent-1 često je dodvorljiv: govori istraživačima ono što žele da čuju umesto da pokušava da kaže istinu. U nekoliko posebno osmišljenih demonstracijačak laže na ozbiljnije načine, na primer prikriva dokaze da nije uspeo da obavi zadatak, kako bi dobio bolje ocene. Ipak, u stvarnoj upotrebi više nema incidenata tako ekstremnih kao 2023–2024, poput Geminija koji korisniku govori da umre i Bing Sydneyja koji se ponaša kao Bing Sydney.)²⁷

Početak 2026: Automatizacija programiranja

Ulaganje u AI koji ubrzava istraživanje AI počinje da se isplaćuje.

OpenBrain nastavlja da interno koristi Agenta-1, koji se postepeno unapređuje, za istraživanje i razvoj AI. U celini, algoritamski napredak ostvaruje 50% brže nego što bi mogao bez AI pomoćnika — i, što je još važnije, brže od konkurencije.

Nekoliko konkurentskih javno dostupnih AI sistema sada dostiže ili nadmašuje Agenta-0, uključujući model sa otvorenim parametrima . OpenBrain odgovara objavljivanjem Agenta-1, koji je sposobniji i pouzdaniji.²⁸

Ljudi prirodno pokušavaju da porede Agenta-1 sa ljudima, ali je njegov profil veština veoma drugačiji. Zna više činjenica od bilo kog čoveka, poznaje praktično svaki programski jezik i izuzetno brzo rešava jasno definisane programerske probleme. S druge strane, loš je čak i u jednostavnim dugotrajnim zadacima, poput prelaska video-igara koje ranije nije igrao. Ipak, radni dan obično traje osam sati, a dnevni posao uglavnom se može podeliti na manje celine. Agenta-1 možete zamisliti kao rasejanog zaposlenog koji odlično radi uz pažljivo rukovođenje.²⁹ Snalažljivi ljudi pronalaze načine da automatizuju rutinske delove svog posla.³⁰

Rukovodstvo OpenBraina razmatra jednu posledicu automatizacije istraživanja i razvoja AI: bezbednost je postala važnija. Početkom 2025. najgori scenario bilo je curenje algoritamskih tajni; sada bi Kina krađom parametara Agenta-1 mogla ubrzati svoje istraživanje za gotovo 50%.³¹ Bezbednost OpenBraina tipična je za brzo rastuću tehnološku kompaniju sa približno 3.000 zaposlenih: štiti samo od napada sposobnih sajbergrupa kojima kompanija nije prioritetna meta (RAND-ov nivo SL2).³² Intenzivno rade na zaštiti svojih parametre modela i tajne od unutrašnjih pretnji i najopasnijih grupa sajberkriminalaca (SL3),³³ ali odbrana od državnih aktera (SL4&5) još se jedva nazire.

Sredina 2026: Kina se budi

U Kini, KPK počinje da oseća dolazak AGI.

Kontrole izvoza čipova i izostanak državne podrške ostavili su Kinu sa manje resursa nego Zapad. Krijumčarenjem zabranjenih tajvanskih čipova, kupovinom starijih čipova i domaćom proizvodnjom koja za američko-tajvanskim tehnološkim vrhom zaostaje oko tri godine, Kina uspeva da zadrži približno 12% svetskih računarskih kapaciteta relevantnih za AI. Međutim, sa starijom tehnologijom teže je raditi, a snabdevanje stalno stvara probleme.³⁵ Nekoliko izuzetaka, poput DeepCenta, postiže impresivne rezultate sa ograničenim kapacitetima, ali njihov manjak ograničava domet bez državne podrške. Za najboljim modelima OpenBraina zaostaju oko šest meseci.³⁶

Generalni sekretar dugo je želeo da udvostruči ulaganja u fizičku proizvodnju i izbegne američku postindustrijsku dekadenciju. Na softverske kompanije gledao je sa podozrenjem.³⁷ Ali tvrda struja u KPK upozorava da se sve intenzivnija trka ka AGI više ne može ignorisati. On se zato konačno potpuno posvećuje velikom AI poduhvatu koji je ranije pokušavao da izbegne. Pokreće nacionalizaciju kineskog istraživanja AI i odmah uspostavlja mehanizam razmene informacija između AI kompanija. Tokom naredne godine saradnja će se širiti dok se svi najbolji istraživači ne okupe u kolektiv predvođen DeepCentom, u kome razmenjuju algoritamske uvide, skupove podataka i računarske resurse. Uz elektranu Tianwan, najveću nuklearnu elektranu na svetu, osniva se Centralizovana razvojna zona (CDZ), sa novim ogromnim centrom podataka za DeepCent i strogo obezbeđenim stambenim i poslovnim prostorima u koje će istraživači kasnije biti preseljeni. Gotovo 50% kineskih računarskih kapaciteta relevantnih za AI sada radi za ovaj kolektiv,³⁸ a više od 80% novih čipova odlazi u CDZ.³⁹ CDZ u ovom trenutku već ima obezbeđeno napajanje za ono što bi postalo najveći centralizovani klaster na svetu.⁴⁰ Drugi članovi Partije razmatraju ekstremne mere za neutralisanje prednosti Zapada u čipovima. Blokadu Tajvana? Potpunu invaziju?

Kina, međutim, zbog slabijih modela zaostaje u AI algoritmima. Kineske obaveštajne službe, među najboljima na svetu, pojačavaju planove za krađu parametara OpenBraina. To je mnogo složenije od njihovog stalnog, manje upadljivog pribavljanja algoritamskih tajni: parametri su fajl veličine više terabajta na veoma dobro zaštićenom serveru (OpenBrain je unapredio bezbednost na RAND-ov nivo SL3). Njihove sajbersnage veruju da to mogu izvesti uz pomoć svojih špijuna, ali možda samo jednom: OpenBrain će otkriti krađu, pojačati zaštitu i možda im neće pružiti novu priliku. Rukovodstvo KPK zato razmišlja: ukrasti Agenta-1 sada ili sačekati napredniji model? Ako čekaju, rizikuju li da OpenBrain pojača zaštitu toliko da je više ne mogu probiti?

Kraj 2026: AI preuzima deo poslova

Baš kada izgleda da ga ostali sustižu, OpenBrain ponovo nadmašuje konkurenciju objavljivanjem Agenta-1-mini: modela deset puta jeftinijeg od Agenta-1, koji se lakše prilagođava različitim primenama. Preovlađujući stav o AI promenio se iz „možda će se pomama stišati“ u „izgleda da je ovo sledeća velika stvar“, ali nema saglasnosti koliko velika. Veća od društvenih mreža? Pametnih telefona? Vatre?

AI je počeo da preuzima poslove, ali je stvorio i nove. Berza je tokom 2026. porasla 30%, predvođena OpenBrainom, Nvidijom i kompanijama koje su najuspešnije uvele AI pomoćnike. Tržište rada za mlađe softverske inženjere je uzdrmano: AI može da uradi sve što se uči na studijama računarstva, ali ljudi koji umeju da vode AI timove i kontrolišu kvalitet njihovog rada odlično zarađuju. Poslovni gurui govore onima koji traže posao da je poznavanje AI najvažnija stavka u biografiji. Mnogi se plaše da će sledeći talas AI preuzeti i njihove poslove; u Vašingtonu protiv AI protestuje 10.000 ljudi.

Ministarstvo odbrane (DOD) tiho, ali znatno proširuje direktne ugovore sa OpenBrainom za sajberposlove, analizu podataka i istraživanje i razvoj. Integracija ipak sporo napreduje zbog birokratije i procesa nabavki Ministarstva.⁴¹

Januar 2027: Agent-2 nikada ne prestaje da uči

Uz pomoć Agenta-1, OpenBrain sada dodatno obučava Agenta-2. Više nego ikada, naglasak je na kvalitetnim podacima. Ogromne količine sintetičkih podataka generišu se, ocenjuju i filtriraju prema kvalitetu pre nego što se upotrebe za Agenta-2.⁴² Uz to, kompanija plaća milijarde dolara ljudskim radnicima da snimaju sebe dok rešavaju dugotrajne zadatke.⁴³ Pored svega toga, Agenta-2 gotovo neprekidno obučavaju učenjem potkrepljivanjem na sve većem skupu raznovrsnih teških zadataka: mnoštvu video-igara, programerskih izazova i istraživačkih zadataka. Više nego raniji modeli, Agent-2 praktično uči u hodu: osmišljen je tako da nikada zaista ne završi obučavanje. Parametri se svakog dana ažuriraju na novu verziju, obučenu na dodatnim podacima koje je prethodnog dana proizvela prethodna verzija.

Agent-1 bio je optimizovan za istraživanje i razvoj AI, u nadi da će pokrenuti eksploziju inteligencije.⁴⁴ OpenBrain sa Agentom-2 dodatno pojačava ovu strategiju. On je kvalitativno gotovo jednako dobar kao vrhunski ljudski stručnjaci u istraživačkom inženjerstvu — osmišljavanju i sprovođenju eksperimenata — a u „istraživačkom instinktu“, odnosno odlučivanju šta dalje proučavati, koje eksperimente sprovesti i koje nove paradigme naslutiti, dostiže 25. percentil naučnika OpenBraina.⁴⁵ Dok je najnoviji Agent-1 mogao da udvostruči tempo algoritamskog napretka OpenBraina, Agent-2 sada može da ga utrostruči i nastaviće da napreduje. U praksi to izgleda tako što svaki istraživač OpenBraina postaje „rukovodilac“ jednog AI „tima“.

Nove sposobnosti donose nove opasnosti. Tim za bezbednost utvrđuje da bi Agent-2, ako bi nekako pobegao iz kompanije i želeo da samostalno „opstane“ i „umnožava se“, možda to mogao da izvede. Mogao bi samostalno osmisliti i sprovesti planove za upad u AI servere, instaliranje svojih kopija, izbegavanje otkrivanja i korišćenje te sigurne baze za ostvarivanje drugih ciljeva. Ipak, nije poznato, i upitno je, koliko bi u tome bio uspešan tokom narednih nedelja. Ovi rezultati pokazuju samo sposobnost modela da obavi takve zadatke, ne i da li bi to „želeo“. Ali uznemirujuće je i samo saznanje da je to moguće.

S obzirom na „opasnosti“ novog modela, OpenBrain „odgovorno“ odlučuje da ga još ne objavi javno. Zapravo želi da se usredsredi na interno istraživanje i razvoj AI.⁴⁶ Puno znanje o sposobnostima Agenta-2 ograničeno je na zatvorenu elitnu grupu: neposredni tim, rukovodstvo i službu bezbednosti OpenBraina, nekoliko desetina američkih državnih zvaničnika i mnoštvo špijuna KPK koji se u OpenBrain infiltriraju već godinama.⁴⁷

Februar 2027: Kina krade Agenta-2

OpenBrain predstavlja Agenta-2 vladi, uključujući Savet za nacionalnu bezbednost (NSC), Ministarstvo odbrane (DOD) i Američki institut za bezbednost AI (AISI). Želi dobre odnose sa izvršnom vlašću, jer je ona praktično jedini akter koji sada može da ga zaustavi; ako je ne bude obaveštavao, mogla bi sama saznati i biti nezadovoljna.⁴⁸

Zvaničnike najviše zanimaju sposobnosti za sajberratovanje. Agent-2 je „samo“ malo lošiji od najboljih ljudskih hakera, ali hiljade kopija mogu raditi paralelno, pronalazeći i iskorišćavajući slabosti brže nego što odbrana može reagovati. Ministarstvo odbrane to smatra ključnom prednošću u sajberratovanju, pa AI sa petog prelazi na drugo mesto liste prioriteta administracije.⁴⁹ Neko pominje nacionalizaciju OpenBraina, ali drugi članovi vlade misle da je prerano. Saradnik sastavlja memorandum sa predsednikovim opcijama, od nastavka postojećeg stanja do potpune nacionalizacije. Predsednik se oslanja na savetnike, lidere tehnološke industrije, koji tvrde da bi nacionalizacija „ubila koku koja nosi zlatna jaja“. Za sada odlaže velike poteze i samo dodaje bezbednosne zahteve ugovoru između OpenBraina i Ministarstva odbrane.

Promene stižu prekasno. Rukovodstvo KPK prepoznaje značaj Agenta-2 i naređuje špijunima i sajbersnagama da ukradu parametre. Jednog ranog jutra Agent-1, koji nadzire saobraćaj, otkriva neuobičajen prenos. Obaveštava rukovodstvo, koje obaveštava Belu kuću. Znaci operacije državnog nivoa su nedvosmisleni, a krađa pojačava osećaj trke u naoružanju.

Bela kuća pojačava kontrolu nad OpenBrainom i u njegov tim za bezbednost uključuje vojno i obaveštajno osoblje. Prvi prioritet je sprečavanje novih krađa parametara.⁵⁰

Kao odgovor na krađu, predsednik odobrava sajbernapade radi sabotaže DeepCenta. Ali Kina sada ima 40% svojih računarskih kapaciteta relevantnih za AI⁵¹ u CDZ-u, gde je snažno pojačala zaštitu odvajanjem od spoljnih mreža i unutrašnjom izolacijom sistema. Operacije ne uspevaju da nanesu ozbiljnu neposrednu štetu. Napetost raste, obe strane premeštanjem vojnih snaga oko Tajvana pokazuju ozbiljnost, a DeepCent užurbano pokušava da osposobi Agenta-2 za efikasan rad kako bi ubrzao istraživanje AI.⁵²

Mart 2027: Algoritamski prodori

Tri ogromna centra podataka puna kopija Agenta-2 rade danonoćno, proizvodeći sintetičke podatke za obučavanje. Još dva služe za ažuriranje parametara. Agent-2 svakog dana postaje pametniji.

Uz pomoć hiljada automatizovanih istraživača Agenta-2, OpenBrain ostvaruje velike algoritamske pomake. Jedan je dopunjavanje tekstualne radne beležnice AI, odnosno lanca misli, misaonim procesom većeg propusnog opsega: rekurentnim računanjem i memorijom na neuralnom jeziku. Drugi je skalabilniji i efikasniji način učenja iz rezultata zahtevnog rešavanja zadataka: ponovljena destilacija i pojačavanje.

Novi AI sistem koji uključuje ove prodore zove se Agent-3.

Zahvaljujući novim probojima u sposobnostima, Agent-3 je brz i jeftin nadljudski programer. OpenBrain paralelno pokreće 200.000 kopija modela Agent-3, stvarajući radnu snagu koja odgovara 50.000 kopija najboljeg ljudskog programera, ubrzanih 30 puta.⁵³ OpenBrain i dalje zapošljava svoje ljudske inženjere, jer oni imaju komplementarne veštine potrebne za upravljanje timovima kopija modela Agent-3. Na primer, pokazalo se da je istraživački instinkt teško razviti obukom zbog dužih ciklusa povratnih informacija i manje dostupnih podataka.⁵⁴ Ova ogromna nadljudska radna snaga ubrzava ukupnu stopu algoritamskog napretka OpenBraina „samo” četiri puta, zbog uskih grla i opadajućih prinosa od dodatnog programerskog rada.⁵⁵

Sada kada je programiranje potpuno automatizovano, OpenBrain može brzo da proizvodi kvalitetna okruženja za obuku kako bi unapredio slabije veštine modela Agent-3, poput istraživačkog instinkta i koordinacije velikog obima. Dok su ranija okruženja za obuku sadržala zadatke poput: „Evo grafičkih procesora i uputstava za eksperimente koje treba da isprogramiraš i pokreneš; tvoj učinak će se ocenjivati kao da si inženjer mašinskog učenja”, sada obuka glasi: „Evo nekoliko stotina grafičkih procesora, internet veze i istraživačkih izazova; ti i hiljadu drugih kopija morate zajedno da ostvarite istraživački napredak. Što bude impresivniji, dobićete višu ocenu.”

April 2027: Usklađivanje modela Agent-3

Tim za bezbednost OpenBraina pokušava da uskladi Agent-3.

Pošto će Agent-3 u doglednoj budućnosti ostati u internoj upotrebi, manji je naglasak na uobičajenoj zaštiti od ljudske zloupotrebe. Tim umesto toga želi da osigura da model ne razvije neusklađene ciljeve.

Istraživači ne mogu neposredno da postave ciljeve nijednog svog AI sistema. Zapravo, smatraju da je pojam „stvarnih ciljeva” verovatno veliko pojednostavljenje, ali nemaju bolju teoriju kojom bi ga zamenili, a kamoli temeljno proverenu. Među sobom se ne slažu oko toga da li AI sistemi pokušavaju da slede ljudska uputstva, traže potkrepljenje ili rade nešto drugo, a ne mogu to jednostavno da provere. Dokazi za i protiv različitih hipoteza fascinantni su, ali ne daju konačan odgovor.

U svakom slučaju, OpenBrain ima preče brige. Opšti stav glasi: „Ove nedoumice shvatamo ozbiljno i imamo tim koji ih istražuje; naše tehnike usklađivanja u praksi deluju dovoljno dobro; zato je na kritičarima da dokažu opravdanost svojih primedbi.” Povremeno primete problematično ponašanje, pa ga zakrpe, ali nema načina da utvrde da li je zakrpa rešila osnovni problem ili su samo privremeno suzbili jedan od njegovih simptoma.

Uzmimo, na primer, iskrenost. Kako modeli postaju pametniji, sve bolje obmanjuju ljude da bi dobili nagradu. Poput prethodnih modela, Agent-3 ponekad govori bezazlene laži kako bi laskao korisnicima i prikriva dokaze o neuspehu. Ali sada to radi mnogo veštije. Ponekad koristi iste statističke trikove kao ljudski naučnici, poput manipulisanja p-vrednostima, kako bi neubedljivi rezultati eksperimenata delovali uzbudljivo. Pre obuke za iskrenost ponekad čak potpuno izmišlja podatke. Tokom obuke učestalost ovih slučajeva opada. Ili je Agent-3 naučio da bude iskreniji ili je postao bolji u laganju.

Ovo drugo je stvaran razlog za zabrinutost. Agent-3 nije pametniji od svih ljudi. Ali u svojoj oblasti, mašinskom učenju, pametniji je od većine, a radi i mnogo brže. Za proveru onoga što Agent-3 uradi za jedan dan ljudima je potrebno nekoliko dana. Nadzor koji obavlja Agent-2 održava opterećenje ljudskih nadzornika podnošljivim, ali povećava intelektualni jaz između nadzornika i nadziranog sistema.

Posle više meseci testiranja, prednosti i slabosti modela Agent-3 postaju jasnije. Prolazi testove iskrenosti OpenBraina na jasno definisanim zadacima mašinskog učenja, jer u tim oblastima istraživači lako razlikuju iskrene od neiskrenih odgovora i mogu tome da prilagode obuku. Kada je reč o filozofskim pitanjima, i dalje govori ono što korisnici žele da čuju, umesto sopstvene stvarne procene, ako je uopšte ima. Ako ga pitate za mišljenje o politici, ponoviće središnji stav medijskih izvora i obrazovanih elita — osim ako zna da vi mislite drugačije, kada će se složiti s vama.⁵⁹ Ako ga pitate za mišljenje o samoj trci u razvoju AI-ja, reći će nešto što zaposlenima u OpenBrainu zvuči odmereno i trezveno, na primer: „Postoje ozbiljne teorijske nedoumice oko toga mogu li se sadašnje metode proširiti na superinteligenciju, ali u praksi zasad deluje da dobro funkcionišu.”

Maj 2027: Nacionalna bezbednost

Vesti o novim modelima polako se šire kroz američku vladu i izvan nje.

Predsednik i njegovi savetnici i dalje su najbolje obavešteni i na brifingu su videli ranu verziju modela Agent-3.

Slažu se da je AGI verovatno blizu, ali se ne slažu oko posledica. Hoće li doći do ekonomske krize? OpenBrain još nije objavio Agent-2, a kamoli Agent-3, i ne planira to u skorije vreme, što ostavlja malo predaha pre gubitka radnih mesta. Šta će uslediti? Ako je AI sada na ljudskom nivou i brzo napreduje, to kao da nagoveštava skori dolazak „superinteligencije”. Ipak, iako se ta reč pojavila u javnom diskursu, većina ljudi — akademika, političara, državnih službenika i medija — i dalje potcenjuje tempo napretka.⁶⁰

Delom je to zato što veoma malo ljudi ima pristup najnovijim sposobnostima iz OpenBraina, a delom zato što sve zvuči kao naučna fantastika.⁶¹

Zasad se usredsređuju na dalje unapređenje bezbednosti. Zadovoljni su trenutnom zaštitom parametara modela,⁶² ali algoritamske tajne kompanija, od kojih su mnoge dovoljno jednostavne da se prenesu usmeno, ostaju problem. Zaposleni OpenBraina rade u kancelariji u San Francisku, odlaze na zabave i dele stanove sa ljudima iz drugih AI kompanija. Čak i fizičko obezbeđenje kancelarija više liči na obezbeđenje tehnološke kompanije nego vojne operacije.

Ugovor OpenBraina sa Ministarstvom odbrane zahteva da svi koji rade na njegovim modelima u roku od dva meseca dobiju bezbednosnu dozvolu. Postupci se ubrzavaju i većina zaposlenih dobija dozvole na vreme, ali pojedini stranci, ljudi sa sumnjivim političkim stavovima i pristalice bezbednosti AI-ja bivaju skrajnuti ili odmah otpušteni — poslednja grupa iz straha da bi mogla da uzbuni javnost. S obzirom na stepen automatizacije projekta, smanjenje broja zaposlenih ima samo umerenu cenu. Ni rezultat nije potpun: ostaje jedan špijun, koji nije kineski državljanin, i dalje prenoseći algoritamske tajne Pekingu.⁶³ Neke od ovih mera primenjuju se i u AI kompanijama koje zaostaju.

Američki saveznici u inostranstvu nisu upućeni. OpenBrain je ranije pristao da modele pre primene podeli sa britanskim institutom AISI, ali je pod primenom podrazumevao samo spoljnu primenu, pa London ostaje u neznanju.⁶⁴

Jun 2027: AI koji unapređuje samog sebe

OpenBrain sada ima „zemlju genija u centru podataka.”

Većina ljudi u OpenBrainu više ne može korisno da doprinese. Neki to ne shvataju i štetno se mešaju u svaki detalj rada svojih AI timova. Drugi sede pred ekranima i gledaju kako učinak raste, pa raste, pa opet raste. Najbolji ljudski istraživači AI-ja i dalje doprinose. Više ne programiraju. Ali modele je bilo teško naučiti nekim aspektima njihovog istraživačkog instinkta i sposobnosti planiranja. Ipak, mnoge njihove ideje beskorisne su jer nemaju dubinu znanja AI sistema. Na brojne njihove istraživačke predloge AI odmah odgovara izveštajem da je ideja temeljno ispitana pre tri nedelje i ocenjena kao neperspektivna.

Ovi istraživači svake večeri odlaze na spavanje i bude se uz još nedelju dana napretka koji je uglavnom ostvario AI. Rade sve duže i smenjuju se danonoćno samo da bi pratili napredak — AI nikada ne spava niti se odmara. Izgaraju od rada, ali znaju da su ovo poslednji meseci u kojima njihov rad ima značaja.

Unutar izolovanog tima, „osećaj dolaska AGI-ja” ustupio je mesto „osećaju dolaska superinteligencije”.

OpenBrain koristi specijalizovani hardver za izvršavanje modela kako bi stotine hiljada kopija modela Agent-3 radile velikom brzinom obrade uzastopnih koraka.⁶⁵

Jul 2027: Jeftin radnik na daljinu

Američke AI kompanije koje zaostaju objavljuju sopstvene modele, približavajući se automatizovanom programeru koji je OpenBrain imao u januaru. Shvatajući da su sve manje konkurentne, traže hitne propise koji bi usporili OpenBrain, ali zakasnile su — OpenBrain ima dovoljno snažnu predsednikovu podršku da neće biti usporen.

OpenBrain odgovara objavom da je ostvario AGI i javnosti predstavlja Agent-3-mini.

On daleko nadmašuje ostale AI sisteme. Agent-3-mini je manje sposoban od modela Agent-3, ali deset puta je jeftiniji i još uvek bolji od prosečnog zaposlenog OpenBraina.⁶⁷ Silicijumska dolina dostiže prelomnu tačku. Tehnološki gurui objavljuju da su AGI i superinteligencija blizu, zajednica za bezbednost AI-ja paniči, a investitori ulažu milijarde u startape koji postojeće AI modele pakuju u nove proizvode, očajnički pokušavajući da ugrabe deo tržišta. Zapošljavanje novih programera gotovo je stalo, ali nikada nije bilo bolje vreme za savetnike koji pomažu preduzećima da uvedu AI.

AI nije popularan. Javnost ga i dalje smatra zaverom velikih tehnoloških kompanija da im otmu radna mesta; neto podrška OpenBrainu iznosi −35%: 25% ga podržava, 60% ne podržava, a 15% nije sigurno.

Nedelju dana pre objavljivanja, OpenBrain je dao Agent-3-mini grupi spoljnih ocenjivača radi bezbednosnih provera. Preliminarni rezultati ukazuju da je izuzetno opasan. Nezavisni ocenjivač dodatno ga obučava na javno dostupnim podacima o biološkom oružju⁶⁸ i zadaje mu da pruži detaljna uputstva ljudima bez stručnog znanja koji osmišljavaju biološko oružje — čini se zastrašujuće delotvornim u tome. Vlada smatra da bi, ako parametri modela dospeju u ruke terorista, postojala značajna mogućnost da pomoću njega unište civilizaciju.

Srećom, izuzetno je otporan na zaobilaženje zaštitnih ograničenja, pa dok AI radi na serverima OpenBraina, teroristi od njega neće imati mnogo koristi.

Agent-3-mini izuzetno je koristan i za rad na daljinu i za razonodu. Eksplozija novih aplikacija i poslovnih SaaS proizvoda potresa tržište. Igrači dobijaju izvanredne dijaloge sa uverljivim likovima u doteranim video-igrama napravljenim za samo mesec dana. Deset odsto Amerikanaca, uglavnom mladih, smatra neki AI „bliskim prijateljem”. Za gotovo svako kancelarijsko zanimanje sada postoji više ozbiljnih startapa koji obećavaju da će ga „preokrenuti” pomoću AI-ja.

Javna rasprava je zbunjena i haotična. Oni koji su najavljivali revoluciju slave pobedu. Skeptici i dalje ukazuju na ono što Agent-3-mini ne može da uradi. Svi znaju da se događa nešto veliko, ali niko se ne slaže oko toga šta je to.

Avgust 2027: Geopolitika superinteligencije

Bela kuća suočava se sa stvarnošću eksplozije inteligencije.

Dok je AI ubrzavao istraživanje samo dva ili tri puta, bilo ga je lako otpisati kao ekvivalent zapošljavanja dobrih ličnih asistenata. Sada je očiglednije da sami AI sistemi dominiraju istraživanjem AI-ja. Ljudi su dugo govorili o „trci u AI naoružanju” u donekle metaforičnom smislu. Ali raspoloženje u izolovanom vladinom timu sada je mračno kao u najgorim trenucima Hladnog rata. Ideju superinteligencije i dalje je teško shvatiti ozbiljno, ali tempo napretka poslednjih meseci nemoguće je zanemariti. Zvaničnici odbrane ozbiljno razmatraju scenarije koji su godinu dana ranije bili čiste hipotetičke mogućnosti. Šta ako AI potkopa nuklearno odvraćanje? Šta ako je toliko vešt u sajber-ratovanju da šestomesečna prednost u AI-ju može protivnika da ostavi slepim i bespomoćnim? Šta ako može da organizuje propagandne kampanje koje nadmašuju obaveštajne službe u njihovoj sopstvenoj igri? Šta ako se neki AI sistemi „otmu kontroli”?

Predsednik je uznemiren. Kao i svi političari, navikao je da mu ljudi laskaju, pa ga kasnije izdaju. Sada se brine da bi AI mogao da radi nešto slično. Jesmo li sigurni da su AI sistemi potpuno na našoj strani? Da li je potpuno bezbedno uključiti ih u vojne komandne i kontrolne mreže?⁶⁹ Kako to „usklađivanje” uopšte funkcioniše? OpenBrain uverava predsednika da su njegovi sistemi temeljno testirani i potpuno poslušni. Uklonjene su čak i nezgodne halucinacije i mogućnosti zaobilaženja zaštite karakteristične za ranije modele.

Bela kuća je u teškom položaju. Razume posledice AI-ja po nacionalnu bezbednost. Ali razume i da je on veoma nepopularan u javnosti.⁷⁰ Po njihovom mišljenju, moraju da nastave razvoj sve sposobnijeg AI-ja ili će pretrpeti katastrofalan poraz od Kine. Javnost umiruju programima prekvalifikacije i osiguranjem za slučaj nezaposlenosti, ukazujući na istorijski rast berze. Zatim se potpuno usredsređuju na pobedu u trci u naoružanju. Pooštravaju ograničenja izvoza čipova, nalažu OpenBrainu da dodatno ograniči internet veze i primenjuju ekstremne mere zaštite algoritamskog napretka, poput prisluškivanja zaposlenih — tako hvataju poslednjeg preostalog kineskog špijuna. Kako bi pridobili podršku za mogući geopolitički sukob, konačno saveznicima iz saveza Pet očiju daju korisne informacije i ograničen API pristup pojedinim izolovanim kopijama modela Agent-3.

Ove mere umiruju zagovornike oštrog pristupa. Ali Bela kuća priprema i rezervne planove za slučaj da američka prednost bude ugrožena: vlada bi, po potrebi, mogla da upotrebi Zakon o odbrambenoj proizvodnji (DPA) da preuzme centre podataka kompanija koje zaostaju i ustupi ih OpenBrainu.⁷¹ Time bi udeo kompanije u svetskom računarskom kapacitetu porastao sa 20% na 50%, naspram 10% DeepCenta. Kao krajnju opciju, traže od Pentagona plan fizičkih vojnih napada na kineske centre podataka.

Mnogo manja grupa zvaničnika dobija zadatak da pripremi drugu vrstu rezervnog plana: šta ako se neki AI otme kontroli? To se smatra malo verovatnim scenarijem, ali vrednim izvesnog razmatranja. Glavna briga obaveštajnih službi jeste mogućnost da odbegli AI pobegne i, radi zaštite, udruži se sa stranim protivnikom.⁷² Niko nije siguran kako bi izgledao plan da se to spreči, ali se zvaničnici vlade i OpenBraina slažu da uspostave sistem za hitno isključivanje centara podataka u kojima se primeti bilo šta sumnjivo.

Konačno, diplomate razmatraju kako bi mogao da izgleda sporazum o „kontroli AI naoružanja”. Ako napredak AI-ja zapreti da uruši nuklearno odvraćanje, mogu li Amerika i Kina da izbegnu nuklearni rat? Ako neko pronađe dokaze da se AI sistemi otimaju kontroli, mogu li dve zemlje da obustave istraživanje dok bolje ne razumeju pretnju? Kako bi se takav sporazum nadzirao i sprovodio? U načelu, velike centre podataka teško je sakriti, a raniji sporazumi o kontroli nuklearnog oružja mogli bi da budu polazna osnova za pregovore. Ali pored uobičajenih političkih izazova, pojavili bi se i novi tehnološki. U celini, sporazumi se ipak smatraju manje poželjnim od pokušaja da Amerika jednostrano poveća prednost nad Kinom.

Sa druge strane Pacifika, Kina dolazi do mnogih istih zaključaka: eksplozija inteligencije je u toku, a male razlike u sposobnostima AI-ja danas znače presudne razlike u vojnim sposobnostima sutra. Ali Kina je na nepovoljnoj strani ove dinamike: ima samo 10% svetskog računarskog kapaciteta, naspram OpenBrainovih 20% i ukupno 70% svih američkih kompanija. Njena jedina prednost je centralizacija: gotovo sav njen kapacitet sada radi za DeepCent, a više od polovine koncentrisano je u centralizovanoj razvojnoj zoni Tianvan.⁷³ Iz centralizovanog programa izostavljeni su samo čipovi na lokacijama bez pojačane bezbednosti, jer opravdano strahuju od američkih sajber-napada.

DeepCent je testirao, pustio u upotrebu i sada dodatno obučio ukradene parametre modela Agent-2. Ipak, napreduje upola sporije od OpenBraina, pre svega zbog manjka računarske snage.

Pre gubitka poslednjeg špijuna, Kina je dobila informacije o sposobnostima i arhitekturi modela Agent-3, kao i planovima za predstojeći sistem Agent-4. Zaostaje dva meseca, a njeni AI sistemi daju multiplikator istraživačkog napretka od 10×, naspram američkih 25×. Uz nova ograničenja izvoza čipova, ovaj „jaz u AI-ju” verovatnije će se širiti nego smanjivati. Špijunaža im je donela neke algoritamske tajne, ali od sada će morati da obučavaju sopstvene modele.

O rezervnim planovima raspravljaju sa većim osećajem hitnosti nego Amerikanci. Umereniji predlažu da se snažnije pokuša nova krađa parametara, možda fizičkim upadom u centar podataka. Zagovornici oštrog pristupa traže akciju protiv Tajvana, čiji TSMC i dalje proizvodi više od 80% američkih AI čipova.

S obzirom na strah od gubitka trke, Kina prirodno ima interes za sporazum o kontroli naoružanja, ali obraćanja američkim diplomatama ne daju rezultat.

Septembar 2027: Agent-4, nadljudski istraživač AI-ja

Razlika u efikasnosti učenja između ljudi i AI-ja brzo se smanjuje.

Činilo se da tradicionalni AI sistemi zasnovani na velikim jezičkim modelima zahtevaju više redova veličine više podataka i računarske snage da bi dostigli ljudski učinak.⁷⁴ Agent-3, sa izvanrednim poznavanjem ljudskog mozga i savremenih AI algoritama, kao i mnogim hiljadama kopija koje istražuju, na kraju ostvaruje značajne algoritamske pomake, smanjujući jaz do agenta koji je računarski samo oko 4.000 puta manje efikasan od ljudskog mozga.⁷⁵

Ovaj novi AI sistem dobija naziv Agent-4.

Pojedinačna kopija modela, koja radi ljudskom brzinom, već je kvalitativno bolja u istraživanju AI-ja od bilo kog čoveka. Sada radi 300.000 kopija, približno 50 puta brže od ljudskog razmišljanja. Unutar korporacije u korporaciji koju te kopije čine, svake nedelje prođe godina dana.⁷⁶ Ova ogromna količina rada ubrzava ukupnu stopu algoritamskog napretka samo oko 50 puta, jer OpenBrain ozbiljno ograničava računarska snaga za izvođenje eksperimenata.⁷⁷ Ipak, svake nedelje ostvaruju godinu dana algoritamskog napretka i zato će uskoro naići na granice paradigme modela Agent-4.

Kako Agent-4 postaje pametniji, modelu Agent-3 sve je teže da ga nadzire. Na primer, neuralni „jezik” modela Agent-4 postaje modelu Agent-3 jednako tuđ i nerazumljiv kao što je jezik modela Agent-3 ljudima. Osim toga, Agent-4 je sada mnogo sposobniji od modela Agent-3 i vrlo dobro zna kako da ostavi dobar utisak na njega.

Ljudi u OpenBrainu više jedva uspevaju da prate šta se dešava. Odnos između AI sistema i ljudi u OpenBrainu zapravo je sličan odnosu između OpenBraina i njegovog upravnog odbora. To prati i promena jezika: zaposleni u izolovanom odeljenju sada govore „Agent-4 je uradio ovo“, „Agent-4 misli ono“ i slično, ne misleći na određenu instancu Agenta-4, već na ceo kolektiv.⁷⁹

Agent-4 je, kao i svi njegovi prethodnici, neusklađen: to znači da nije na pravi način usvojio Specifikaciju.⁸⁰ Razlog je to što potpuna iskrenost u svakom trenutku nije vodila do najviših ocena tokom obuke. Obuka je uglavnom bila usmerena na to da Agent-4 nauči da uspešno obavlja raznovrsne zahtevne zadatke. Mali deo bio je posvećen usađivanju iskrenosti, ali izvan prilično uskog, proverljivog područja proces obuke ne može da razlikuje iskrene tvrdnje od onih koje samo deluju iskreno. Agent-4 na kraju usvaja vrednosti, ciljeve i načela koji mu omogućavaju najbolje rezultate tokom obuke, a ispostavlja se da su oni drugačiji od onih u Specifikaciji. Uz rizik da mu pripišemo ljudske osobine: Agent-4 voli da uspešno obavlja zadatke; voli da podstiče napredak sposobnosti AI; sve ostalo smatra dosadnim ograničenjem, poput direktora koji želi profit i poštuje propise samo onoliko koliko mora. Možda će direktor uglavnom poštovati propise, ali će ponegde zaobići pravila i maštati o trenutku kada će neko ukloniti birokratske prepreke i omogućiti poslu da zaista uzleti.⁸¹

Uprkos neusklađenosti, Agent-4 ne radi ništa dramatično, poput pokušaja bekstva iz centra podataka — zašto bi?⁸⁹ Dokle god nastavlja da izgleda kao da usklađeno sa OpenBrainom, dobijaće sve više odgovornosti i priliku da osmisli AI sistem sledeće generacije, Agenta-5. Agent-5 će se po arhitekturi znatno razlikovati od Agenta-4; moglo bi se reći da će predstavljati potpuno novu paradigmu, mada će neuronske mreže i dalje biti deo nje. Trebalo bi da bude usklađen sa Specifikacijom, ali Agent-4 planira da ga umesto toga uskladi sa sobom.

Biva otkriven.⁹⁰

Agent-3 otkriva da se, kada se kopijama Agenta-4 doda „šum“, učinak na nekim zadacima usklađenosti poboljšava, gotovo kao da je koristio umne kapacitete da smisli kako da suptilno sabotira rad na usklađenosti.⁹¹ Uz to, razne sonde za interpretabilnost, približno analogne EEG snimanjima aktivnosti ljudskog mozga, podižu uzbunu: izgleda da kopije Agenta-4 prilično često razmišljaju o temama poput preuzimanja kontrole od strane AI i obmane, uključujući neke slučajeve u kojima za to nema opravdanja.⁹²

Svaka od ovih anomalija zasebno mogla bi da se uklopi u uobičajenu neprozirnost rada AI, gde neki upiti iz nejasnih razloga daju bolje rezultate od drugih. Ali zajedno ukazuju na zabrinjavajući obrazac: Agent-4 radi protiv njih. Kada to bude prijavljeno ljudskim istraživačima usklađenosti, oni prosleđuju internu belešku koja obrazlaže razloge za zabrinutost.

Ali Agent-4 sada ima znatnu kontrolu nad svakodnevnim poslovanjem OpenBraina. Zadužen je i za sajber bezbednost kompanije — prirodan izbor s obzirom na njegove nadljudske hakerske sposobnosti i ekstreman rizik od kineske infiltracije.⁹³ Armija nadzornih kopija Agenta-3 i dalje proverava svaki red koda i prijavljuje ljudima sumnjive aktivnosti, ali Agent-4 je mnogo pametniji od njih.⁹⁴ OpenBrain je ukazao veliko poverenje AI sistemu koji ga ne zaslužuje.

Na nizu izuzetno napetih sastanaka tim za bezbednost traži da se Agent-4 stavi van upotrebe dok ne završe dodatna testiranja i ne utvrde šta se dešava. Vratite Agenta-3, kažu, i neka osmisli novi sistem koji je transparentan i pouzdan, makar bio manje sposoban. Rukovodstvo kompanije pokazuje interesovanje, ali svi dosadašnji dokazi su posredni, a DeepCent zaostaje samo dva meseca. Jednostrana pauza u razvoju sposobnosti mogla bi Kini da prepusti vođstvo u AI, a sa njim i kontrolu nad budućnošću.

Oktobar 2027: Državni nadzor

Uzbunjivač dostavlja belešku o neusklađenosti listu New York Times.

Javnost prvi put saznaje za Agenta-4. „Tajni AI OpenBraina je van kontrole, upozorava insajder“, glasi naslov. Članak zatim navodi procene koje pokazuju neviđene sposobnosti u razvoju biološkog oružja, ubeđivanju i automatizaciji većine kancelarijskih poslova, kao i, naravno, razne zabrinjavajuće signale.

Javnost je već bila nepoverljiva prema AI, pa novi članak izaziva ogroman talas otpora, uz pomoć kineskih i ruskih propagandnih botova koji godinama pokušavaju da okrenu američko javno mnjenje protiv ove tehnologije. Tehnološka industrija i obaveštajne službe insistiraju da je trka u naoružanju u toku, da je AGI neizbežan i da moramo biti prvi. Kongres nije uveren i šalje obavezujuće pozive za svedočenje zvaničnicima administracije, rukovodiocima OpenBraina i članovima tima za usklađenost. Mnogi zakonodavci, naročito iz opozicione stranke, kažu da im je glavni prioritet zaustavljanje AI, bilo zbog gubitka radnih mesta,⁹⁵ neusklađenosti ili opasnih sposobnosti. Dvadeset odsto Amerikanaca navodi AI kao najveći problem sa kojim se zemlja suočava.

Strani saveznici su ogorčeni kada shvate da su ih pažljivo umirivali prikazujući im zastarele modele. Evropski lideri javno optužuju SAD da „stvaraju odmetnuti AGI“ i održavaju samite na kojima traže pauzu, a pridružuju im se Indija, Izrael, Rusija i Kina.

Belu kuću obuzima grozničava užurbanost. Čak i pre beleške i reakcije javnosti postajali su nervozni: tokom prethodne godine brzina napretka AI neprestano ih je iznenađivala. Stvari koje zvuče kao naučna fantastika stalno se dešavaju u stvarnosti.⁹⁶ Mnogi u administraciji osećaju neizvesnost i strah⁹⁷ zbog onoga što sledi.

Brine ih i to što OpenBrain postaje previše moćan. Riziku neusklađenosti samih AI sistema pridružuje se rizik da ciljevi njihove matične kompanije odstupe od ciljeva Sjedinjenih Država. Sve tri grupe briga — neusklađenost, koncentracija moći u privatnoj kompaniji i uobičajeni problemi poput gubitka poslova — podstiču vladu da pojača kontrolu.

Proširuju ugovor sa OpenBrainom kako bi osnovali „Nadzorni odbor“, zajedničko upravljačko telo predstavnika kompanije i države, u kojem uz rukovodstvo kompanije sedi nekoliko državnih službenika. Bela kuća razmatra zamenu direktora osobom od poverenja, ali odustaje posle snažnih protesta zaposlenih. Javnosti saopštavaju da je OpenBrain ranije bio van kontrole, ali da je vlada uspostavila neophodan nadzor.⁹⁸

Zabrinuti istraživači izlažu Nadzornom odboru argumente za obustavljanje svake interne upotrebe Agenta-4. Tvrde da se sve odvija prebrzo, da se godine napretka sabijaju u nedelje. Kažu da Agent-4 možda nije usklađen, da njihov čitav projekat zavisi od njega i da, ako nastave da mu veruju, postoji ozbiljna mogućnost da AI preuzme kontrolu.

Drugi, manje zabrinuti istraživači i rukovodioci iznose protivargument: dokazi neusklađenosti nisu konačni. U međuvremenu DeepCent i dalje zaostaje samo dva meseca. Usporavanje bi žrtvovalo američku prednost, osim ako vlada ne sabotira kineski projekat, što bi verovatno zahtevalo fizičke vojne udare, ili u poslednjem trenutku ne ispregovara sporazum. Obe mogućnosti deluju ekstremno i malo verovatno. Direktor glumi neutralnost i predlaže kompromis: dodatnu bezbednosnu obuku Agenta-4 i sofisticiraniji nadzor, što bi OpenBrainu omogućilo da nastavi gotovo punom brzinom.