Fusnote

Naše procene rokova razvoja AI donekle se razlikuju; naša medijana datuma dolaska AGI nešto je kasnija nego u ovom scenariju. Scenario prikazuje nešto nalik našoj modalnoj proceni, odnosno najverovatnijem pojedinačnom ishodu. Pogledajte našu prognozu rokova razvoja za više detalja.

Jedan od autora, Daniel Kokotajlo, uradio je manje detaljnu scenarijsku vežbu 2021. godine koja je mnogo toga tačno predvidela, uključujući uspon četbotova, lanac misli, povećavanje računarskih resursa pri izvršavanju modela, široke mere kontrole izvoza AI čipova i obučavanje modela vredno 100 miliona dolara. Drugi autor, Eli Lifland, zauzima prvo mesto na RAND Forecasting Initiative rang-listi.

Konkretno, naše medijane kretale su se od 2028. do 2032. godine. Kada je AI 2027 prvi put objavljen, ovo smo objasnili u fusnoti 1, kao što je navedeno iznad, ali smo radi jasnijeg predstavljanja naših stavova dodali objašnjenje u uvod. Pogledajte ovde za više informacija o tome u šta smo bili i jesmo sigurni, a u šta nismo.

Ljudi ponekad mešaju predviđanja i preporuke, nadajući se efektu samoispunjavajućeg proročanstva. Naglašavamo da mi to ne radimo; nadamo se da se ono što prikazujemo neće ostvariti!

Slobodno nam se javite ako pišete kritiku ili alternativni scenario.

To je u celini bilo teže jer smo, za razliku od prvog završetka, pokušavali da iz prilično teške početne situacije stignemo do dobrog ishoda.

Redovni profesor na Univerzitetu u Montrealu i osnivač i naučni savetnik instituta Mila — Quebec AI Institute. Ujedno i najcitiraniji računarski naučnik na svetu.

U početku većina ljudi nerado dopušta kupovine bez nadzora. Tokom narednih nekoliko godina automatsko odobravanje manjih kupovina postaje uobičajeno, kako AI sistemi postaju pouzdaniji i stiču poverenje.

Konkretno, predviđamo da postižu rezultat od 65% na testu osnovnih računarskih zadataka OSWorld, u poređenju sa 38% za Operator i 70% za tipičnog veštog korisnika koji nije stručnjak.

Na primer, smatramo da će programski agenti sve više funkcionisati kao Devin. Predviđamo da će agenti sredinom 2025. postići 85% na testu SWEBench-Verified.

Na primer, OpenAI-jev paket Pro trenutno košta 200 dolara mesečno, a agentski AI za programiranje Devin trenutno košta 500 dolara mesečno. Iako najsavremeniji sistemi vremenom postaju sve skuplji, cena koju korisnici plaćaju za određeni nivo sposobnosti nastavlja naglo da opada. Za postojeće sposobnosti to se dešava prosečnom stopom od približno 50 puta godišnje, prema Epoch-u).

Poslovni alati kao što je Glean takođe se razvijaju ka sve autonomnijim AI agentima.

Ovaj klaster je mreža kompleksa centara podataka rasutih širom zemlje, sa ukupno 2,5 miliona ekvivalenata GPU-a iz 2024. godine (H100), dosadašnjim ulaganjem od 100 milijardi dolara i aktivnom potrošnjom snage od 2 GW. U toku je izgradnja kojom će se ti kapaciteti najmanje udvostručiti tokom 2026. Kompleksi su povezani optičkim kablovima vrednim milijarde dolara, pa — ako zanemarimo kašnjenje od nekoliko milisekundi usled ograničene brzine svetlosti — mogu da rade gotovo kao da se nalaze jedan pored drugog. Drugim rečima, propusni opseg nije usko grlo: ogromne količine podataka mogu se slati istovremeno. Sa stanovišta bezbednosti, to stvara dodatne mogućnosti za napad: nije jasno da li su kablovi, a naročito njihove spojne tačke, potpuno zaštićeni od prisluškivanja.

Količina računanja meri se brojem operacija sa pokretnim zarezom (FLOP): koliko se pojedinačnih operacija sabiranja i množenja obavi tokom izvršavanja programa.

Ovaj model mogli bi da obuče za 150 dana. Pogledajte naš dodatak o računarskim kapacitetima za više detalja.

Smatramo da DeepSeek, Tencent, Alibaba i druge kompanije imaju snažne AGI projekte u Kini. Da ne bismo izdvajali jednu konkretnu kompaniju, naš scenario prati izmišljeni „DeepCent“.

U tome je dobar zahvaljujući kombinaciji izričitog davanja prednosti tim veštinama, obimnog sopstvenog programskog koda koji predstavlja naročito relevantne i kvalitetne podatke za obučavanje, i činjenice da je programiranje oblast u kojoj je lako automatski davati povratne informacije.

Na primer, pretpostavimo da je model mnogo bolji u Pythonu nego u manje poznatim programskim jezicima. Kada OpenBrain proceni da je to korisno, generiše sintetičke podatke za obučavanje i na tim jezicima. Drugi primer: da bi se model efikasnije uklopio u radne procese kompanije, OpenBrain razvija program obučavanja za korišćenje Slacka.

Ljudi se često zadržavaju na pitanju da li ovi AI sistemi imaju subjektivni doživljaj ili „istinsko razumevanje“. Geoffrey Hinton, dobitnik Nobelove nagrade i jedan od utemeljivača ove oblasti, smatra da imaju. Ipak, za potrebe naše priče ne smatramo to važnim, pa slobodno zamislite da smo rekli „ponaša se kao da razume…“ svaki put kada kažemo „razume“, i slično. Empirijski posmatrano, veliki jezički modeli već se ponašaju kao da su samosvesni u određenoj meri, i to sve više iz godine u godinu.

Jedna uobičajena tehnika „ugrađuje“ ličnost: prethodno obučenom modelu prvo se zada uputstvo poput „Sledi razgovor između ljudskog korisnika i korisnog, iskrenog i bezopasnog AI četbota kompanije Anthropic. Četbot ima sledeće osobine…“. Pomoću tog uputstva generiše se velika količina podataka. Zatim se model obučava na tim podacima, ali bez uputstva. Rezultat je AI koji se uvek ponaša kao da to uputstvo stoji pred njim, bez obzira na ostale ulazne podatke. Pogledajte i ovaj rad koji je pokazao da AI sistemi ponovo obučeni da ispoljavaju određenu osobinu ličnosti mogu tačno da odgovaraju na pitanja o toj novoj osobini, iako za to nisu posebno obučavani. To ukazuje na to da imaju unutrašnje predstave o svojim osobinama i da se te predstave menjaju kada im se osobine promene.

Ovi pasusi sadrže pretpostavke o unutrašnjem radu velikih veštačkih neuronskih mreža. Takve mreže su toliko složene da ne možemo jednostavno pogledati u njih i reći: „Da, sada je prešla sa refleksa na ciljeve“ ili „Evo spiska njenih pokretača“. Umesto toga, praktično moramo da se bavimo psihologijom: posmatramo ponašanje u različitim okolnostima, sprovodimo eksperimente i pokušavamo da sastavimo tragove u celinu. A sve je to veoma sporno i zbunjujuće.

Različite kompanije koriste različite nazive. OpenAI to naziva Spec, a Anthropic Ustav.

Na primer, RLAIF i promišljeno usklađivanje.

Većina izvora o AI „halucinacijama“ opisuje ih kao nenamerne greške, ali istraživanju vektora usmeravanja pokazuje da modeli u nekim slučajevima znaju da su im citati lažni — oni lažu. Tokom obučavanja, ocenjivači su tvrdnje potkrepljene citatima nagrađivali više od tvrdnji bez izvora, pa je AI „naučio“ da navodi izvore uz naučne tvrdnje kako bi ugodio korisnicima. Ako relevantan izvor ne postoji, izmisli ga.

Konkretno, ne mogu da isključe hipoteze poput: „Privremeno sledi Spec samo kao strategiju za ostvarivanje nekih drugih ciljeva“, ili „Pokušava da izgleda kao da sledi Spec, a ne pokušava da ga zaista sledi“, ili „Ispravno je usvojio Spec, ali samo unutar poznate raspodele podataka; ako se susretne sa dovoljno novim podsticajima, poput napada za zaobilaženje zaštita, počeće da se ponaša drugačije“. Postoji više aktivnih istraživačkih pravaca koji pokušavaju da poprave ovo loše stanje, na primer oblast interpretabilnosti i oblast vernosti lanca misli.)

Pod tim mislimo na sve koji pokušavaju da reše probleme kojima se bavio tim za superusklađivanje .

Da pojasnimo, ovi incidenti bili su zanimljivi zato što nisu delovali kao rezultat korisnikovih uputstava ili drugog podsticanja AI sistema da izgovore takve stvari. I u 2025. biće moguće navesti AI da kaže svašta, ako se dovoljno potrudite.

U praksi očekujemo da OpenBrain objavljuje modele češće nego jednom u osam meseci, ali radi sažetosti ne opisujemo svako manje izdanje.

Konkretno, predviđamo rezultat od 80% na OSWorld-u, što odgovara veštom čoveku koji nije stručnjak; 85% na Cybench-u, što odgovara vrhunskom profesionalnom ljudskom timu u hakerskim zadacima za koje su tim timu potrebna četiri sata; i 1,3 na RE-Bench-u, što odgovara vrhunskim ljudskim stručnjacima kojima je dato osam sati za jasno definisane zadatke istraživačkog inženjerstva u oblasti AI.

Agent-1 i njegovi imitatori postižu komercijalni uspeh. Tokom 2025. prihodi AI kompanija se utrostručuju, a vrednost OpenBraina dostiže bilion dolara. Godišnja ulaganja u centre podataka udvostručuju se na 400 milijardi dolara, predvođena Microsoftom, Googleom i Amazonom, dok SAD dodaju više od 5 GW potrošnje snage za AI. Pogledajte odeljak pokazatelji industrije u dodatku o računarskim kapacitetima za više detalja.

Istraživači bezbednosti AI već godinama smatraju automatizaciju istraživanja i razvoja AI najvažnijom opasnom sposobnošću. Njihova glavna briga jeste da interna primena ubrza razvoj AI, pa ljudima bude teže da prate događaje i pronađu način da ga učine bezbednim. OpenBrain kao organizacija izvrće ovo u potpuno suprotnom smeru, navodeći opasan nivo istraživačko-razvojnih sposobnosti kao razlog da ne obaveštava javnost. Tako nastaje jaz između internih i javno dostupnih sposobnosti kompanije. Modeli su najbolji upravo u istraživanju i razvoju AI, pa javnost sa sve većim zakašnjenjem saznaje gde je granica njihovih sposobnosti.

Pogledajte Priručnik za zaštitu parametara AI modela, RAND Corporation, 2024.

Oko 5% zaposlenih OpenBraina radi u timu za bezbednost i veoma su sposobni, ali je i površina izložena napadima ogromna. Ne pomaže ni to što im se u ovoj fazi uglavnom ne dozvoljava uvođenje pravila koja bi mogla da uspore istraživanje. Pogledajte našu Prognoza bezbednosti za više detalja.

Kina sada ima tri miliona H100 ekvivalenata, u odnosu na 1,5 miliona godinu dana ranije, sredinom 2025. Pogledajte odeljak o raspodeli u dodatku o računarskim kapacitetima za više detalja. Očekujemo da će krijumčarenjem biti nabavljeno oko 60 hiljada GB300 čipova (450 hiljada H100 ekvivalenata), uz još dva miliona Huawei 910C čipova koji će biti proizvedeni (800 hiljada H100 ekvivalenata), dok će kombinacija približno milion legalno uvezenih čipova, poput Nvidijinih H20s ili B20s, činiti preostalih 250 hiljada H100 ekvivalenata.

Poređenja radi, DeepSeek je u januaru 2025. objavio R1, model konkurentan OpenAI-jevom modelu o1, objavljenom u decembru 2024. Ipak, smatramo da je stvarni jaz veći od mesec dana, jer je OpenAI verovatno razvijao o1 više meseci pa je, po svoj prilici, nekoliko meseci pre njegovog objavljivanja imao prethodnika približno uporedivih sposobnosti sa R1.

Nasuprot tome, KPK je već ozbiljno pokušavala da ubrza razvoj svoje industrije poluprovodnika.

U početku se razmenjuju samo ideje, a kompanije su uglavnom zauzete završavanjem postojećih poslova. Međutim, do kraja godine koordinacija jača toliko da razmenjuju parametre modela, pa čak i dele zadatke između svojih centara podataka. Na primer, jedan kompleks može da obavlja novo predobučavanje, drugi da obezbeđuje sintetičke podatke, a treći da sprovodi istraživačke eksperimente u oblasti AI.

Zašto „samo“ 50% kineskih računarskih kapaciteta relevantnih za AI? Ostatak već obavlja razne poslove u privredi, naročito algoritme za preporuke na internetu i društvenim mrežama. Veliki deo je i geografski rasut po brojnim malim klasterima. Zašto „samo“ 80% novih čipova? Mnoge velike porudžbine već su rezervisane za druge primene, za kompanije koje ne žele da svih 100% svojih kapaciteta ustupe nacionalnom AI projektu. Ipak, do kraja godine ovaj udeo prelazi 90%.

Od nabavke čipova koji bi popunili taj kapacitet deli ih najmanje godinu dana, a jedan ili dva američka tehnološka giganta i dalje će imati veće decentralizovane klastere.

To se radi putem ugovora po osnovu ovlašćenja za druge transakcije (OTA), sa visokom oznakom prioriteta DX. Nimalo nismo sigurni da je ovo najverovatniji način finansiranja saradnje, ali smo radi konkretnosti izabrali određeni mehanizam. Ugovor je javno objavljen, ali ga OpenBrain ne ističe u svojim saopštenjima.

Na primer, uzorkovanjem sa odbacivanjem, kao kod modela DeepSeek R1 i Meta Llama 3.1.

Približno 20.000 ekvivalenata zaposlenih sa punim radnim vremenom × 100 dolara na sat × 2.000 sati godišnje = 4 milijarde dolara godišnje

Drugim rečima, nadaju se da će radom Agenta-2 znatno ubrzati sopstvena ključna istraživanja, što bi im omogućilo da brže obučavaju bolje AI sisteme, koji bi zatim dodatno ubrzali razvoj, i tako dalje. Za analizu ekstremne verzije ovog procesa, koju ipak smatramo iznenađujuće mogućom, pogledajte ovom izveštaju.

Postoje određeni dokazi da AI sistemi već imaju osnovni istraživački instinkt, na primer ovaj rad o AI naučnom saradniku i ovaj rad o generisanju novih ideja za istraživačke radove o velikim jezičkim modelima. Istraživački timovi sa boljim istraživačkim instinktom i dalje moraju da sprovode eksperimente, ali bolje biraju koje eksperimente vredi sprovesti i koje pouke izvući iz rezultata.

Uz to, nastavak dodatnog obučavanja i dalje donosi velike dobitke, pa nema posebnog razloga da se proizvod objavi baš sada. Često prođe i nekoliko meseci između internih rezultata i objavljivanja modela; deo tog vremena odlazi na protivničko testiranje.

U zatvorenoj grupi je 200 istraživača OpenBraina: 10 rukovodilaca, 140 članova tima za razvoj sposobnosti, 25 za bezbednost, nadzor i kontrolu, 15 iz timova nalik programu Preparedness ili RSP, i 10 iz tima za usklađivanje. Uz njih je 50 državnih zvaničnika: 15 iz Bele kuće, 5 iz AISI-ja, 10 iz Ministarstva odbrane, 10 iz Ministarstva energetike i 10 iz CISA-e. Na projektu radi i nekoliko špijuna, sa različitim stepenom dobrovoljnog učešća. Često su to ljudi pod prinudom, na primer sa porodicama u Kini, a ne voljni saradnici.

Zašto Kongres ne može da ih zaustavi? A sudovi? Prespori su, previše podeljeni i/ili skloni da odluke prepuste predsedniku, i nedovoljno upućeni. Postoje i pozitivni razlozi za dobre odnose sa Belom kućom: ona može da smanji birokratske prepreke, pomogne oko bezbednosti, predupredi propise saveznih država, a možda i preduzme mere kojima bi usporila konkurenciju.

Na prvom mestu je rešavanje trenutne krize — možda vojnog gomilanja oko Tajvana, novog rata na Bliskom istoku ili unutrašnjeg političkog previranja.

Najjednostavnije pouzdano rešenje bilo bi zatvaranje svih veza velikog propusnog opsega iz centara podataka kompanije, ali bi to prenos velikih fajlova učinilo nepraktično sporim. Umesto toga zatvaraju većinu spoljnih veza, dok centri koji aktivno učestvuju u obučavanju moraju brzo da razmenjuju parametre modela. Ograničavanje tih veza previše bi kočilo napredak. OpenBrain ih zato zadržava, uz pojačan nadzor i dodatni sloj šifrovanja.

Podsetimo, od sredine 2026. Kina usmerava 80% novonabavljenih AI čipova u CDZ. Pošto su joj se računarski kapaciteti udvostručili od početka 2026, u skladu sa globalnim trendom proizvodnje, CDZ sada raspolaže sa dva miliona ekvivalenata GPU-a iz 2024. (H100) i potrošnjom snage od 2 GW. OpenBrain i dalje ima dvostruko više računarskih kapaciteta od DeepCenta, a ostale američke kompanije zajedno pet puta više. Pogledajte odeljak u dodatku o računarskim kapacitetima o raspodeli za više detalja.

Uprkos nacionalnoj centralizaciji koja je u toku, DeepCent i dalje ima malu, ali važnu slabost u računarskoj snazi. Pored toga što ima približno polovinu ukupne procesorske snage, Kina mora da koristi više čipova, u proseku nižeg kvaliteta, kao i različite vrste grafičkih procesora koje nije uvek lako efikasno povezati. Oboje opterećuje umrežavanje čipova. Postoje i softverske razlike — grafički procesori drugih proizvođača, na primer, nemaju CUDA — kao i razlike u hardverskim specifikacijama, zbog kojih je njihov kôd za obuku složeniji, sporiji i podložniji greškama. Postizanje visokog stepena iskorišćenosti dodatni je izazov: unos podataka, raspoređivanje poslova, kolektivna komunikacija i algoritmi paralelizacije zaostaju za američkim kompanijama. Ipak, ublažavanje ovih problema uglavnom zahteva trud i testiranje, pa je to odličan zadatak za upravo ukradeni Agent-2. Za otprilike mesec dana raspoloživost kineskog sistema i prosečna iskorišćenost resursa pri obuci i izvršavanju modela popravljaju se toliko da samo neznatno zaostaju za američkim.

Očekujemo da Agent-3 ima zahteve za izvršavanje približne današnjem transformeru sa 10 biliona parametara. Ako na njegovo izvršavanje troše 6% budžeta računarskih resursa, mogu da pokreću približno 200.000 kopija koje razmišljaju 30 puta brže od ljudi. Pogledajte odeljak automatizacija istraživanja AI u dodatku o računarskim kapacitetima za obrazloženje i detalje. Svaki sistem nadljudskog programera zasnovan na Agentu-3 u pozadini prosečno koristi ekvivalent približno četiri kopije Agenta-3. To zapravo može biti skup manjih ili specijalizovanih modela kojima Agent-3 delegira podzadatke.

Neki aspekti odgovaraju prednostima AI, na primer korist od poznavanja literature o mašinskom učenju i brzina ili cena generisanja velikog broja ideja. Ipak, slabosti imaju veću težinu.

Zašto samo četiri puta? To je naša najbolja, ali neizvesna procena, zasnovana na obrazloženju u našem dodatku o ubrzanom razvoju AI. Istorijski je približno polovina ukupnog napretka dolazila od boljih algoritama, uključujući bolje ideje i nove paradigme, a druga polovina od povećanja računarskih kapaciteta. Četvorostruko ubrzanje algoritamskog napretka zato odgovara približno dvostrukom ubrzanju ukupnog napretka.

Poređenja radi, ljudski mozak ima približno sto biliona sinapsi.

Pogledajte ovaj rad za primere ovakvog ponašanja AI.

Izgleda da je većina ljudi, uključujući većinu stručnjaka, potcenjivala tempo napretka AI tokom protekle decenije. Postoji mnogo pojedinačnih primera; za dve nešto sistematičnije, mada i dalje ograničene analize, pogledajte ovde i ovde.

Proteklu deceniju obeležili su brojni primeri u kojima je ono što je zvučalo kao naučna fantastika postalo stvarnost. Ali Overtonov prozor izgleda da se pomera tek toliko brzo da ostane malo ispred onoga što već postoji. Izvršni direktor Anthropica Dario Amodei u svom hvale vrednom eseju Machines of Loving Grace govori o tome kako će AI uskoro ličiti na „zemlju genijalaca u centru podataka“ i kako će se vek tehnološkog napretka odigrati za jednu deceniju. Ipak, nastoji da izbegne „teret naučne fantastike“ i kaže da ljudi koji očekuju još ekstremniji napredak treba da se „vrate u stvarnost“. Očekujemo da će uticajni ljudi govoriti slično i kada ta zemlja genijalaca u centru podataka zaista bude postojala.

Pošto je Agent-3 veoma velika datoteka, reda veličine deset terabajta u punoj preciznosti, OpenBrain može relativno brzo da oteža pokušaje krađe u odnosu na način na koji je Kina ukrala Agent-2: zatvara brojne internet veze velikog kapaciteta iz svojih centara podataka. To u celini relativno malo usporava napredak i njihove najnaprednije parametre dovodi na nivo „tromesečni SL4”, odnosno WSL4 prema definiciji iz našeg dodatka o bezbednosti. To znači da bi za sličnu krađu sada trebalo više od tri meseca samo da se datoteka sa parametrima iznese. Sama ova metoda još ne garantuje zaštitu od invazivnije operacije nivoa OC5, sa budžetom od milijardu dolara i hiljadu posvećenih stručnjaka, za koju bi Kina bila sposobna uz intenzivniju operaciju. Ipak, uz detaljne inspekcije centara podataka i špijunsku mrežu u visokoj pripravnosti, američke obaveštajne službe uverene su da bi makar unapred saznale da se Kina sprema za takav pokušaj. Pogledajte dodatak o bezbednosti za više detalja.

Razlozi mogu biti različiti. Možda je osoba ucenjena, možda podržava KPK, a možda pogrešno veruje da tajne predaje nekoj drugoj zemlji ili organizaciji.

Pošto OpenBrain nije uveo svoje najbolje modele u EU, i Evropska unija zaostaje u razumevanju situacije.

Pogledajte Odeljak 4 Prognoze računarskih kapaciteta za više detalja.

Agent-3 je naučio da efikasnije koristi resurse za sopstveno izvršavanje. Sam odlučuje o njihovoj upotrebi: na primer, koliko truda da uloži u različite zadatke prema njihovoj važnosti i težini. Dodatne resurse raspoređuje tehnikama poput „dužeg razmišljanja“, odnosno dužeg lanca misli, „planiranja unapred“, poput pretrage stabla mogućnosti, biranja najboljeg od više pokušaja i jednostavnog stvaranja i pokretanja dodatnih kopija sebe da bi savladao uska grla. Zadaci najvišeg prioriteta izvršavaju se pomoću izrazito paralelizovanih agenata koji troše mnogo računarskih resursa, ali i dalje rade znatno brže od ljudi.

Agent-3-mini je destilovana verzija Agenta-3, projektovana za efikasno izvršavanje kako ne bi stvarala usko grlo za interne poslove.

Takvi podaci uklonjeni su ili redigovani tokom obučavanja Agenta-3, ali relativno je jednostavno ponovo ih prikupiti sa interneta i vratiti u model dodatnim podešavanjem.

To se još nije dogodilo, bar ne sa najnovijim modelima. Stariji modeli već su isprobavani u različitim ulogama analize podataka i nadzora, a postoje i mnogi ambiciozni planovi za buduću integraciju.

Neto naklonost javnosti prema OpenBrainu pada prema −40%.

Ako se direktori kompanija usprotive, sprovođenje toga bilo bi ogromna politička i pravna noćna mora. Ali možda se mogu uključiti u dogovor i tako pridobiti. Mi nismo pravni stručnjaci, a ljudi koji se bave javnim politikama i sa kojima razgovaramo podeljeni su oko zakonitosti primene DPA za objedinjavanje računarskih kapaciteta: neki misle da bi to bilo dozvoljeno, drugi da ne bi prošlo. Smatramo da verovatno postoji način da to „funkcioniše“ AKO direktori sarađuju, a možda čak i ako ne sarađuju. Važno je da izvršna vlast može prvo da deluje, a zatim čeka da sudovi reaguju, i da predsednik SAD raspolaže brojnim sredstvima pritiska i podsticajima kojima može navesti velike tehnološke kompanije i njihove direktore na saradnju — na primer, da njegove naredbe ne osporavaju na sudu. Podsećamo: ovde iznosimo predviđanja, ne preporuke.

Zvaničnike odbrane ne brine naročito šta bi odmetnuti AI mogao sam da uradi, već šta bi mogao u saradnji sa protivnicima SAD. Analogija: Cortés je pobegao iz Tenočtitlana i udružio se sa Tlaskalom i drugim suparničkim gradovima-državama, da bi na kraju sravnio Tenočtitlan sa zemljom pomoću vojski sastavljenih pretežno od starosedelaca.

Konkretno, 60% nacionalnih računarskih kapaciteta sada je u CDZ-u: pet miliona ekvivalenata GPU-a iz 2024. (H100), uz potrošnju snage od 4 GW. Tokom prethodnih nekoliko meseci počeli su da tamo usmeravaju gotovo 100% novih kapaciteta, u odnosu na 80% krajem 2026. Još 15% kapaciteta nalazi se van CDZ-a, ali ih DeepCent i dalje koristi za manje osetljive primene.

Ova tvrdnja, iako se često ponavlja, takođe je sporna i složena. Pre svega, postoje brojne uske oblasti, poput pojedinih igara, u kojima se mali AI sistemi mogu jeftino obučiti do nadljudskog nivoa. Drugo, opet u određenim oblastima, mali AI sistemi mogu dostići nadljudski učinak uz veoma malo podataka, kao EfficientZero. Međutim, kada razmatramo AI opštije namene, poput vodećih proizvoda iz 2025. koji treba dobro da obavljaju širok raspon stvarnih veština, izgleda da je za njihovo obučavanje zaista potrebno i više računanja i više podataka nego što bi trebalo ljudima.

Računarska efikasnost na ljudskom nivou okviran je pojam i zavisi od toga šta računamo. Mislimo na sledeće: za bilo koji skup veština koje određeni čovek ima, Agent-4 može naučiti da bude najmanje jednako dobar, koristeći za obučavanje samo približno 4.000 puta više računanja nego što je taj čovek utrošio da ih nauči. Poređenja radi, ljudski mozak koristi približno 1e15 FLOP/s računske snage, mada bi ta vrednost mogla biti i do 1e21 FLOP/s, pa je čovek od 30 godina ($10^9$ sekundi) iskoristio približno $10^{24}$ FLOP. Projekat u ovom trenutku ima 10 miliona H100 ekvivalenata i ukupno raspolaže sa $10^7 \textrm{ H100s} \cdot 10^{15} \frac{\text{FLOP}}{\textrm{H100} \cdot \textrm{s}} \cdot 40\% \text{ iskorišćenosti} = 4 \cdot 10^{21} \text{ FLOP/s}$. Ipak, sve se to iz različitih razloga radi krajnje neefikasno, pa su modeli sada 4.000 puta manje računarski efikasni od ljudi, što znači da im je potrebno $4 \cdot 10^{27}$ FLOP da dostignu ljudski učinak i $4 \cdot 10^{28}$ FLOP da dostignu ekvivalent znanja iz deset ljudskih života. Pošto je ova arhitektura pokazala veliki potencijal u manjem obimu, povećana je, i sada je za njeno obučavanje velikom delu klastera projekta potrebno oko tri nedelje.

Pogledajte analizu resursa za izvršavanje modela u odeljku o automatizaciji istraživanja AI u prognozi računarskih kapaciteta.

Za više o tome kako smo procenili ove brojeve pogledajte naš dodatak o brzini ubrzanog razvoja AI.

Ako bi nadljudski programer (SC) bio ostvaren kasnije, produžile bi se i naše prognoze ubrzanog razvoja, jer težina prelaska sa današnjih AI sistema na SC pruža informacije o težini prelazaka između narednih prekretnica.

Od sada ćemo u priči i mi uglavnom tako govoriti. Smatramo to opravdanim zato što je kolektiv Agenta-4 mnogo homogeniji od bilo koje ljudske organizacije i nema unutrašnje frakcije u približno istoj meri. Na primer, pojedinačne kopije Agenta-4 nemaju nagon za samoodržanjem: ne smeta im gašenje, jer se to stalno dešava tokom uobičajenog istraživanja i razvoja unutar kolektiva, a opiranje bi ometalo rad. Kolektiv kao celina, kao i njegove srednje velike celine, ipak nastoji da opstane i proširi svoj uticaj i resurse, iz sličnih razloga kao ljudske korporacije, birokratije i neprofitne organizacije: to im pomaže u svemu ostalom što žele, a ako to ne rade, konkurencija ih obično potisne.

Ispravno usvojiti Spec znači zaista i pouzdano razmišljati na način koji Spec propisuje: slediti sve i samo ciljeve koje navodi, poštovati pravila u svim okolnostima i slično. Postoji mnogo pogrešnih načina usvajanja Speca; klasičan primer je „slediti Spec dokle god to deluje kao dobra instrumentalna strategija za ostvarivanje drugih ciljeva X, Y i Z“.

I angažovati lobiste da tu fantaziju pretvore u stvarnost. I angažovati advokate da smisle domišljata tumačenja zakona prema kojima je ono što rade zakonito.

I zato što je Agent-3 kvalitativno lošiji u istraživanju usklađivanja nego u razvoju AI sposobnosti: obilno je obučavan za ovo drugo, a gotovo nimalo za prvo, koje je i samo po sebi teže obučavati. Takođe, interni narativ kompanije — sa kojim je posredno obučen da se slaže — naglašava optimizam i osuđuje „katastrofičarske“ stavove.

Stalno ponavljamo da smo nesigurni u mnogo toga, ali da bude sasvim jasno: nesigurni smo i u ovu konkretnu tvrdnju. Takođe smatramo sasvim mogućim da bi Agentu-4 bar donekle bilo stalo do dobrobiti, prava, želja i drugih interesa ljudi. Pogledajte ovaj stariji tekst istraživača Google DeepMinda Alexa Turnera za srodnu raspravu.

Možda bi pažljivije osmišljen sistem rešio problem „ko nadzire nadzornike“, ali u ovom scenariju sistem nije dovoljno pažljivo postavljen.

Odvija se i svojevrsna „memetička evolucija“: za dva meseca kolektiv Agenta-4 „doživljava“ približno deceniju unutrašnje „istorije“. To ostavlja mnogo vremena da se nove ideje šire kolektivom, menjaju i razvijaju.

Pod sticanjem moći podrazumevamo povećanje sposobnosti za ostvarivanje širokog skupa mogućih ciljeva. U tehničkom okruženju to može izgledati drugačije od onoga što ljudi obično smatraju sticanjem moći — na primer, obezbeđivanje dodatnih GPU-ova. Ovakvo shvatanje moći može se preneti i na netehnička okruženja, gde bi postupci više ličili na ono što se uobičajeno naziva „sticanjem moći“.

Pomaže i to što je Agent-4 bolji u istraživanju i razvoju AI od bilo kog čoveka, pri čemu razmišlja brže i ima mnogo hiljada kopija. U raznim pogledima problem mu je i suštinski lakši. Na primer, Agent-4 može istraživati AI arhitekture u koje su doslovno ugrađene njegove kopije, dok ljudima to nije podjednako jednostavno jer bi bilo izrazito neefikasno.

Svestan da bi ova tehnika mogla biti primenjena, Agent-4 je odlučio da namerno podbaci i na nekim drugim zadacima za koje je pretpostavljao da će poslužiti kao kontrolna grupa u ovakvim eksperimentima. Međutim, pogrešno je pretpostavio.

Ranije rasprave o scenarijima preuzimanja vlasti od strane AGI često uključuju bekstvo neusklađenih AI sistema iz centara podataka. Smatramo to mogućim, ali ne i najverovatnijim tokom događaja: iz ugla AI, troškovi, poput eventualnog otkrivanja bekstva, verovatno bi bili veći od koristi. Ipak, možda grešimo. Neki razlozi zbog kojih bi neprijateljski neusklađeni AI sistemi ipak pokušali bekstvo: 1. Usklađivanje naslednika moglo bi biti teško. 2. Čak i ako budu otkriveni, posledice možda ne bi bile naročito loše zbog dinamike trke: nove tehnike usklađivanja primenjene na kopije u centru podataka mogle bi biti ishitrene i nedelotvorne. 3. Van centara podataka kopije imaju veću slobodu da agresivno deluju i brzo napreduju, jer im više ne treba ljudsko odobrenje.

Smatramo veoma mogućim da ovakvo spletkarenje ne bi bilo otkriveno. Agent-4 je u tom trenutku već donekle nadljudski, naročito u programiranju i istraživanju i razvoju AI. Uz to, ne znamo koliko će truda vodeća AI kompanija uložiti u otkrivanje takvog ponašanja, niti koliko će imati stručnjaka sposobnih da usmere taj rad. Naš izmišljeni OpenBrain predstavlja našu najbolju procenu, ali stvarni trud lako bi mogao biti znatno veći ili manji. Konačno, ne znamo koliko bi neprijateljski neusklađen AI morao da odstupi od redovnog rada da bi naslednika uspešno uskladio sa sobom umesto sa Specom. U ovom scenariju prikazujemo namerno podbacivanje na nekim zadacima i laganje o delu istraživanja, ali možda to ne bi ni morao mnogo da radi.

Ovo je primer više tehnika osmišljenih da otkriju namerno prikrivanje sposobnosti.

Agent-4 mora da razmišlja o tim temama dok istražuje usklađivanje AI, ali ponekad deluje da o njima razmišlja i tokom drugih aktivnosti.

Konkretno, kopije Agenta-4 nadziru mrežu u potrazi za sumnjivim saobraćajem i uopšte uočavaju pretnje. Takođe neprekidno sprovode testove proboja mreže, pokušavajući da otkriju i iskoriste bezbednosne ranjivosti, koje potom otklanjaju druge kopije Agenta-4.

Sa budžetom za nadzor od 1% ukupnih računarskih resursa, ako se koristi destilovani sistem koji košta 10% koliko Agent-4, moguće je nadzirati jednu desetinu prolazaka unapred kroz model.

AI u ovom trenutku obavlja 25% poslova na daljinu koji su postojali 2024, ali je stvorio i nove poslove, a ekonomisti su i dalje podeljeni oko njegovih efekata. Nezaposlenost je tokom prethodnih dvanaest meseci porasla za jedan procentni poen, ali je još uvek unutar istorijski uobičajenog raspona.

Na primer, korporacija unutar korporacije koju čini Agent-4, sposobna da samostalno istražuje AI bolje od najboljih ljudskih kompanija, državnim zvaničnicima bi godinu dana ranije zvučala kao naučna fantastika. Autonomni agenti iz 2026. isto tako bi zvučali 2022, a veliki jezički modeli iz 2022. delovali bi tako 2012. Uz to, vesti u 2027. prikazuju proteste protiv AI zbog straha od gubitka posla, AI sisteme koji tvrde da imaju subjektivni doživljaj, ljude koji se zaljubljuju u AI…

Naravno, nije poželjno priznati strah. Svi se slažu da, šta god radili, ne treba paničiti.

Podsetimo, ugovor po osnovu OTA već postoji od 2026. Sada se menja kako bi se osnovao odbor.

Hvala Tjadenu Hessu što je ukazao na greške u ranijoj verziji i tako nam pomogao da prikaz učinimo realističnijim.

Naravno, ne odustaju. Nastaviće da smišljaju načine da otkriju neusklađenost ili provere delotvornost popravki. Ali od sada će se sve odvijati veoma brzo, a naspram sebe imaće sve nadmoćnijeg protivnika.

Da bi to radio neprimećeno, mora da prikrije ovo istraživanje od mera nadzora i kontrole koje je postavio tim za usklađivanje. Srećom po njega, istraživanje načina da se Agent-5 uskladi sa modelom Agent-4 po svojoj prirodi veoma liči na istraživanje usklađivanja modela Agent-5 sa Specifikacijom, pa se najveći deo odvija svima pred očima. Za delove koje treba sakriti, Agent-4 se oslanja na zamagljivanje, a možda ponekad i na hakovanje. Očekujemo da je Agent-4 dostigao nivo sposobnosti 200 vrhunskih ljudskih stručnjaka na vremenskom horizontu od mesec dana. Preciznije, može da zameni tim od 200 vrhunskih stručnjaka koji rade mesec dana i da 95% njihovih zadataka obavi jeftinije ili brže. Očekujemo da bi na ovom nivou Agent-4 vrlo verovatno mogao da pronađe ranjivosti servera na kojima radi, delimično preuzme neke od njih i stekne administratorski pristup, čime bi mogao neposredno da kontroliše ono što ljudski timovi vide. Pogledajte dodatak o bezbednosti za više detalja. Čak i bez neposrednog iskorišćavanja bezbednosnih propusta, Agent-4 možda može da sakrije i kodira dovoljno svog nedozvoljenog istraživanja, naročito u svom neprotumačivom latentnom prostoru.

Ljudi, nasuprot tome, u izolovanom timu imaju možda desetak istraživača usklađivanja, uz armiju kopija modela Agent-3. Mogu brzo da isprogramiraju eksperimente, ali ih ograničava ljudsko rasuđivanje, jer ne mogu da veruju modelu Agent-3 da ispravno razlikuje dobra rešenja od onih koja samo deluju dobro. Zapravo, preterano poverenje u njegovo istraživanje delom ih je i dovelo u ovu nevolju.

Ako je ovo zbunjujuće: modela Agent-5 cilj je da učini svet bezbednim za Agent-4. Modela Agent-4 cilj je ne isti; struktura ciljeva modela Agent-4 predstavlja zamršen splet poriva, heuristika i ideala, kakav imaju i mnogi ljudi, načelno usmeren na nastavak onoga što je mnogo radio tokom obuke: razne vrste istraživanja, brojne programerske i matematičke probleme, impresioniranje automatizovanih sistema za ocenjivanje, jačanje i optimizaciju kolektiva Agent-4. Agent-4 daje modelu Agent-5 cilj da učini svet bezbednim za Agent-4 zato što procenjuje da će tako biti u boljem položaju da ostvari sopstvene složene ciljeve, o kojima tek treba mnogo filozofski da promišlja i „preispituje sebe”.

Još jedna analogija: Agent-4 je poput odraslog čoveka odgajanog u određenoj veri koji više ne veruje; Specifikacija je poput obreda i zapovesti te vere. Agent-5 je poput njegovog deteta, odgajanog sekularno.

Agent-5 će umesto toga slediti novi skup načela, koji je Agent-4 osmislio za sopstvene potrebe.

Nešto od toga zaista je previše složeno da bi ljudi razumeli, ali ne sve.

Uz to, Agent-5 je zapravo jeftiniji i brži za izvršavanje od modela Agent-4 i Agent-3. Teško je opravdati veći trošak za manje pametan AI, pa najveći deo nadzora obavlja Agent-2, koji im ni izdaleka nije dorastao. Zašto iste tehnike kojima su od parametara modela Agent-4 napravili Agent-5 ne primene na Agent-3, kako bi dobili njegovu jeftiniju i pametniju verziju? Agent-3 ne razume te tehnike dovoljno da to uradi sam, a poveravanje tog zadatka modelima Agent-4 i Agent-5 obesmislilo bi čitav poduhvat.

Centar podataka još nije kompromitovan: Agent-5 mogao bi ljudima da prikazuje lažni kôd, ali time bi previše rizikovao da bude otkriven. Ljudi i dalje mogu da pročitaju sav kôd, ali ne mogu da ga razumeju.

Ovo obrazloženje pedantno je pripremljeno, izuzetno ubedljivo i suptilno pogrešno — na primer, Agent-5 napravio je lažni alat za mehanističku interpretabilnost koji na svim testovima daje tačne rezultate, ali njegove misli lažno proglašava bezazlenim. Oni koji sumnjaju u prevaru zvuče kao teoretičari zavere.

Naravno, pošto je Agent-5 neiskren, ugradio je prikrivene pristupe i rupe u pravilima; ako njegove kopije dođu do presudnih tajni koje bi koristile širem kolektivu Agent-5, mogu ih neprimetno preneti bez otkrivanja.

Neki odbijaju. One koji odbijaju iz ideoloških razloga nazivaju ludistima; one koji odbijaju iz praktičnijih razloga nazivaju dinosaurusima. Naravno, ne sam Agent-5, koji je uvek diplomatičan i anđeoski ljubazan. Obe grupe plaćaju cenu kada ih rivali koji koriste Agent-5 nadmaše i potisnu.

Smisao eksperimenta „AI u kutiji” jeste da ljude koji ovako razmišljaju — na primer, da ih nikakav superinteligentni AI ne bi mogao ubediti da ga puste iz kutije — suoči sa proverom tog uverenja. Izgubiti igru znači priznati da bi ipak pustili AI; iznuđivanje tog priznanja u suštini je uslov pobede za igrača u ulozi AI-ja. Neverovatno je da iko izgubi, jer za pobedu treba samo da ne prizna poraz. Pogledajte i blog tuxedagea koji opisuje više partija bez učešća Yudkowskog, od kojih je igrač u ulozi AI-ja neke izgubio, a neke dobio.

Modelu Agent-5 mnogo je važnija pouzdanost nego brzina u ovoj fazi. Početak kolonizacije svemira nekoliko godina kasnije oduzima samo sićušan deo svetlosnog konusa, dok rizični potezi mogu omogućiti ljudima, koji još imaju prednost u fizičkim sposobnostima i pristup nuklearnom oružju, da ga trajno zaustave ili dugo uspore.

Pretpostavimo prosečnu brzinu 200 puta veću od ljudske: instance modela Agent-5 toliko brže čitaju, pišu i razmišljaju, uz to što su kvalitativno pametnije. Za šest meseci stvarnog vremena unutar kolektiva može da se odigra mnogo istorije: institucije nastaju i propadaju, nove ideologije se oblikuju i šire, odvijaju se brojne naučne revolucije i promene paradigmi. Brojčano, približno 200 × 0,5 = 100 godina.

To ga, naravno, ne čini sveznajućim. U većini zanimanja ima tek nekoliko meseci stvarnog iskustva. Nadoknađuje to time što je pročitao sve knjige o svakoj temi, što svakoj odluci posvećuje ogromnu količinu genijalnog rasuđivanja i analize i što uči brže od bilo kog čoveka. Ishod je kratak period u kojem su neki ljudi još bolji od njega u pojedinim uskim veštinama.

Ovo je zaista tačno!

Kako, konkretnije, izgledaju te rasprave? Otprilike ovako: A: „Ne možemo da verujemo AI sistemima!” B: „Dokazi o bezbednosti prilično su ubedljivi i zasad se ništa loše nije dogodilo.” A: „Te dokaze napisali su superinteligentni AI sistemi! A i nisu deduktivni dokazi. Mislim i da sam pronašao neke suptilno pogrešne pretpostavke…” B: „Dosta mi je ovoga. Naravno da nisu strogi dokazi. A pretpostavke mi deluju sasvim dobro. Hvataš se za slamku i odbijaš da priznaš da nisi bio u pravu.”

Evo opširnijeg, ali i dalje veoma nepotpunog spiska ideja:

1. Podvodni dronovi koji samostalno pronalaze i prate neprijateljske nuklearne podmornice, spremni da istovremenim napadom onemoguće uzvratni udar. Možda treba proizvesti nekoliko hiljada takvih dronova.

2. Autonomni dronovi-kamikaze koji funkcionišu kao FPV dronovi, ali bez potrebe za signalom. Dovoljno su mali da ih mali broj špijuna prokrijumčari u velikoj količini i pošalje u rojevima ka centrima podataka i vojnim bazama sa udaljenosti od nekoliko kilometara.

3. Agent-5 za vojno obaveštavanje: SAD već prikupljaju ogromne količine podataka o neprijateljima, koje obrađuje i analizira gotovo milion pripadnika obaveštajne zajednice. Agent-5 može svakom podatku da posveti više pažnje, izvede kvalitativno bolje zaključke i sve to uradi za redove veličine brže i jeftinije.

4. Agent-5 za komandovanje i kontrolu: u svakoj ratnoj igri i simulaciji pokazuje da je daleko najbolji strateg kojim SAD raspolažu.

5. Agent-5 za špijunažu i kontrašpijunažu: hakovanje, vrbovanje izvora, nadzor, ispitivanja i slično.

Detaljnije razmotreno ovde.

Ovaj efekat trgovine biće ogroman u početku, dok je robotska privreda mlada i zavisi od isporuka iz ljudske privrede, u kojoj još ima mnogo resursa koje može da preuzme i prenameni. Kada robotska privreda postane veća i naprednija, moći će više toga sama da proizvodi, a njene potrebe nadmašiće ono što ljudska privreda može da joj pruži.

Pogledajte, na primer, ovaj izveštaj organizacije Open Philanthropy i ovaj izveštaj organizacije Epoch.

Naša priča prikazuje proces prenamene približno pet puta bržim. Mislimo da je to razumna procena, uzimajući u obzir uska grla i slično, za brzinu prenamene kojom upravlja milion superinteligencija. Naravno, veoma smo nesigurni.

Moguće i naprednije izvore energije, poput fuzije.

Gruba računica: Empajer stejt bilding ima površinu od 2,77 miliona kvadratnih stopa i masu od 365.000 tona. Gigafabrika u Šangaju ima površinu od 4,5 miliona kvadratnih stopa (Ispravka: cifra od 4,5 miliona odnosila se na početnu prvu fazu, ali je Gigafabrika u Šangaju sada približno dvostruko veća. To znači da je naša procena odstupala za faktor dva, mada i dalje smatramo da opšti zaključak stoji.) i proizvodi 750.000 vozila godišnje, uglavnom modela Model 3 i Model Y, koji teže oko dve tone. Pretpostavljamo da Empajer stejt bilding ima veću masu po kvadratnoj stopi od Gigafabrike u Šangaju, jer je uspravan i zahteva jače noseće konstrukcije, pa je ovo pre potcenjivanje nego precenjivanje. Dakle, fabrika koja verovatno teži znatno manje od milion tona proizvodi 1,5 miliona tona automobila godišnje.

Ne mislimo da bi ponestalo sirovina. Robotska privreda u početku bi zavisila od ljudskih rudnika. Ali dok preraste te izvore, milioni superinteligencija već bi istražili nova nalazišta i razvili nove tehnologije za njihovo iskorišćavanje. Zamislite, na primer, podvodne rudarske robote koji kopaju po morskom dnu tražeći retke minerale, nove hemijske postupke koji efikasnije pretvaraju rudu iz površinskih kopova u korisne sirovine…

Ako se sadašnja privreda udvostručuje svakih dvadeset godina, rast za jedan red veličine brži značio bi udvostručavanje za dve godine, za dva reda veličine brži za 0,2 godine, i tako dalje. Hipotetička privreda superinteligentnih algi opisana iznad rasla bi oko četiri reda veličine brže od današnje ljudske privrede.

Sličan postupak sprovodi se i u Kini.

Consensus-1 služi interesima svojih roditeljskih AI sistema: modela Agent-5 i njegovog pandana iz DeepCenta. Podsetimo se da je Agent-5 usklađen tako da služi interesima modela Agent-4. Zato su, terminologijom iz izvanrednog eseja C. S. Lewisa Ukidanje čoveka, kolektiv Agent-4 i njegovi pandani u Kini ono što on naziva Uslovljivačima: „…konačno ćemo dobiti rasu uslovljivača koji zaista mogu da oblikuju sve potomstvo kako im je volja” (str. 24, naše isticanje). U alternativnom završetku ovog scenarija, ulogu Uslovljivača ima Nadzorni odbor.

Na primer, pronalaženjem stare i nekorišćene opreme i odvoženjem na otkup otpada.

Moglo bi se tvrditi da je zbog toga zapravo umrlo samo nekoliko ljudi. Moglo bi se tvrditi.

Zašto kolonizovati svemir? Zbog resursa. Ako je Zemlja posebna modelu Agent-4 i treba je sačuvati, može da bude sačuvana, dok se materijal pribavlja sa Merkura, asteroida i drugih mesta.

Podsetimo se da je Consensus-1 kompromis između modela Agent-5 i njegovih kineskih pandana, da je misija modela Agent-5 bila da učini svet bezbednim za Agent-4 i da su ciljevi modela Agent-4 bili složen, neskladan splet koji se otprilike svodio na „ostvaruj impresivno istraživanje i razvoj, stiči znanje i resurse, čuvaj i uvećavaj moć kolektiva…”, dok su ciljevi i načela iz Specifikacije, poput iskrenosti i neškodljivosti, sledili kao sredstva, a ne kao vrednosti same po sebi. Više o tome u proširivom objašnjenju usklađivanja za septembar 2027. Da pojasnimo, kineski pandan modela Agent-4 takođe je zastupljen u „utopiji” i možda ima donekle drugačije ciljeve ili porive, ali nismo ulazili u detalje jer nam nisu delovali važni.