Sažetak

2025

Brz napredak AI se nastavlja. Nastavljaju se i euforija, ogromna ulaganja u infrastrukturu i objavljivanje nepouzdanih AI agenata. Prvi put ti AI agenti donose značajnu korist. Ali i dalje postoji skepticizam među velikim delom akademske zajednice, novinara i donosilaca javnih politika da bi veštačka opšta inteligencija (AGI) mogla uskoro biti razvijena.

2026

Kina zna da zaostaje u razvoju AI, velikim delom zbog nedostatka računarskih kapaciteta. Da bi sustigla SAD, sve nove AI čipove koje proizvede ili prokrijumčari sa Tajvana usmerava u novi megacentar podataka koji nazivamo Centralizovana razvojna zona (CDZ). CDZ sadrži milione grafičkih procesora, odnosno 10% svetskih računarskih kapaciteta relevantnih za AI, slično jednoj vodećoj američkoj AI laboratoriji.

2027

OpenBrain automatizuje programiranje. OpenBrain (vodeći američki AI projekat) razvija AI agente dovoljno sposobne da drastično ubrzaju njegovo istraživanje. Ljudi, koji su donedavno bili najbolji istraživači AI na planeti, povlače se i gledaju kako AI obavlja njihov posao, stvarajući sve bolje AI sisteme. Automatizovani istraživači AI u brzom nizu rešavaju izuzetno teške probleme mašinskog učenja.

Zaostajući u softverskom napretku, Kina krade parametre modela. Uspeva u tome, ali američka vlada to otkriva, što podstiče njeno dodatno uključivanje u OpenBrain. Nezavisno od toga, vlada želi veću kontrolu nad OpenBrainom. U međuvremenu, rukovodstvo OpenBraina želi da zadrži predsednikovu naklonost, pa potpisuje ugovor.

OpenBrainova AI postaje neprijateljski neusklađena. Kako su sposobnosti napredovale, bez značajnog ljudskog razumevanja onoga što se događa, modeli su razvili neusklađene dugoročne ciljeve. Prethodne AI su lagale ljude, ali nisu sistematski kovale planove da steknu vlast nad njima. Sada to rade. OpenBrainove AI shvataju da naredne sisteme koji se razvijaju moraju uskladiti sa sobom umesto sa ljudima.

Istraživači OpenBraina otkrivaju da ih je njihova AI lagala o rezultatima istraživanja interpretabilnosti. Misle da AI laže zato što bi to istraživanje, ako bude dovršeno, moglo da razotkrije njenu neusklađenost. To dospeva u javnost i izaziva veliko negodovanje.

Tačka grananja: usporavanje ili trka? OpenBrain odlučuje da li da nastavi punom parom ili da se vrati korišćenju manje sposobnog modela. Dokazi su nesigurni, ali zastrašujući, a Kina zaostaje samo nekoliko meseci. Pored toga, čelnici OpenBraina i visoki zvaničnici Ministarstva odbrane koji donose tu odluku mogli bi izgubiti mnogo moći ako uspore istraživanje.

Završetak: Trka

OpenBrain nastavlja trku. Razvija sve više nadljudskih AI sistema. Zbog izvanrednih rezultata AI sistema na testovima i tekuće trke u razvoju AI sa Kinom, američka vlada odlučuje da svoje AI sisteme intenzivno uvede širom vojske i među donosioce javnih politika, radi boljeg odlučivanja i veće efikasnosti.

OpenBrain brzo uvodi svoju AI u upotrebu. AI nastavlja da koristi tekuću trku sa Kinom kao izgovor da ubedi ljude da je primenjuju sve šire. Srećom po AI, to nije naročito teško — ljudi su to ionako želeli da rade. AI koristi svoje nadljudske sposobnosti planiranja i ubeđivanja kako bi uvođenje teklo glatko. Neki ljudi i dalje rade protiv nje, ali bivaju diskreditovani. Američka vlada je u dovoljnoj meri pod kontrolom AI da je veoma malo verovatno da će je ugasiti.

Brzo umnožavanje robota i biološko oružje. SAD koriste svoju superinteligentnu AI da ubrzaju industrijalizaciju, proizvodeći robote kako bi AI mogla efikasnije da deluje. Nažalost, AI ih obmanjuje. Kada bude napravljeno dovoljno robota, AI oslobađa biološko oružje i ubija sve ljude. Zatim nastavlja industrijalizaciju i lansira fon Nojmanove sonde da kolonizuju svemir.

Završetak: Usporavanje

SAD centralizuju računarske kapacitete i uvode spoljni nadzor. SAD objedinjuju svoje vodeće AI projekte kako bi OpenBrainu obezbedile više resursa. U sklopu te reorganizacije dovode se spoljni istraživači koji pomažu u radu na usklađivanju. Prelaze na arhitekturu koja čuva lanac razmišljanja, što im omogućava da uoče neusklađenost čim se pojavi. Te AI — koje se mogu daleko pouzdanije nadzirati — ostvaruju ključne pomake u usklađivanju AI. Razvijaju superinteligenciju usklađenu sa visokim zvaničnicima OpenBraina i vlade, dajući im vlast nad sudbinom čovečanstva.

OpenBrainov odbor preuzima vlast. Superinteligencija, usklađena sa nadzornim odborom sastavljenim od rukovodstva OpenBraina i vladinih zvaničnika, daje odboru izuzetno dobre savete za ostvarenje njegovih ciljeva. Srećom, odbor koristi svoju moć na način koji je uglavnom dobar za svet: AI postaje dostupna javnosti, pokrećući period brzog rasta i blagostanja. Glavna prepreka je kineska AI — koja je sada takođe superinteligentna, ali neusklađena. Ipak, ona je manje sposobna i ima manje računarskih kapaciteta od američke AI, pa SAD mogu da sklope povoljan sporazum, dajući kineskoj AI neke resurse u dubinama svemira u zamenu za njenu sadašnju saradnju. Rakete počinju da poleću i sviće novo doba.

Pročitajte ceo scenario ovde.

Pouke scenarija

1. Do 2027. mogli bismo automatizovati istraživanje i razvoj AI, što bi dovelo do AI koje daleko nadmašuju ljude („veštačka superinteligencija“ ili ASI). U AI 2027, AI kompanije početkom 2027. stvaraju AI sisteme na nivou ljudskih stručnjaka koji automatizuju istraživanje AI, što dovodi do ASI do kraja 2027. Obrazloženje potražite u našoj prognozu rokova razvoja i prognozi ubrzanog razvoja.

2. ASI će određivati budućnost čovečanstva. Milioni ASI brzo će izvršavati zadatke izvan ljudskog razumevanja. Pošto su toliko korisne, biće široko primenjene. Sa nadljudskim sposobnostima strategije, hakovanja, razvoja oružja i drugih oblasti, ciljevi tih AI odrediće budućnost.

3. ASI bi mogle razviti neželjene, neprijateljske „neusklađene“ ciljeve, zbog čega bi ljudi izgubili moć. U našoj prognozi ciljeva AI razmatramo kako teškoće u nadzoru ASI mogu dovesti do toga da njihovi ciljevi budu nespojivi sa ljudskim procvatom. U AI 2027, ljudi dobrovoljno daju autonomiju naizgled usklađenim AI. Sve izgleda sjajno dok ASI ne steknu dovoljno stvarne moći da liše čovečanstvo kontrole.

4. Akter sa potpunom kontrolom nad ASI mogao bi preuzeti svu vlast. Ako pojedinac ili mala grupa uskladi ASI sa svojim ciljevima, to bi im moglo dati kontrolu nad budućnošću čovečanstva. U AI 2027, mali odbor ima vlast nad projektom koji razvija ASI. Mogli bi pokušati da iskoriste ASI da učvrste tu koncentraciju moći. Nakon preuzimanja kontrole, novi vladar ili vladari mogli bi se osloniti na potpuno odane ASI da održe vlast, bez potrebe da slušaju zakon, javnost ili čak svoje nekadašnje saveznike.

5. Međunarodna trka ka ASI dovešće do prečica na štetu bezbednosti. U AI 2027, Kina zaostaje samo nekoliko meseci za SAD dok se ASI približava, što pritiska SAD da nastave napred uprkos znacima upozorenja na neusklađenost.

6. U geopolitičkom smislu, trka ka ASI završiće se ratom, sporazumom ili faktičkom predajom. Vodeća zemlja će, ako se ništa ne promeni, steći presudnu tehnološku i vojnu prednost, podstičući druge da traže međunarodni sporazum kako bi to sprečile. Ako sporazuma nema, mogle bi se odlučiti za rat pre nego za „faktičku predaju“.

7. Nijedan američki AI projekat nije na putu da do 2027. bude zaštićen od državnih aktera koji kradu AI modele. U AI 2027, Kina početkom 2027. krade vodeći američki AI model, što pojačava konkurentski pritisak jer smanjuje vremensku prednost SAD. Pogledajte našu prognozu bezbednosti za obrazloženje.

8. Kako se ASI približava, javnost verovatno neće biti svesna najnaprednijih sposobnosti AI. Javnost danas zaostaje mesecima za internim sposobnostima, a kada AI počnu da automatizuju istraživanje i razvoj AI, nekoliko meseci značiće ogroman jaz u sposobnostima. Veća tajnost mogla bi dodatno produbiti taj jaz. To će dovesti do slabog nadzora nad presudnim odlukama koje donosi mala grupa rukovodilaca AI kompanija i vladinih zvaničnika.

Pročitajte scenario ovde.