Prognoza ubrzanog razvoja AI

Daniel Kokotajlo, Eli Lifland | april 2025.

ai-2027.comPregled naše prognoze ubrzanog razvoja AI, uz pretpostavku da se računarski kapacitet za obuku ne povećava. Medijana naše prognoze vremena od dostizanja prekretnice nadljudskog programera (u martu 2027) do veštačke superinteligencije iznosi oko godinu dana, uz široke granice neizvesnosti.

Sažetak

Ažuriranje od 31. decembra 2025: objavili smo prerađen model rokova i ubrzanog razvoja AI na aifuturesmodel.com.

U našoj prognozu rokova razvojaprognoziramo vreme od sadašnjeg trenutka do nadljudski programer (SC): AI sistem koji može da obavlja sve programerske zadatke koje obavlja najbolji inženjer kompanije koja razvija AGI, ali mnogo brže i jeftinije. U ovoj prognozi pretpostavljamo da je SC dostignut u martu 2027, kada je dostignut i u naš scenario.

Sada ćemo prognozirati ubrzani razvoj AI: vreme između pojave nadljudskog programera i izrazito nadljudskih sposobnosti. Nadljudski programeri i napredniji sistemi automatizovaće veliki deo istraživanja i razvoja AI potrebnog da se premosti ovaj jaz.

Naša metodologija usredsređena je na predviđanje izvodljivosti i brzine eksplozije inteligencije pokretane softverom, u kojoj se sposobnosti AI drastično poboljšavaju tokom meseci ili godina, prvenstveno efikasnijim korišćenjem računarskih kapaciteta (poboljšanim softverom), a ne većim kapacitetima za obuku ili izvršavanje modela. Najpre navodimo niz prekretnica u sposobnostima AI, sa naglaskom na sposobnostima istraživanja i razvoja AI, iako mislimo da će se unapređivati i opšte sposobnosti. Zatim, za svaki razmak između prekretnica A i B:

1. Potrebno vreme samo uz rad ljudi: Prognoziramo raspodelu vremena potrebnog da se pređe od A do B kada samo ljudi rade na poboljšanju softvera.

2. Ubrzanje istraživanja i razvoja AI: Prognoziramo koliko će automatizacija istraživanja i razvoja AI pri svakoj od prekretnica A i B ubrzati napredak, a zatim pokrećemo simulaciju u kojoj se ubrzanje tokom vremena interpolira između tih vrednosti, kako bismo dobili prognoziranu raspodelu kalendarskog vremena između A i B ( Multiplikator napretka istraživanja i razvoja AI).

Naše prognoze pod uslovom da se SC dostigne u martu 2027. sažete su u grafikonima i tabeli ispod. Podrazumevaju da se računarski kapacitet za obuku ne povećava.

ai-2027.com

U nastavku:

1. Opisujemo našu metodologiju prognoziranja ubrzanog razvoja AI.

2. Preciznije definišemo navedene prekretnice i Multiplikator napretka istraživanja i razvoja AI.

3. Za svaku prekretnicu procenjujemo odgovarajući multiplikator napretka i vreme potrebno da se od nje dođe do sledeće prekretnice samo uz rad ljudi i poboljšanja softvera (linkovi u gornjoj tabeli).

4. Razmatramo moguće prigovore.

Kôd naše simulacije nalazi se ovde.

Napomena dodata u decembru 2025: ova prognoza u velikoj meri počiva na intuitivnoj proceni i veoma je neizvesna. Nažalost, smatramo da je uključivanje intuitivne procene neophodno za prognoziranje brzine ubrzanog razvoja AI, jer jednostavno nema dovoljno dokaza za pouzdanu ekstrapolaciju.

Metodologija

Pregled

Usredsređeni smo na predviđanje moguće eksplozije inteligencije pokretane softverom, u kojoj se sposobnosti AI drastično poboljšavaju tokom meseci ili godina, prvenstveno efikasnijim korišćenjem računarskih kapaciteta (poboljšanim softverom), a ne većim kapacitetima za obuku.

Najpre navodimo niz prekretnica u sposobnostima AI (preciznije definicije su ispod):

1. Nadljudski programer (SC): AI sistem koji može da obavlja posao najboljeg ljudskog programera na zadacima istraživanja AI, ali brže i dovoljno jeftino da se pokrene mnogo njegovih kopija.

2. Nadljudski istraživač AI (SAR): AI sistem koji može da obavlja posao najboljeg ljudskog istraživača AI, ali brže i dovoljno jeftino da može da radi mnogo njegovih kopija.

3. Superinteligentni istraživač AI (SIAR): AI sistem daleko bolji od najboljih ljudskih istraživača AI. Jaz između SAR i SIAR dvostruko je veći od jaza između automatizovanog istraživača na medijani kompanije koja razvija AGI i SAR.

4. Veštačka superinteligencija (ASI): AI sistem daleko bolji od najboljeg čoveka u svakom kognitivnom zadatku.

Zatim, za svaki razmak između prekretnica A i B:

1. Potrebno vreme samo uz rad ljudi: Prognoziramo raspodelu vremena potrebnog da se pređe od A do B kada samo ljudi rade na poboljšanju softvera.

2. Ubrzanje istraživanja i razvoja AI: Prognoziramo koliko će automatizacija istraživanja i razvoja AI pri svakoj od prekretnica A i B ubrzati napredak, a zatim pokrećemo simulaciju u kojoj se multiplikator tokom vremena interpolira između tih vrednosti, kako bismo dobili prognoziranu raspodelu kalendarskog vremena između A i B ( Multiplikator napretka istraživanja i razvoja AI).

Fokus na poboljšanjima softvera

Napredak u AI delimo na hardver: koliko se računarske snage koristi i softver: algoritme i podatke koji računarske kapacitete pretvaraju u sposobnije AI sisteme.

U ovom tekstu prvenstveno se bavimo mogućom eksplozije inteligencije pokretane softverom, u kojoj se sposobnosti AI drastično poboljšavaju tokom meseci ili godina, prvenstveno efikasnijim korišćenjem računarskih kapaciteta (poboljšanim softverom), a ne većim kapacitetima za obuku. Ovaj izveštaj opširno razmatra mogućnost eksplozije inteligencije pokretane softverom. Fokusiramo se na softver zato što su povratne sprege snažnije: poboljšani algoritmi mogu gotovo odmah da se primene za obuku boljih AI sistema, dok je za proizvodnju unapređenih hardverskih rešenja u velikom obimu potrebno dosta vremena (uz metode nalik današnjim).

Definicije prekretnica

U nastavku predstavljamo prekretnice u sposobnostima AI koje smo odabrali da predviđamo.

Prognoza samo uz rad ljudi i poboljšanja softvera

Zamislimo scenario u kome polazimo od SC, a čovečanstvo treba da stvori SAR bez mogućnosti da koristi SC za ubrzavanje istraživanja. Takođe koristi nepromenljivu količinu hardvera i ne može da obuči sistem uz više ukupnih FLOP operacija nego što je upotrebljeno za obuku SC. Broj ljudskih istraživača je nepromenljiv. Za više detalja o ovom scenariju pogledajte pojašnjenja uslova bez AI ispod.

Vremenom će se suočiti sa opadajućim prinosima, što nastojimo da uzmemo u obzir u prognozama.

Naša metodologija obuhvata prognoziranje vremena potrebnog da ljudski istraživači pređu od SC do SAR u opisanom scenariju, kao i odgovarajućeg vremena za naredne prelaze između prekretnica. To radimo kombinovanjem razmišljanja o pojedinostima skokova u sposobnostima i izričitog uračunavanja opadajućih prinosa (u prognozi SC→SAR ne uračunavamo opadajuće prinose izričito, već nastojimo da ih obuhvatimo posredno, kroz intuitivne procene potrebnog vremena).

Uračunavanje automatizacije istraživanja i razvoja AI: multiplikator napretka

Pregled

Ukratko, multiplikator napretka istraživanja i razvoja AI pokazuje koliko se brže unapređuje AI softver uz korišćenje AI nego bez njega.

Da bismo ovaj multiplikator uključili u prognozu, najpre prognoziramo njegovu vrednost pri svakoj od prekretnica A i B, a zatim pokrećemo simulaciju u kojoj se multiplikator tokom vremena interpolira između tih vrednosti, kako bismo dobili prognoziranu raspodelu kalendarskog vremena između A i B.

Naše prognoze multiplikatora napretka zasnivaju se na razmišljanju o uticaju AI na istraživački proces i anketama među istraživačima AI.

Definicija multiplikatora napretka istraživanja i razvoja AI

Ukratko, multiplikator napretka istraživanja i razvoja AI pokazuje koliko se brže unapređuje AI softver uz korišćenje AI nego bez njega.

Potpunije rečeno, razmotrimo sledeće uslove:

1. Sa AI: Vodeći projekat razvoja AGI napreduje uobičajeno, koristeći AI za ubrzavanje algoritamskog napretka.

2. Bez AI: Vodećem projektu razvoja AGI nije dozvoljeno da koristi AI za ubrzavanje algoritamskog napretka (pri čemu algoritamski napredak znači sve uspešnije pretvaranje računarskih kapaciteta u sposobnosti).

Nijednom projektu nije dozvoljeno značajno povećavanje računarskih kapaciteta. Koliko bi se brže sposobnosti istraživanja i razvoja AI unapređivale u slučaju (1) nego u slučaju (2)? Drugim rečima, za koju vrednost N bi produktivnost algoritamskog napretka vaše kompanije bila jednaka između (a) N nedelja bez AI sistema nastalih posle 2024. koji ubrzavaju algoritamski napredak i (b) jedne nedelje uz takve AI sisteme? Na primer, ako je N jednako 5, pet nedelja napretka bez AI odgovara jednoj nedelji napretka sa AI, pa AI povećava produktivnost pet puta.

Za pojašnjenja detalja definicije multiplikatora napretka pogledajte dodatak.

Od SC do SAR

Pregled

Pretpostavljamo da je nadljudski programer dostignut u martu 2027. Koliko bi vremena prošlo do dostizanja nadljudskog istraživača AI (SAR) : AI agenata veštih kao najbolji ljudski istraživači, koji zadatke obavljaju 30 puta brže i kojih ima 30 puta više?

Naš pristup biće sledeći (kao što je opisano iznad):

1. Prognozirati vreme potrebno za prelazak od SC do SAR kada bi samo ljudi radili na istraživanju i razvoju AI, uz nepromenljivu količinu hardvera (ovde).

2. Prognozirati koliko bi posedovanje SC i SAR to ubrzalo (ovde i ovde).

3. Objediniti prethodne procene, uzimajući u obzir ubrzanja između prekretnica, kako bismo dobili prognozu vremena između SC i SAR.

Pregled rezultata:

Vreme od SC do SAR samo uz rad ljudi

Koliko bi trajao prelazak od SC do SAR kada bi samo ljudi radili na istraživanju i razvoju AI i kada se računarski kapacitet za obuku ne bi povećavao? Evo naše prognoze, kroz raščlanjivanje onoga što bi moglo biti potrebno za taj prelazak:

Slučaj 1: prvi SC već jeste SAR (15%)

Neki razlozi zbog kojih bi to moglo biti tako:

• Moravekov paradoks i opšta nemogućnost da pogodimo koje će se veštine pokazati težim od drugih.

• Uverljivo objašnjenje br. 1: možda je SAR dovoljno blizu SC da generalizacija i prenos učenja rešavaju ostatak.

• Uverljivo objašnjenje br. 2: skupovi veština SC i SAR obuhvataju iste sposobnosti samostalnog delovanja, ali se razlikuju po znanju i razumevanju sveta. Na primer, razlika između odličnog inženjera i odličnog naučnika jeste u onome što znaju i razumeju, a ne, recimo, u opštim heuristikama za uočavanje zastoja, pravljenje planova i slično.

Ako važi slučaj 1, vreme od SC do SAR iznosi 0 godina.

Slučaj 2: prvi SC nije SAR zato što mu okruženja za obuku ne prenose potrebne veštine (55%)

U ovom slučaju najkraći put do SAR verovatno bi podrazumevao programiranje novih i poboljšanih okruženja za obuku koja razvijaju te veštine. Na primer, nova okruženja možda obuhvataju upravljanje istraživačkim timom SC agenata sa zadacima kao što su „reprodukuj ovaj rad”, „unapredi ovaj najbolji postojeći rezultat”, „predvidi rezultate ovog eksperimenta pre njegovog pokretanja” i „ako se tvoji podaci za obuku završavaju pre šest meseci, predvidi najperspektivnije istraživačke proboje iz poslednjih šest meseci”.

Međutim, za takve zadatke deluje veoma teško obezbediti pouzdane tačne odgovore, što bi moglo biti ogromna konceptualna prepreka za izgradnju odgovarajućeg okruženja za obuku. Ipak, to ne važi za sve zadatke, a u tom trenutku već imamo SC. I za mnoge zadatke SC veoma je teško pribaviti pouzdane referentne podatke, npr. „napiši bezbedan, uredan kôd koji verno ostvaruje nameru naučnika koji vodi projekat”. Možda će ono što je uspelo za SC, uz malo dodatnog prilagođavanja, uspeti i za SAR. Ako ne, prelazimo na slučaj 3. ispod.

Podslučaj A: obuka nedostajućih veština SAR ne zahteva više računarskih kapaciteta nego SC (25%)

Okruženja za obuku nedostajućih veština SAR sama po sebi ne zahtevaju više računarskih kapaciteta nego što je bilo potrebno za obuku SC. U ovom slučaju usko grlo je projektovanje, izgradnja i testiranje novih okruženja za obuku.

Ako posao obavljaju ljudski inženjeri, procenjujemo da bi bile potrebne 1–4 godine.

Podslučaj B: obuka nedostajućih veština SAR zahtevala bi više računarskih kapaciteta nego SC bez daljeg algoritamskog napretka (30%)

U ovom slučaju okruženja potrebna za obuku SAR zahtevala bi znatno povećanje potrošnje računarskih kapaciteta. Zato bi prekretnica SAR bila dostignuta posle određenog povećanja „efektivnih računarskih kapaciteta”, pri kome algoritamski napredak smanjuje potrebne kapacitete, npr. efikasnijim arhitekturama, efikasnijim algoritmima učenja potkrepljivanjem, sofisticiranijim okruženjima za obuku i slično.

Ako posao obavljaju ljudski inženjeri, procenjujemo da bi bile potrebne otprilike 2–15 godina.

Slučaj 3 (30%): premošćavanje jaza između SC i SAR naučni je, a ne inženjerski problem

Konačno, moguće je da prvi SC nije SAR zbog nekog drugog ograničenja (npr. koristi arhitekturu i algoritam učenja potkrepljivanjem koji ne uče efikasno iz podataka ili zahtevaju signal obuke zasnovan na tačnim odgovorima). U slučaju 3 premošćavanje jaza između SC i SAR naučni je problem, a ne samo inženjerski, na primer:

• Istraživačko inženjerstvo ne zahteva efikasno učenje iz podataka, ali rad naučnog istraživača zahteva; možda je ta efikasnost više svojstvo arhitekture i algoritma učenja potkrepljivanjem nego samog modela ili okruženja za obuku.

• Lakše je vrednovati programerske zadatke (prolazi li kôd sve testove?) nego istraživačke zadatke (doprinosi li ovo istraživanje značajno oblasti?). Možda je ta razlika toliko duboka i velika da će za njeno premošćavanje biti potrebno izumeti nove metode.

U celini, pretpostavljamo da je reč o ograničenju za čije bi prevazilaženje bile potrebne godine, ali ne decenije; pogledajte napredak u prethodnoj deceniji i koliko je sličnih prepreka prevaziđeno. Na primer, u istoriji AI sistema koji uče igre potkrepljivanjem, od AlphaGo do EfficientZero stigli smo za otprilike jednu deceniju.

Podsetimo, pretpostavljamo da je SC dostignut u martu 2027. Smatramo da bi većina mogućih prepreka koje bi onemogućile SAR u 2027. takođe onemogućila SC u 2027.

Zato u ovom slučaju procenjujemo da bi, uz ljudski rad na istraživanju i razvoju AI, bilo potrebno oko 2–15 godina.

SC bi ubrzao istraživanje i razvoj AI oko 5 puta

Podsetimo, nadljudski programer (SC) definiše se ovako:

Proces istraživanja i razvoja AI softvera okvirno posmatramo kao dve vrste aktivnosti:

1. Izbor eksperimenata: Osmišljavanje i određivanje prioriteta eksperimentalnih ideja, tumačenje implikacija rezultata eksperimenata.

2. Sprovođenje eksperimenata: Programiranje, pokretanje i praćenje eksperimenata.

Smatramo da je sprovođenje eksperimenata lakše automatizovati od njihovog izbora, jer je lakše prikupiti mnogo prirodno nastalih programerskih podataka, a i generisati sintetičke podatke, budući da je programiranje lakše vrednovati od izbora eksperimenata. To potvrđuju današnji AI sistemi, koji više pomažu u programiranju nego u izboru eksperimenata.

Kada govorimo o SC, govorimo o AI sistemima jednako dobrim kao najbolji ljudi u (2) sprovođenju eksperimenata, ali bržim i jeftinijim. U osnovnom slučaju SC ne automatizuje u potpunosti istraživanje i razvoj AI; umesto toga, vrhunski ljudski naučnici na projektu AGI upravljaju velikim timovima AI agenata koji brzo ostvaruju njihovu istraživačku viziju.

Detaljniji model istraživanja i razvoja AI softvera potiče iz izveštaja organizacije Epoch:

Realističnija slika bila bi fraktalna: veliku petlju činile bi manje petlje, i same sastavljene od još manjih. Pri detaljnijem pogledu videli bismo mini-petlje poput „osmisli novu mogućnost koju kôd treba da ima; napiši je; pokreni kôd i proveri da li radi; ponovi…”. Na primer, tipičan mesec mogao bi izgledati ovako:

Većina računarskih kapaciteta projekta angažovana je u velikom novom ciklusu obuke koji je u toku. Ostatak je podeljen među N timova. Svaki od tih timova sprovodi po jedan mali ciklus obuke nedeljno; između njih pojedini članovi tima izvode minijaturne „pripremne cikluse” radi testiranja i otklanjanja grešaka u kodu. Dakle, ideje se najpre testiraju u minijaturnom obimu i ispravljaju, zatim se njihove bolje verzije testiraju u malom obimu, a najperspektivnije preživele ideje dalje se testiraju, još više povećavaju i na kraju uključuju u ciklus obuke. Računarski kapaciteti se uglavnom ne rasipaju: dok jedan tim ili pojedinac piše kôd ili analizira najnovije rezultate, GPU uređaji rade na tuđim eksperimentima.

Kada bi SC postojao i bio uključen u ovaj proces, mogao bi znatno da skrati vreme potrebno za neke zadatke u petlji i tako ubrza ukupan napredak. Uz obilje jeftinog, brzog programerskog rada, pojedinačni istraživački projekat ne mora da se smenjuje između pisanja koda i izvođenja eksperimenata. Umesto toga, deo procesa posvećen pisanju koda toliko se ubrzava da traje zanemarljivo kratko u odnosu na ostale delove. Po definiciji je ubrzan najmanje 30 puta, jer SC u proseku radi 30 puta brže od najboljeg programera, a i više zato što ima 30 puta više kopija SC nego ljudskih programera i zato što su AI sistemi na nivou najboljeg, a ne prosečnog ljudskog programera. Recimo da je ubrzanje oko 100 puta.

Međutim, ovo stostruko ubrzanje programiranja pretvoriće se u mnogo manje od stostrukog ubrzanja ukupnog istraživanja, jer istraživačka petlja obuhvata i čekanje da se eksperimenti izvrše, razgovor i analizu rezultata, razmatranje sledećeg eksperimenta i slično. Naš pretpostavljeni SC to neće mnogo ubrzati, pa će ti delovi procesa postati uska grla.

Kada uzmemo u obzir ta uska grla, koliko će ukupno ubrzanje iznositi? Ne znamo. Ali evo naše trenutne najbolje procene po stavkama:

• Fleksibilno određivanje prioriteta:

  • Kompanija ili istraživački tim obično deli resurse između više paralelnih projekata. Na primer, GPU uređaji mogu istovremeno izvršavati nekoliko eksperimenata ili naizmenično izvršavati eksperiment tima A dok tim B programira, pa eksperiment tima B dok tim A programira.

  • To NIJE zato što su svi projekti jednako vredni i hitni, već zato što usredsređivanje na jedan projekat donosi opadajuće prinose. Ako bi kompanija svom najvrednijem timu, koji radi na najvrednijem projektu, dodelila 100% računarskih kapaciteta umesto samo 20%, to ga ne bi ubrzalo pet puta. Tim bi i dalje morao da troši mnogo vremena na programiranje, tokom kog bi GPU uređaji mirovali ili radili nešto relativno nevažno. Ubrzanje bi možda iznosilo oko 1,5 puta, što ne bi opravdalo cenu za druge timove.

  • Očekujemo, pre svega, da će prinosi od privremenog koncentrisanja računarskih kapaciteta radi snažnog ubrzanja jednog potprojekta opadati sporije kada se dostigne prekretnica SC. Zaista će biti moguće privremeno dati 100% računarskih kapaciteta timu sa najvećim prioritetom i ubrzati ga oko pet puta (ponovo uz pretpostavku da inače dobija 20%). Pošto se programiranje odvija mnogo brže, sledeći eksperiment može da počne ubrzo nakon završetka prethodnog.

  • Procenjujemo da to daje ubrzanje istraživanja od 1,5 do 3 puta.

• Manji eksperimenti kad god je moguće: Pored toga, zahvaljujući SC, svi vaši istraživački projekti tražiće načine da, gde je to moguće, izvode manje eksperimente, jer se uštede računarskih kapaciteta neposredno pretvaraju u brzinu istraživanja.

  • Neke vrste istraživanja zaista zahtevaju mnogo računarskih kapaciteta i gube najveći deo vrednosti ako se izvode jeftinije verzije eksperimenata. Druge ne zahtevaju, pa će biti snažno ubrzane. Organizacija može dodatno da ulaže u istraživanja koja manje zavise od računarskih kapaciteta, poput, recimo, pravljenja veoma složenih pomoćnih struktura za agente.

  • Možda to donosi dodatno ubrzanje od 1,2 do 2 puta koje se množi sa prethodnim?

• Manje rasipanja: Uz SC, istraživački timovi mogu da iskoriste ogromnu količinu inženjerskog rada za manje rasipanje računarskih kapaciteta.

  • Pre svakog eksperimenta, uključujući male, SC može da ga podvrgne adversarijalnom testiranju i proveri greške kako bi smanjio verovatnoću da neka greška pokvari rezultate.

  • Može da prati eksperimente u realnom vremenu, uočava i rešava neke probleme gotovo čim nastanu (nasuprot tome, danas je u vodećim kompanijama uobičajeno da se čak i eksperimenti srednje veličine izvršavaju noću, bez nadzora). Može ranije da zaustavi eksperiment čim postane jasno da je uspeo ili nije uspeo.

  • Može da izvede iste eksperimente uz manje računarskih kapaciteta, npr. zahvaljujući većoj iskorišćenosti.

  • Ukupno bih procenio da to donosi još jedan faktor 1,2 do 2 puta ubrzanja.

• Složeniji eksperimenti: Eksperimenti mogu jednostavno da budu i sofisticiraniji, npr. da istovremeno testiraju više promenljivih ili uklanjaju više mogućih ometajućih faktora. (Zato što brzi, jeftini SC mogu da napišu mnogo više koda i mnogo brže od inženjera iz 2024.)

  • Procena: 1,1 do 1,5 puta ubrzanje

• Nedostatak raznovrsnosti: Čak i kada su SC jednako dobri kao najbolji ljudski inženjeri, svi će biti međusobne kopije, dok se ljudski inženjeri razlikuju. Zato je moguće da će, recimo, povremeno imati slepe tačke — možda manje od bilo kog čoveka, ali ne nula — i da, za razliku od ljudi, neće moći da pozovu kolegu sa svežim pogledom i drugačijom perspektivom da im pomogne. Naravno, i dalje mogu da pozovu ljude… Kao i obično, teško nam je da procenimo koliko bi to usporilo rad, ako uopšte bi. Možda je to „ubrzanje” od 0,8 do 1 puta

Ove četiri procene ubrzanja kombinujemo kroz model u alatu Guesstimate kako bismo dobili ukupno ubrzanje od 5.8x (Interval pouzdanosti od 90%: 3,4 do 10 puta). (Ovo je neizvesnost unutar modela; naša ukupna stvarna neizvesnost je veća.) Još neka prilagođavanja:

• Možda postoje druge korisne primene SC koje nisu navedene, a koje bi zajedno sa prethodnim dodatno ubrzale istraživanje. Na primer, SC bi mogli jeftino i brzo da izgrade bogatija, raznovrsnija i zahtevnija okruženja za obuku, sa bolje oblikovanim nagradama. To ne unapređuje naučno razumevanje, ali neposredno čini obučene modele pametnijim, što takođe treba računati.

• Moguća su i druga uska grla kojih nismo svesni, a vreme utrošeno na razmišljanje, analizu, planiranje i slično moglo bi postati ograničavajuće ranije nego što očekujemo. Ipak, SC bi donekle mogao da pomogne i u tome, ili da delimično ukloni potrebu za tim…

Nekoliko ograničenja ove analize:

• Ne uzimamo u obzir da bi nadljudski programer donekle pomagao i pri izboru eksperimenata, što upućuje na višu vrednost.

• Proširenje ovde korišćenog modela daje neuverljivo visok multiplikator napretka kada se primeni na SAR u nastavku, što upućuje na nižu vrednost.

Prognoziraćemo 5x. Ponavljamo da je ovo samo procena i da bi u stvarnosti moglo biti znatno brže ili sporije.

Od SAR do SIAR

Pregled

Sada smo dostigli nadljudskog istraživača AI, koji ubrzava istraživanje i razvoj AI 25 puta. Koliko bi vremena prošlo do superinteligentnog istraživača AI (SIAR): sistema koji nadmašuje najbolje ljudske istraživače AI u dvostruko većoj meri nego što oni nadmašuju istraživače na medijani kompanije koja razvija AGI, a ujedno je 30 puta brži i brojniji?

Pregled rezultata:

Vreme od SAR do SIAR samo uz rad ljudi

Evo pojednostavljenog modela načina na koji bi ljudski rad na unapređivanju AI algoritama uz nepromenljivu količinu hardvera mogao da poboljša sposobnosti istraživanja i razvoja AI, merene u odnosu na ljudski raspon unutar OpenBrain-a:

1. Raspodela sposobnosti istraživanja i razvoja AI unutar OpenBrain-a lognormalna je u pogledu vrednosti rada, izražene ukupnim razlikama u istraživačkom napretku.

   1. Teško je razmišljati o razlikama u radu i napretku između najslabijih istraživača projekta i medijane. Raspodela možda nije lognormalna, jer postoji svojevrstan prag iznad koga se nastoji birati kadar (verovatno ipak postoje izdvojeni slučajevi, pa je procena teška).

   2. Sudeći po platama, odnos vrednosti rada između medijane i najniže vrednosti znatno je manji nego između medijane i najviše. Mislim da tu postoji stvaran efekat selekcionog praga. U ovoj prognozi ga zanemarujemo zbog vremenskih ograničenja.

2. Svako udvostručenje ukupnog ljudskog rada uloženog u unapređivanje AI algoritama množi vrednost rada AI sistema nepromenljivim faktorom (to je veoma slično pretpostavci iz Davidsonovog izveštaja). Konkretno, na svako udvostručenje ukupnog rada dolazi r udvostručenja vrednosti rada.

3. Pošto je raspodela iz (1) lognormalna, povećanje produktivnosti rada nepromenljivim multiplikatorom odgovara povećanju za nepromenljiv broj standardnih devijacija unutar ljudskog raspona u OpenBrain-u.

4. Pošto SAR→SIAR u pogledu višekratnika vrednosti rada odgovara dvostrukom prelazu automatizovani istraživač na medijani OpenBrain-a→SAR, broj udvostručenja ukupnog napora potrebnih za SAR→SIAR dvostruko je veći od broja potrebnog za prethodni prelaz.

U okviru ovog pojednostavljenog modela razmotrićemo pojavu automatizovanog istraživača na medijani OpenBrain-a u našem scenariju, količinu akumuliranog istraživanja potrebnu da se to dostigne i istraživanja potrebnog za prelazak od istraživača na medijani do SAR.

1. Godine rada samo ljudi od automatizovanog istraživača na medijani do SC: oko 0–3, uz pretpostavku da SC ima istraživački osećaj na 25. percentilu; neizvesnost je veća ako nije tako. Otprilike 0–3 kalendarska meseca pre SC u slučaju da SC ima medijanu nivoa istraživačkog osećaja koju predviđamo (25. percentil, videti iznad). Razlog je to što je SC veoma snažan u programiranju i time može donekle da nadoknadi istraživački osećaj ispod proseka. Ovih 0–3 kalendarska meseca odgovara približno 0–3 godine rada samo ljudi, s obzirom na to da SC u medijalnom slučaju ubrzava algoritamski napredak pet puta. Dodatnu neizvesnost donosi različit nivo istraživačkog osećaja SC, uključujući slučajeve u kojima je on već SAR, pa je istraživač na medijani morao biti dostignut nekoliko meseci ranije.

2. Godine rada samo ljudi od automatizovanog istraživača na medijani do SAR: 5 godina (interval pouzdanosti od 80%: 1 do 25, lognormalna raspodela). Iznad navodimo medijanu od četiri godine od SC do SAR, pod uslovom da SC već nije SAR, ali uz veliku neizvesnost; 90. percentil iznosi 20 godina. Zatim bismo dodali navedenih 0–3 godine rada samo ljudi iz (1), za medijalni nivo istraživačkog osećaja, uz dodatnu neizvesnost kada bismo uračunali razlike u tom osećaju pri pojavi SC. Veličine (1) vreme od automatizovanog istraživača na medijani do SC i (2) vreme od SC do SAR negativno su korelisane: bolji istraživački osećaj SC povećava (1), a smanjuje (2). Zato je donja granica iznad nule (i zdrav razum kaže da ne može biti nula, jer je SAR po definiciji mnogo bolji od medijane).

3. Ukupna zaliha istraživačkih godina na nivou 2025. u trenutku pojave automatizovanog istraživača na medijani: oko 10. Ovo je brza procena zasnovana na zalihi pre 2025. i kalendarskom vremenu do približne pojave SC u martu 2027, nešto ranije u medijalnom slučaju.

Razmotrimo delovanje opadajućih prinosa u našem pojednostavljenom modelu kroz nekoliko primera:

1. Godine rada samo ljudi do automatizovanog istraživača na medijani: 10

2. Godine rada samo ljudi od automatizovanog istraživača na medijani do SAR

   1. Slučaj 1: 5

      1. To je oko 0,6 udvostručenja koja daju multiplikator napretka od oko 5 puta, prema navedenoj anketi. Dakle, r ≈ 4 (svako udvostručenje ukupnog napora znači četiri udvostručenja multiplikatora napretka), što je pri vrhu Davidsonovih proračuna ali ne odstupa drastično. Naše procene r obično su više od Davidsonovih jer pridajemo veću težinu kvalitativnim skokovima u sposobnostima (više ispod).

   2. Slučaj 2: 10

      1. To bi značilo r ≈ 2,3, što je slično Davidsonovoj najboljoj proceni (iz 2022) od r=2 (u trenutku potpune automatizacije istraživanja i razvoja AI)

3. Potrebno vreme od SAR do SIAR samo uz rad ljudi i poboljšanja softvera (izračunato na osnovu potrebe za dvostruko više udvostručenja ukupnog istraživačkog napora nego u prethodnom koraku)

   1. Slučaj 1: 19 = 15*2^(2*log(15/10)/log(2))-15

   2. Slučaj 2: 60 = 20*2^(2*log(20/10)/log(2))-20

Svoju prognozu ukupno ću modelovati ovako:

1. Godine rada samo ljudi do automatizovanog istraživača na medijani: radi jednostavnosti pretpostavlja se 10

2. Godine rada samo ljudi od automatizovanog istraživača na medijani do SAR: 5 godina (interval pouzdanosti od 80%: 1 do 25, lognormalna raspodela), uz snažnu korelaciju sa godinama rada samo ljudi za SC→SAR (0,8).

3. Zatim ću potrebno vreme od SAR do SIAR samo uz rad ljudi i poboljšanja softvera modelovati navedenom formulom.

Dobija se medijana od 19 godina (interval pouzdanosti od 80%: 2,3 do 380). To ću usvojiti kao prognozu.

SAR bi ubrzao istraživanje i razvoj AI oko 25 puta

Pregled

Najpre razmatramo kako će izgledati svet sa SAR sistemima. Zatim prognoziramo multiplikator napretka za SAR pomoću nekoliko metoda:

Kako će izgledati svet sa SAR sistemima

Sada je sva rad automatizovan. Kako to izgleda u brojkama?

Naša prognozi računarskih kapaciteta predviđa da će OpenBrain u 2027. imati oko 10.000.000 ekvivalenata H100. Ako 5% računarskih kapaciteta dodeli izvršavanju modela za istraživanje i razvoj AI, mislimo da bi (uz naše ostale procene, npr. veličine modela, ograničenja kašnjenja i slično) mogao da pokreće 200.000 kopija automatizovanih istraživača, svaku brzinom od oko 400 tokena u sekundi. Kao u definiciji SAR, ta radna snaga odgovara broju od 50.000 agenata koji obavljaju zadatke 30 puta brže od najboljih ljudi.

Mislimo da bi mogli imati pristup maloj količini specijalizovanih čipova (npr. Cerebras), sposobnih da pokreću manji broj AI sistema brzinom do oko 2.000 tokena u sekundi.

Uticaj SAR lakše je analizirati nego uticaj SC. Sav rad (uključujući izbor eksperimenata) ubrzan je 30 puta, uz 30 puta više paralelnih radnika, a svi AI sistemi su poput ubrzanog najboljeg istraživača, umesto da svaki odgovara jednom konkretnom istraživaču.

Metoda 1: raščlanjivanje ubrzanja

Da bismo prognozirali multiplikator napretka za SAR, najpre smo napravili raščlanjivanje slično prethodnom za SC. Razmotrili smo sve načine na koje bi SAR mogli dodatno ubrzati stvari u odnosu na ono što bi SC već postigli. Dobili smo sledeću listu:

Ipak, ovaj multiplikator napretka deluje previsoko.

Metoda 2: ankete o potpitanjima

Razmotrimo pojednostavljen hipotetički slučaj u kome je svaki ljudski istraživač i inženjer na projektu AGI zamenjen svojom digitalnom kopijom koja obavlja zadatke 30 puta brže. Koliko bi se tada ubrzao napredak istraživanja i razvoja AI u kompaniji?

Imamo neke neformalne, nenaučne podatke iz anketa među istraživačima mašinskog učenja, sa dva povezana pitanja:

1. Koliko bi vaš ukupan istraživački napredak bio brži kada biste imali deset puta više računarskih kapaciteta nego sada?

2. Koliko bi vaš ukupan istraživački napredak bio sporiji kada biste imali 10% sadašnjih računarskih kapaciteta?

Rezultati su sledeći:

1. Iz neformalne Anketa na Twitteru o ubrzanju uz desetostruke računarske kapacitete (n=185): medijana od 1,2–2 puta, bliže gornjoj granici.

2. Iz neformalne ankete istraživača bezbednosti AI na Slack-u (n=6):

   1. Ubrzanje uz desetostruke računarske kapacitete: medijana 1,18 puta (1,01 do više od 1,5)

   2. Usporavanje uz 10% računarskih kapaciteta: medijana 0,6 puta (0,2 do 1)

Iako su ove ankete neformalne, sa malim uzorkom i širokim granicama greške, bolje su nego ništa. Ovde nas najviše zanima usporavanje uz 10% računarskih kapaciteta. U Slack anketi dobili smo medijanu od 0,6 puta, ali su ispitanici radili poslove koji su delovali manje zahtevno po kapacitetima nego poslovi ispitanika sa Twitter-a, a i oni možda zahtevaju manje od istraživanja na samoj granici razvoja AI. Zato procenu snižavamo i pretpostavljamo da bi smanjenje kapaciteta deset puta kod vodećih istraživača AI spustilo brzinu na 40% sadašnje.

Uz malu ekstrapolaciju ovih rezultata, procenjujemo da bi smanjenje budžeta za računarske kapacitete 30 puta spustilo brzinu softverskog napretka na oko 22% sadašnje.

U ovom hipotetičkom slučaju brzinu softverskog napretka možemo posmatrati kao 30 puta veću, pomnoženu sa 22% (jer 30 puta brži radnici imaju 1/30 kapaciteta po jedinici subjektivnog vremena), što daje multiplikator napretka od 7 puta.

Polazimo od ovog broja 7, a zatim postepeno uklanjamo pojednostavljenja iz hipotetičkog slučaja dok ga ne pretvorimo u stvarni scenario SAR.

Prvo pojednostavljenje koje uklanjamo jeste to da u slučaju SAR ima otprilike 30 puta više SAR sistema nego što je bilo istraživača kompanije. Međutim, devet žena ne može da rodi dete za mesec dana, pa će ovo tridesetostruko povećanje paralelnog rada doneti mnogo manje od tridesetostrukog stvarnog napretka; ipak će pomoći. Ako pretpostavimo da su računarski kapaciteti za eksperimente u ovom režimu usko grlo, 30 puta više naučnog rada i dalje može da ublaži to ograničenje na načine kao što su:

• Praćenje eksperimenata tokom izvršavanja, raspravljanje o njihovim implikacijama i zaustavljanje čim početak sledećeg eksperimenta deluje vrednije od daljeg posmatranja krive učenja.

• Ulaganje 30 puta više razmišljanja u osmišljavanje svakog eksperimenta, kako bi bio ne samo bez grešaka već i bez ometajućih faktora, testirao prave hipoteze i slično.

• Više i kvalitetnije razmišljanje pri analizi svakog eksperimenta i odlučivanju o narednim prioritetima.

• Brzo napredovanje u svim granama razvoja koje ne podrazumevaju skupe eksperimente, poput teorije mašinskog učenja, interpretabilnosti, evaluacija…

Ukupno procenjujemo da bi ovaj faktor tridesetostrukog paralelnog rada ubrzao napredak 3 puta (interval pouzdanosti od 90%: 1,5 do 6)..

Sledeće pojednostavljenje uklanjamo tako što AI više ne posmatramo kao digitalne kopije svih ljudskih zaposlenih različitih sposobnosti. SAR će po definiciji biti jednako dobri kao najbolji naučnici i inženjeri. Prosečan nivo sposobnosti zato će porasti na maksimalni.

Da bismo dobili podatke o tome, sami smo sproveli malu anketu: od novembra 2024. do marta 2025. anketirali smo neke prijatelje koji sada rade ili su ranije radili kao istraživači ili inženjeri u OpenAI-ju i Google DeepMind-u. Parafrazirano, pitali smo: „Koliko bi istraživanje bilo brže kada bi svi u vašoj kompaniji bili jednako dobri kao najbolji, u poređenju sa slučajem u kome su svi jednako dobri kao medijana vaše kompanije?” Pre nego što smo videli odgovore, procenjivali smo ubrzanje od četiri puta; medijana odgovora bila je 6,25 puta (n=8).

Procenjujemo da prelazak sa današnje raspodele na stanje u kome su svi istraživači na nivou najboljeg ostvaruje polovinu ubrzanja prelaska sa svih istraživača na medijani na sve najbolje. Zato procenjujemo da će ukupno ubrzanje od ovog faktora biti oko 2,5 puta (interval pouzdanosti od 90%: 1,25 do 5).

Ostaje još jedan faktor: gubitak raznovrsnosti. „Podići sve istraživače na nivo najboljeg” bolje je nego „pretvoriti sve istraživače u kopije najboljeg”, jer svaki pojedinac može imati slepe tačke ili slabosti koje drugi nemaju. SAR sistemi uglavnom će biti međusobne kopije, pa bi ovaj problem mogao da bude izraženiji nego u ljudskim istraživačkim organizacijama, kojima sam broj različitih zaposlenih donosi izvestan stepen raznovrsnosti. Smatramo da bi to moglo biti veoma važno, uz veliku neizvesnost. Sasvim grubo procenjujemo da to množi ukupnu brzinu istraživanja faktorom od 0,28 do 0,95.

Kombinovanjem svih ovih brojevadobijamo ukupan multiplikator za SAR od 26 (interval pouzdanosti od 90%: 8 do 139).

Metoda 3: neposrednija anketa

Nedavni izveštaj anketirao je u martu 2024. pet sadašnjih ili bivših zaposlenih vodećih AI kompanija, tražeći da razmotre sledeći hipotetički scenario, koji je slučajno veoma sličan našem:

„Zamislite da se računarski kapaciteti dostupni za eksperimente i obuku u osnovi povećavaju brzinom kojom su rasli proteklih nekoliko godina, ali sada postoji jedna velika razlika: za svaku osobu u vašoj kompaniji postoji 30 kopija pokretanih AI-jem, koje rade 30 puta brže… Pogledajmo sada stvari sasvim izdaleka: kakva bi, po vašem mišljenju, bila ukupna brzina napretka sposobnosti AI u vodećim laboratorijama u poređenju sa sadašnjom?”

Rezultati su se kretali od oko 1,5 do 20 puta, sa geometrijskom sredinom od oko 5 puta. To predstavljamo lognormalnom raspodelom sa medijanom oko 5 i intervalom pouzdanosti od 90% od 1,25 do 20.

Postojale su dve razlike između ankete i multiplikatora napretka za SAR:

1. Anketa pita o ukupnom napretku AI, dok se mi usredsređujemo na softverski napredak: zato množimo sa 2x jer otprilike polovina sadašnjeg napretka potiče od računarskih kapaciteta za obuku, što znači da je pri visokim multiplikatorima napretka ukupno ubrzanje otprilike polovina ubrzanja softverskog napretka.

2. Anketa pita o pravljenju kopija svakog istraživača, dok je SAR sposoban kao najbolji istraživač: 2,5 (interval pouzdanosti od 90%: 1,25 do 5)

To daje rezultat 24 (interval pouzdanosti od 90%: 5 do 112).

Ovim istraživačima postavljena su i preciznija pitanja, npr. o ubrzanju koje bi nastalo zbog pouzdanog otklanjanja grešaka pre pokretanja eksperimenata, boljeg određivanja prioriteta resursa, izvođenja manjih eksperimenata kad god je moguće, sofisticiranijih eksperimenata i slično. Možda i nije iznenađujuće, s obzirom na ogromnu neizvesnost i kratko vreme za razmišljanje, što umnožak njihovih procena ubrzanja po pojedinačnim faktorima obično znatno premašuje odgovore koje su dali neposredno (geometrijska sredina kombinovanih ubrzanja po faktorima iznosi 14).

Od SIAR do ASI

Pregled

Sada smo dostigli superinteligentnog istraživača AI. Koliko bi vremena prošlo do veštačke superinteligencije (ASI): AI sistema koji u svakom kognitivnom zadatku nadmašuje najboljeg ljudskog stručnjaka dvostruko više nego što najbolji ljudski stručnjak nadmašuje stručnjaka na medijani (u celoj oblasti, a ne u jednoj kompaniji kao kod SAR)?

Pregled rezultata:

Stavovi o izboru eksperimenata

Pošto bismo bez unapređenja izbora eksperimenata, tj. istraživačkog osećaja, naišli na naglo opadajuće prinose usled hardverskih ograničenja i kašnjenja, veoma je važno prognozirati poboljšanje izbora eksperimenata iznad ljudskog raspona.

Naše naredne prognoze multiplikatora napretka zasnivaju se na dva ključna stava o izboru eksperimenata:

1. Velike razlike među ljudima: Postoji znatna razlika u sposobnosti izbora eksperimenata čak i između zaposlenog na medijani i najboljeg zaposlenog u kompaniji koja razvija AGI, što potvrđuje naša anketa među istraživačima: procenjena razlika u istraživačkom napretku između kompanije sa svim zaposlenima na medijani i kompanije sa svim najboljim zaposlenima bila je 6,25 puta, od čega je 3,25 puta pripisano izboru eksperimenata.

   1. Obrazloženje: Posmatranje i razgovori sa istraživačima kompanija koje razvijaju AGI, navedena anketa i uočene razlike u platama.

2. Veliki prostor iznad ljudskog raspona: Postoji veoma veliki prostor za poboljšanje veštine izbora eksperimenata iznad najboljih ljudi, za AI sisteme na granicama inteligencije (razlika od najmanje 1.000 puta samo na osnovu izbora, bez sprovođenja eksperimenata).

   1. Obrazloženje: Ne vidimo naglo opadanje prinosa pri vrhu ljudskog raspona, niti imamo razloga da verujemo da su ljudi blizu granica opšte inteligencije.

Vreme od SIAR do ASI samo uz rad ljudi

O ovome ću razmišljati u odnosu na vreme potrebno za prelazak od SAR do SIAR samo uz rad ljudi, kako je prognozirano iznad.

Između SIAR i ASI treba premostiti dva jaza:

1. Dostići nivo za dva skoka medijana→najbolji iznad najboljeg čoveka kada se posmatra cela oblast, a ne jedna kompanija: nešto manje od skoka SAR→SIAR

   1. Za istraživanje i razvoj AI pretpostavljam da ovo zahteva nešto manji skok od SAR→SIAR, jer je stručnjak za mašinsko učenje na medijani nešto bolji od najslabijeg istraživača u kompaniji koja razvija AGI (ako bi najslabiji istraživač zaostajao za medijanom onoliko koliko medijana zaostaje za najboljim, što u praksi možda nije tačno zbog pragova zapošljavanja).

2. Dostići ASI u svim kognitivnim zadacima, a ne samo u istraživanju i razvoju AI: oko pola skoka SAR→SIAR.

   1. Mislim da će se, kada AI postane izuzetno dobar u istraživanju i razvoju AI, mnoge od tih veština preneti na druge oblasti, pa neće morati da bude mnogo sposobniji da bi se uopštio na sve oblasti, naročito ako se obučava u okruženjima namenjenim opštim veštinama.

Ponovo koristeći funkciju opadajućih prinosa nalik Davidsonovoj, kao za SAR do SIAR, modelujem vreme potrebno za prelazak od SIAR do ASI ovako:

1. Uzmem ukupnu zalihu godina rada samo ljudi do SAR i broj godina između SAR i SIAR, oslanjajući se na rezultate prognoze SAR do SIAR.

2. Vreme od SIAR do ASI samo uz rad ljudi i poboljšanja softvera određuje se ovako:

   1. Uzorkuje se broj skokova ekvivalentnih SAR→SIAR potrebnih za SIAR→ASI: medijana 1,5 skokova (interval pouzdanosti od 80%: 0,3 do 7,5; lognormalna raspodela). Ovo sam povećao sa 1,25 zbog očekivanja da će r rasti.

   2. Koristi se ista struktura formule kao za SAR do SIAR kako bi se izračunala prognozirana raspodela.

Rezultat je prognozirana medijana od 95 godina (interval pouzdanosti od 80%: 2,4 do 1.000.000). Smatramo da je 90. percentil verovatno previsok, ali treba imati u vidu da je reč samo o softverskim poboljšanjima; zato je makar zamislivo da bi se ona dramatično usporila pre dostizanja ASI, bez povećavanja kapaciteta za obuku.

SIAR bi ubrzao istraživanje i razvoj AI oko 250 puta

Medijana naše ankete pokazuje da bi prelazak sa svih istraživača na medijani na sve vrhunske istraživače ubrzao algoritamski napredak oko 6,5 puta. Kada se posmatra samo „istraživački osećaj”, bez inženjerstva, medijana iznosi 3,25, što može biti relevantnije jer bismo, kada dođemo do nadljudskih automatizovanih istraživača, mogli biti snažno ograničeni neinženjerskim zadacima. Recimo da multiplikator iznosi približno 3,25 iznad SAR.

Prelazak od SAR do SIAR po definiciji odgovara dvama takvim skokovima, pa 3,25² daje približno desetostruko povećanje multiplikatora napretka. Time dobijamo multiplikator od 250 puta.

ASI bi ubrzao istraživanje i razvoj AI oko 2.000 puta

Iznad procenili smo da bi, bez korekcije naniže zbog smanjenja, prelazak od SAR do SIAR obuhvatao medijanu od 1,25 skokova ekvivalentnih SAR→SIAR. To bi naivno dalo povećanje multiplikatora napretka od 10^1,25. Ipak, treba ga umanjiti zbog opadanja r; smanjimo ga na osmostruko povećanje povrh SAR, za grubu procenu od 2.000 puta.

Povezani radovi

Davidsonov rad „Šta okvir usredsređen na računarske kapacitete govori o brzini ubrzanog razvoja AI”

Ovaj izveštaj iz 2023. Toma Davidsona koristi ekonomsko modelovanje da predvidi dinamiku ubrzanog razvoja AI (opis, interaktivni model). Glavni model je ne namenjen predviđanju onoga što se dešava kada je istraživanje i razvoj AI potpuno automatizovano, npr. prelaza od SAR do SIAR. Odeljak koji predviđa događaje posle potpune automatizacije daje 65% verovatnoće singularnosti zasnovane samo na softveru, koja bi, ako se dogodi, u medijalnom slučaju donela povećanje efektivnih računarskih kapaciteta za 2–3 reda veličine. U predstojećem radu Davidson predviđa da po potpunoj automatizaciji istraživanja i razvoja AI postoji 50% verovatnoće da se tri godine uobičajenog napretka AI (oko 3–4 reda veličine efektivnih računarskih kapaciteta prema njegovim proračunima) smeste u jednu godinu.

Iako nismo prvenstveno razmišljali kroz redove veličine ili godine uobičajenog napretka, ako upotrebimo model opadajućih prinosa nalik Davidsonovom iz odeljka SAR→SIAR, dobijamo da je naša medijana za „r”, stopu prinosa na povećani napor uložen u softverski napredak, jednaka 4 (kako je razmotreno u „Slučaj 1: 5”). Davidsonova najbolja procena 2022. bila je r=2, a u novijem predstojećem radu procena mu je 1,2. Vrednost r iznad 1 znači da se svako sledeće povećanje inteligencije AI dešava sve brže, a r opada kako se približavamo granicama inteligencije. Napominjemo da se Davidsonova očekivanja znatno preklapaju sa našim: npr. r=2 nalazi se unutar granica neizvesnosti i kod njega i kod nas.

Naše neslaganje oko r prvenstveno potiče od intuicija o uračunavanju skokova do novih sposobnosti. Davidson r uglavnom procenjuje merenjem poboljšanja efikasnosti: npr. koliko manje računarskih kapaciteta za obuku algoritmima iz 2025. treba da dostignu učinak AI sistema iz 2015. Međutim, moramo da uzmemo u obzir i poboljšanja sposobnosti: poboljšanja sposobnosti AI pri nepromenjenoj granici računarskih kapaciteta za obuku. Možemo ih posmatrati kao poboljšanja efikasnosti merena „naviše”, a ne naniže: npr. koliko više kapaciteta za obuku algoritmima iz 2015. treba da dostignu učinak iz 2025. nego algoritmima iz 2025. Međutim, to je teže izmeriti.

Merenje naviše moglo bi dati mnogo veće procene r: algoritmi se možda loše skaliraju do kvalitativno novih sposobnosti. Razmotrimo da Magnus Carlsen, čak i kada bi proučavao šah milijardama godina, nikada ne bi dostigao najbolje računarske šahovske programe (a ako on bi, tipičniji ljudi sigurno ne bi). Uz dovoljno velika algoritamska poboljšanja mogu postojati čak i praktično beskonačni kvalitativni skokovi.

Davidson množi r sa 2 da bi uračunao poboljšanje sposobnosti pri nepromenjenom nivou kapaciteta, što smo nazvali merenjem naviše. Smatramo da množenje sa 2 nije dovoljno da obuhvati kvalitativno velike dobitke od otključavanja novih nivoa sposobnosti (vremenom verovatno i nivoa koje ranije metode obuke nikada ne bi mogle da dostignu, ni sa beskonačnim kapacitetima i podacima).

O tome se dalje raspravlja u neobjavljenom nacrtu koji je napisao Eli ovde. Nacrt sadrži i odeljke o drugim problemima Davidsonovog modela.

U načelu smo optimistični u pogledu modelovanja konkretnih nivoa sposobnosti, kao u ovom nacrtu, kao dopune ekonomskom modelovanju prilagođenom istorijskim podacima. Oprezni smo prema prevelikom oslanjanju na matematičke modele za predviđanje kvalitativnih promena učinka, iako ih smatramo veoma informativnim.

Pogledajte i ovu raspravu o jednom shvatanju eksplozije inteligencije zasnovane pretežno na softveru i njenoj verovatnoći.

GATE

GATE je nedavno objavljen Epoch-u model koji nadograđuje Davidsonov model u verziju usredsređeniju na široku ekonomsku automatizaciju (pregled scenarija, rad). Kao ni Davidson, oni ne tvrde da njihov model dobro predviđa događaje neposredno pre ili posle potpune automatizacije.

Njihova glavna izmena relevantna za moguću eksploziju inteligencije zasnovanu samo na softveru jeste to što kao pokretač istraživanja i razvoja AI softvera postavljaju ulaganje (tj. izdvajanje iz svetskog BDP-a), umesto da omoguće da se poboljšana softverska efikasnost neposredno koristi za dalja istraživanja i razvoj. To daje manje nagla predviđanja ubrzanog razvoja, mada nešto kraće rokove.

Nama više odgovara Davidsonov izbor. Naglasci u modelovanju organizacije Epoch povezani su sa stavom da će većina vrednosti AI poticati od široke automatizacije, a ne od istraživanja i razvoja. U tekstu Erdil i Barnett tvrde da će vrednost AI pokretati široka ekonomska primena, a ne istraživanje i razvoj, jer:

1. Ekonomske procene vrednosti istraživanja i razvoja obično nalaze da oni objašnjavaju oko 20% rasta produktivnosti rada, dok se ostatak uglavnom pripisuje povećanju kapitala po satu rada (produbljivanju kapitala).

   1. Naš odgovor: Deluje verovatno da će većina vrednosti koju AI stvara na kraju poticati izvan istraživanja i razvoja. Ipak, smatramo da će istraživanje i razvoj omogućiti ogromne sposobnosti za kratko vreme.

2. Automatizacija istraživanja i razvoja AI nije poseban slučaj: r je verovatno ispod ili blizu 1 kada se uračuna oslanjanje na računarske kapacitete i podatke za eksperimente, a ako počne iznad 1, verovatno će pasti ispod ubrzo posle početka eksplozije inteligencije zasnovane samo na softveru, što vodi poboljšanju efikasnosti manjem od desetostrukog.

   1. Naš odgovor: Kao što je razmotreno u prethodnom odeljku, naše procene r su više. Slažemo se da treba uračunati ove druge okolnosti, ali smatramo da će r verovatno ostati znatno iznad 1. Davidson razmatra potrebu za kapacitetima za eksperimente ovde.

3. Automatizacija istraživanja i razvoja AI zahtevala bi širok skup sposobnosti, pa se možda dešava posle automatizacije rada uopšte.

   1. Naš odgovor: Slažemo se da istraživanje i razvoj AI zahteva širok skup sposobnosti prenosivih na druge oblasti. Ipak, mislimo da će u praksi biti rano automatizovano zbog (a) podsticaja da se prvo automatizuje, (b) lakog pristupa podacima i (c) oslanjanja na kognitivne veštine. Takođe vidimo da je programiranje do sada bilo među poslovima najpodložnijim automatizaciji.

Pored toga, u osnovnom slučaju modela Epoch maksimalna softverska efikasnost u odnosu na današnju postavljena je na 10.000, što smatramo daleko preniskim. U Davidsonovom modeluovaj parametar podrazumevano iznosi 1e12.

Odgovori na česte prigovore

Iznad smo relativno mehanistički analizirali kada će biti dostignute prekretnice AI i kakve će biti posledice. Zaključili smo da je verovatna „eksplozija inteligencije zasnovana samo na softveru”, u smislu da ćemo zahvaljujući softverskom napretku AI uz nepromenljivu količinu hardvera najverovatnije preći od nadljudskih programera do superinteligentnih AI sistema za godinu dana. To postaje još verovatnije ako dozvolimo i određeno povećanje hardvera, odnosno eksploziju inteligencije zasnovanu „pretežno” na softveru.

U nastavku odgovaramo na neke česte prigovore o (a) verovatnoći tako brzog napretka i (b) njegovim posledicama.

Amdalov zakon

Čuli smo nekoliko ljudi kako tvrde da, pošto automatizacija samo ograničeno može ubrzati neke aspekte istraživanja i razvoja (npr. prikupljanje ljudskih podataka), te aktivnosti ostaju uska grla i multiplikatori napretka neće biti naročito veliki (videti Amdalov zakon).

Konkretno, tvrde otprilike sledeće: Zadatak X trenutno zauzima 10% vremena istraživača tokom istraživanja i razvoja AI softvera. Zato, ako ga automatizacija ne ubrza, čitavo istraživanje i razvoj AI softvera ne može biti ubrzano više od deset puta.

Iako u tome ima istine, tvrdnja ne važi zato što brzina obavljanja sadašnjih podzadataka istraživanja i razvoja AI softvera ne ograničava brzinu celog procesa.

Da biste videli konceptualnu grešku, zamislite teorijski AI sa veoma nadljudskim sposobnostima izbora eksperimenata, ali sposobnostima sprovođenja ispod ljudskog nivoa. Čak i kada automatizacija uopšte ne bi ubrzala sprovođenje AI eksperimenata, a ono u početku zauzimalo 50% vremena istraživača, izbor mnogo boljih eksperimenata zahvaljujući automatizaciji mogao bi dati multiplikator napretka veći od dva.

Što se tiče stvarnog dejstva ovih uskih grla: mislimo da će sintetički podaci verovatno ublažiti ograničenje prikupljanja ljudskih podataka. Pored toga, tvrdili smo da poboljšanje izbora eksperimenata verovatno ima visoku gornju granicu iznad, a u meri u kojoj možemo birati N puta vrednije eksperimente, multiplikator napretka povećava se N puta bez obzira na ostatak istraživačkog procesa.

Računarski kapaciteti su glavni pokretač napretka AI

Ovaj stav obuhvata neku kombinaciju tvrdnji: (a) kapaciteti za obuku mnogo su važniji od algoritamskog napretka; (b) kapaciteti za eksperimente mnogo su važniji za algoritamski napredak od kvaliteta i broja istraživača; (c) algoritamski napredak pokreće prilagođavanje većim računarskim razmerama; (d) kada se istraživanje i razvoj AI potpuno automatizuje, algoritamski napredak biće blizu fundamentalnih granica, pa će računarski kapaciteti postati glavni pokretač daljeg napretka.

O ovome se može mnogo reći. Najpre ističemo da se slažemo i da su (a) računarski kapaciteti važan pokretač ukupnog napretka AI i da su (b) važni za eksperimentisanje. Ova uska grla uračunavamo u prognoze, ali neki se ne slažu sa nama oko snage njihovog ograničavajućeg dejstva.

Ovde ćemo navesti samo nekoliko argumenata za naša smelija predviđanja, pošto smo se ovim donekle već bavili u odeljcima o multiplikatorima napretka istraživanja i razvoja AI:

1. Anketa među nekoliko vodećih istraživača AI dala je procenu približno šestostrukog povećanja brzine algoritamskog napretka pri prelasku sa kompanije sastavljene od kopija istraživača na medijani na kompaniju sastavljenu od kopija najboljeg istraživača, uz nepromenjen budžet za računarske kapacitete.

2. Kompanije koje razvijaju AGI nude veoma visoke pakete naknada vrhunskim istraživačima i brzo rastu.

3. AI modeli vremenom dosledno postaju mnogo bolji uz isti računarski trošak (mada je deo toga posledica destilacije).

4. AI sistemi imaju strukturne kolektivne prednosti u odnosu na ljude (videti članak).

5. Deluje malo verovatno da će AI biti blizu fizičkih granica inteligencije i učenja kada istraživanje i razvoj AI bude potpuno automatizovano, na osnovu (a) mogućnosti da su tada manje efikasni od ljudi, (b) raspodele veština unutar ljudskog raspona koja upućuje na velike dobitke pri vrhu, a time verovatno i iznad njega, i (c) poznatih neefikasnosti ljudskog mozga.

Multiplikator napretka istraživanja i razvoja AI negde mora da dostigne plato; zašto ne ispod 10.000 puta? Zašto ne ispod 1.000 puta?

Slažemo se da multiplikator napretka negde mora da dostigne plato. U našem scenariju nastavlja da raste sa dostizanjem prekretnica SC, SAR, SIAR i ASI, a raste i posle toga. Zašto? Zašto prikazujemo njegov rast sve do 1.000.000 puta do 2035?

Zapravo smo veoma neizvesni oko toga koliko će plato biti visok ili nizak. Nismo mnogo truda uložili u procenu ove veličine jer ne deluje važna za priču: ona bi se odvijala gotovo isto kada bi, na primer, multiplikator dostigao plato na 1.000 puta.

Ipak, naša najbolja procena je da će multiplikator na kraju daleko premašiti 1.000 puta.

Podsetimo, prema našoj maloj anketi među istraživačima vodećih AI kompanija, razlika u istraživačkom osećaju sama po sebi iznosi oko tri puta između medijane i najboljih istraživača njihove kompanije. Istraživački osećaj u osnovi znači koliko brzo učite iz eksperimenata, npr. biranjem boljih eksperimenata i donošenjem tačnijih zaključaka. Istraživači na medijani vodećih AI kompanija veoma su dobri! Njihov multiplikator istraživačkog osećaja verovatno je najmanje tri puta veći od globalne medijane istraživača AI, a možda i deset puta. I daleko su bolji od prosečnog čoveka, koji u osnovi uopšte ne bi mogao da radi na istraživanju i razvoju AI.

Želimo da kažemo da raspodela ljudi prema istraživačkom osećaju deluje kao raspodela sa teškim repom i ne deluje da se asimptotski približava nekim unutrašnjim granicama.

ai-2027.com

S obzirom na ovakav oblik raspodele, gde treba očekivati gornju granicu ili asimptotu? Na naše razmišljanje utiče analogija sa Lindijevim zakonom, prema kome nepoznati deo raspodele treba da raste srazmerno poznatom. Dakle, ako gomila lišća na travnjaku postoji nekoliko dana, početnu procenu njenog preostalog trajanja treba meriti danima; ako Velika piramida postoji nekoliko milenijuma, početnu procenu preostalog trajanja treba meriti milenijumima. Po nepreciznoj verziji istog načela, nagađamo da bi maksimalna brzina istraživanja i inženjerstva dostižna ljudima mogla biti udaljena od vrhunskih ljudskih genija otprilike koliko su oni udaljeni od uobičajenijih kolega. Ovo je veoma spekulativno i ne želimo pouzdano da tvrdimo ništa osim da gornji kraj raspodele verovatno nije slučajno baš poslednja tačka koju smo izmerili.

To dalje sugeriše da bi samo ogromno povećanje ljudske populacije (npr. na 1.000 Zemalja ili milion) dalo čoveka sa znatno boljim istraživačkim osećajem od najboljih današnjih ljudi. Možda, preciznije, oko deset puta boljim: kome je potrebno deset puta manje resursa za AI eksperimente da ostvari isti algoritamski napredak. (To okvirno odgovara SIAR, koji je otprilike deset puta bolji od SAR, a SAR je poput najboljeg ljudskog istraživača, samo brži i jeftiniji.)

Ali prostor svih mogućih ljudi samo je sićušan deo prostora svih mogućih umova. Štaviše, prostor svih mogućih umova koji je u prostoru dizajna dostupan vojsci SIAR genija u centrima podataka mnogo je veći od prostora ljudskih umova: postoji više stepeni slobode za eksperimentisanje, npr. veličina mozga, osnovni algoritmi učenja, osnovna arhitektura neuronske mreže, njihove različite kombinacije…

To sugeriše dodatni jaz između istraživačkog osećaja SIAR i onoga što bi na kraju moglo da se dostigne tokom eksplozije inteligencije. Koliki je taj jaz? Možemo razmišljati o neefikasnostima mozga i o tome koliko bolji AI može postati po tim dimenzijama. Posebno deluje verovatno da postoje arhitekture mnogo efikasnije od neuronskih mreža i algoritmi učenja mnogo efikasniji od moždanih.

Ali ukupno gledano, o ovome je teško rasuđivati: nalik smo pećinskom čoveku koji ide plažom u okean, primećuje da voda postaje preduboka za hodanje i pita se koliko je duboka kilometrima daleko od obale.

Još jedna okolnost jeste da u izvesnom smislu multiplikator napretka u nekim oblastima mora težiti beskonačnosti. Podsetimo, multiplikator je relativan: brzina istraživanja i razvoja relativnu u odnosu na brzinu kojom bi napredovali ljudi bez pomoći. Multiplikator od 100 puta znači da se istraživanje za koje bi ljudima bio potreban vek završi za godinu dana. Ali vremenom će AI dolaziti do otkrića do kojih ljudska civilizacija jednostavno nikada ne bi mogla da dođe. (Kao što je ljudska civilizacija došla do otkrića do kojih šimpanze nikada ne bi mogle.) To se naivno prevodi u beskonačan multiplikator napretka. Nismo sigurni kako to konceptualno obraditi, ali pominjemo jer, ako želite, apsurdno velike multiplikatore poput 1.000.000 puta možete shvatiti kao tvrdnju: „U nekim oblastima ASI ima multiplikator napretka od 1.000 puta. U drugima je mnogo veći. U trećima je beskonačan. Potonje su dovoljno česte u odnosu na prve da se to praktično ‘uprosečava’ na 1.000.000 puta.”

Ograničenja

Zbog vremenskih ograničenja nismo uspeli da modelujemo neke važne dinamike, uključujući, ali ne ograničavajući se na:

1. Neizvesnost multiplikatora napretka istraživanja i razvoja AI.

2. Povećanje računarskih kapaciteta za obuku i eksperimente.

Budući rad mogao bi da prevaziđe ova ograničenja.

Radujemo se i drugim metodama prognoziranja ubrzanog razvoja AI koje dopunjuju ovde izloženu perspektivu.

Dodatak

Pojašnjenja multiplikatora napretka istraživanja i razvoja AI

WSvesni smo da ova rešenja deluju nezgrapno i podstičemo druge da predlože poboljšanja.

1. Koje primene AI su dozvoljene u uslovu bez AI: AI sme da ima samo „statičnu ulogu” u (a) procesu obuke ili projektovanja (npr. generisanje sintetičkih podataka, destilacija) ili (b) eksperimentima. Ne sme da se koristi za unapređivanje procesa obuke ili projektovanja, niti za poboljšavanje osmišljavanja, određivanja prioriteta ili sprovođenja eksperimenata.

   1. Moramo uključiti neke primene AI, na primer kao predmet eksperimenata, jer želimo da povećanje produktivnosti koje daje AI ograničimo na aktivnosti slične onima koje danas obavljaju ljudski istraživači.

2. Pretpostavimo da su početni uslovi multiplikatora napretka projekta (tj. za SC u martu 2027) određeni ponudom ljudskog rada OpenBrain-a (izmišljene vodeće AGI kompanije iz našeg scenarija), a nivoi računarskih kapaciteta zasnovani na našim projekcijama ekstrapolacije trendova, bez automatizacije istraživanja. Ovako smo postavili stvari kako bismo sačuvali iste multiplikatore napretka u različitim situacijama, mada time gubimo deo relevantnosti za konkretnu situaciju, pa nismo sigurni koje je rešenje najbolje. Više obrazloženja je u fusnoti.

   1. Za uslov bez AI: ljudski istraživački rad odgovara onome što bi OpenBrain imao da se nastave sadašnji trendovi rasta, kao i raspoloživi računarski kapaciteti. Dakle, svaka kompanija ima uslov bez AI definisan prema istraživačima OpenBrain-a uz istorijske stope rasta. Ako se hipotetički dovedu novi ljudski istraživači, imaju vremena da se prilagode kompaniji i AI sistemima.

   2. Za uslov sa AI: isto kao iznad, ali je dozvoljena pomoć najnovijih AI sistema relevantne kompanije (dakle, ne OpenBrain-a, već kompanije čiji se multiplikator računa).

3. Ograničenje na algoritamski napredak: Ograničavamo se na aktivnosti prvenstveno namenjene algoritamskom napretku i dozvoljavamo samo malo povećanje računarskih kapaciteta (npr. možda 1% FLOP/s i ukupno najviše 1% povećanja najvećeg ciklusa obuke), sa namerom da se koristi isključivo za eksperimentisanje sa poboljšanim algoritmima.

Zbog tačke (2) iznad, multiplikator napretka istraživanja i razvoja AI treba ne treba tumačiti kao multiplikator tadašnjeg ljudskog rada u relevantnom periodu. On je multiplikator ponude rada projektovane za slučaj bez AI automatizacije.

Imajte na umu da različite sposobnosti AI mogu voditi različitim istraživačkim programima. Pri razmatranju multiplikatora napretka, radi jednostavnosti svodimo te razlike, uključujući moguće kvalitativne razlike u izabranim programima, na jednu dimenziju.

Modelovanje toga da je „eksperimente sve teže pronaći”

Početkom 2024. Eli je programirao model koji neposredno modeluje eksperimentalni proces, uključujući stvaran skup eksperimenata, trajanje sprovođenja svakog i njihovu vrednost. Više detalja o modelu je ovde.

Smatramo da ovaj pristup obećava, ali nažalost nismo našli vremena da ga detaljno istražimo.