Prognoza rokova razvoja

Prognoza vremena do automatizovanih nadljudskih programera

Eli Lifland, Nikola Jurkovic, FutureSearch | april 2025.

ai-2027.comPrognoza dolaska nadljudskih programera pod pretpostavkom da nema katastrofa velikih razmera (npr. Sunčeve oluje, pandemije, nuklearnog rata), usporavanja nametnutog od strane države ili samih kompanija, niti značajnih poremećaja u lancima snabdevanja. Sve prognoze daju značajnu verovatnoću da nadljudsko programiranje stigne do 2027, uključujući i tu godinu.

Sažetak

Ažuriranje od 31. decembra 2025: objavili smo prerađen model rokova i ubrzanog razvoja AI na aifuturesmodel.com.

Ažuriranje od 7. maja 2025: Eli je na osnovu povratnih informacija uneo nekoliko izmena u model, koje je opisao u dodatku. Izmene primetno, ali ne drastično, produžavaju njegove rokove, pa sada dodeljuje manju, ali i dalje značajnu verovatnoću pojavi nadljudskih programera do 2027. Dodatak sadrži i analizu važnosti supereksponencijalnog rasta u modelu.

Prognoziramo kada će vodeća kompanija koja razvija AGI interno razviti nadljudskog programera (SC): AI sistem koji može da obavlja sve programerske zadatke najboljeg inženjera te kompanije, uz mnogo veću brzinu i niže troškove. Tada će SC verovatno znatno ubrzati napredak AI, što istražujemo u našem prognozu ubrzanog razvoja AI.

Najpre prikazujemo Metodu 1: produžavanje vremenskog horizonta, relativno jednostavan model koji predviđa dolazak SC produžavanjem trenda utvrđenog u izveštaju organizacije METR o tome kako AI obavlja zadatke za koje je ljudima potrebno sve više vremena.

Zatim predstavljamo Metodu 2: testove sposobnosti i preostale razlike, složeniji model koji polazi od prognoze dostizanja gornje granice testa istraživanja i razvoja AI (RE-Bench), a zatim procenjuje koliko je potrebno da se od tog sistema stigne do sistema sposobnog za stvarne zadatke u najboljoj kompaniji koja razvija AGI.

Na kraju dajemo prognozu „uzimajući sve u obzir” koja uzima u obzir ova dva modela, kao i druge moguće uticaje poput geopolitike i makroekonomije.

Takođe smo zatražili prognoze od tri profesionalna prognozera iz FutureSearch (biografije ovde).

Rezultati svake metode sažeti su ispod:

Sve prognoze zasnovane na modelima svrstavaju 2027. među najverovatnije godine razvoja SC, što je i godina njegovog dolaska u scenariju AI 2027.

U dodatku prikazujemo uticaje nekoliko važnih parametara modela. Kod naše simulacije je ovde.

Napomena dodata u decembru 2025: Ova prognoza se u velikoj meri oslanja na intuitivnu procenu i podrazumeva visok stepen neizvesnosti. Nažalost, smatramo da je uključivanje intuitivne procene neophodno za prognoziranje rokova razvoja veoma naprednih AI sistema, jer jednostavno nema dovoljno dokaza za pouzdanu ekstrapolaciju.

Definicija nadljudskog programera (SC)

Nadljudski programer (SC): AI sistem za koji bi kompanija mogla da koristi 5% svog budžeta računarskog kapaciteta da pokreće 30 puta više agenata nego što ima ljudskih istraživačkih inženjera, pri čemu svaki agent u proseku obavlja programerske zadatke u istraživanju AI (npr. sprovođenje eksperimenata, ali ne i osmišljavanje ideja ili određivanje prioriteta) 30 puta brže od najboljeg inženjera kompanije (tj. zadaci im oduzimaju 30 puta manje vremena; to ne znači nužno da pišu ili „razmišljaju” 30 puta brže od ljudi). To uključuje sposobnost obavljanja zadataka iz oblasti stručnosti bilo kog ljudskog istraživača.

Nikola i Eli procenjuju da će prvi SC imati i „istraživački instinkt” bar na nivou 50. percentila istraživača na granici razvoja AI, ali to nije uslov definicije.

Metoda 1: Produžavanje vremenskog horizonta

Ovaj model se zasniva na ekstrapolaciji napredovanja AI ka nadljudskim programerima (SC), merenog vremenom koje je ljudima potrebno za najteže zadatke koje AI može da obavi (to nazivamo „vremenskim horizontom” AI). U velikoj meri se oslanjamo na nedavni izveštaj organizacije METR koji beleži trend produžavanja vremenskog horizonta (prikazan ispod).

Prognozu delimo na dva potpitanja:

1. Koji su vremenski horizont i nivo pouzdanosti na METR-ovom skupu zadataka potrebni za SC?

2. Kada će taj vremenski horizont i pouzdanost biti dostignuti?. Ovo dalje delimo na:

   1. Trenutno vreme udvostručavanja vremenskog horizonta

   2. Kako bi se ono menjalo tokom vremena bez automatizacije istraživanja i razvoja AI

   3. Teškoću da se SC sa troškovima jednakim ljudskim učini 30 puta bržim i jeftinijim

   4. Uzimanje u obzir ubrzanja tokom razvoja i razlike između internih i javno dostupnih sistema

Rezultati naše simulacije prikazani su ispod.

ai-2027.com

Naše raspodele koje uzimaju u obzir faktore izvan ovog modela šire su.

METR-ov izveštaj o vremenskom horizontu

nedavni izveštaj organizacije METR meri sposobnost AI sistema preko „vremenskog horizonta”, definisanog vremenom koje je veštom čoveku potrebno da obavi zadatke (više detalja u fusnoti).

AI sa vremenskim horizontom T pri pouzdanosti R% u proseku uspešno obavlja R% zadataka za koje je ljudima potrebno vreme T. U modelu sledimo njihove definicije vremenskog horizonta i pouzdanosti, ali dodajemo uslov da AI zadatak mora obaviti bar jednako brzo i jeftino kao čovek. To ne bi promenilo METR-ove rezultate, jer njihova potrošnja na računarski kapacitet za izvršavanje nije dostizala troškove ljudskog rada.

Sledeća slika ilustruje metodologiju:

Više detalja o njihovom skupu zadataka HCAST nalazi se u ovaj rad, a sledeća tabela prikazuje raspodelu zadataka:Odavde ću METR-ov skup zadataka radi sažetosti nazivati HCAST, budući da ćemo razmatrati vremenske horizonte znatno duže od onih koje meri SWAA, dok RE-Bench čini mali podskup.

Prognoziranje dolaska SC

Parametre simulacije prikazujemo u sledećoj tabeli.

Metoda 2: Testovi sposobnosti i preostale razlike

Vreme do dostizanja gornje granice RE-Bencha

Zašto RE-Bench?

RE-Bench je skup zahtevnih i realističnih zadataka istraživanja i razvoja AI sa objektivnim funkcijama bodovanja. Cilj je da obuhvate poslove koje inženjeri kompanija koje razvijaju AGI često obavljaju (npr. pisanje skripti za obuku modela mašinskog učenja i optimizaciju koda u PyTorchu). Pošto se boduju kontinuirano, ne postoji jedno vreme potrebno za završetak, ali referentni ljudski rezultati dosad su prikupljeni za rad do osam sati, a osam sati je dovoljno da stručnjak značajno popravi rezultat. Poređenjem ljudi i AI sistema na RE-Bench zadacima možemo proceniti sposobnost AI za zadatke istraživanja i razvoja AI.

Usredsređujemo se na pet od sedam RE-Bench zadataka zbog problema s bodovanjem preostala dva; u ostatku izveštaja ovaj podskup nazivamo „RE-Bench”. Konkretno, izostavljamo Scaling Law Experiment jer modeli dovoljno lako mogu slučajno uspeti da zadatak nije primeren za okvir Best-of-K. Izostavljamo i Restricted MLM Architecture jer Claude 3.7 Sonnet na njemu redovno vara, a METR još nije uspeo da ga uputi da pokuša bez varanja.

RE-Bench ima nekoliko dobrih osobina koje je teško naći kod drugih testova, zbog čega je posebno dobra mera ubrzavanja istraživanja AI pomoću AI:

1. Veoma je relevantan za istraživanje i razvoj najnaprednijeg AI.

2. Visoka gornja granica učinka. AI agenti mogu znatno nadmašiti ljudski nivo, mada će u praksi verovatno biti veoma teško postići više od približno dvostrukog poboljšanja u odnosu na referentna ljudska rešenja (što daje rezultat 1,5). Medijalni ljudski rezultat iznosi 0,12 za dva sata rada i 0,66 za osam sati. Trenutno najbolji model je Claude 3.7 Sonnet sa rezultatom oko 0,6 uz Best-of-K u okviru pod nazivom „modular”.

3. Referentni ljudski rezultati omogućavaju poređenje učinka AI i ljudi zasnovano na podacima.

Očekujemo da će „dostizanje gornje granice” prema ovoj definiciji nastupiti pre prekretnice SC. Prvim sistemima koji dostignu gornju granicu RE-Bencha verovatno će nedostajati nekoliko vrsta sposobnosti neophodnih za SC, kao što je opisano ispod.

Prognoziranje dostizanja gornje granice ekstrapolacijom

Koliko visok rezultat omogućava RE-Bench?

Ova tabela iz rada o RE-Benchu daje predstavu o mogućoj visini rezultata na RE-Benchu:

Prosek sredina svih navedenih „procenjenih gornjih granica” iznosi 1,67. Da bismo bili konzervativni i osigurali da je nivo „zasićenja” dostižan, definisaćemo rezultat 1,5 kao dostizanje gornje granice RE-Bench zadataka. Koristimo kriterijume razrešenja iz ankete AI 2025 Forecasting Survey (dodatku), koji obuhvataju uslov da model ne košta više od čoveka po zadatku. Rezultat 1,5 znači da model nadmašuje približno 95% referentnih ljudskih pokušaja (90. percentil je oko 1,22 na slici 4 RE-Bencha). Ipak, procenjujemo da je 1,5 približno na nivou proseka najboljeg čoveka; to je iznad 95. percentila zbog razlika među zadacima u težini postizanja visokih rezultata i promenljivosti učinka pojedinaca, npr. usled sreće.

Sprovođenje ekstrapolacije

Utvrđeno je da rezultati na testovima često prate logističke krive i pretpostavljamo da će RE-Bench imati sličan oblik, pa logističku krivu prilagođavamo tačkastim procenama najboljeg istorijskog rezultata kroz vreme. Donju granicu krive postavljamo na 0. Gornja granica RE-Bencha nije poznata, pa je modelujemo normalnom raspodelom sa srednjom vrednošću 2,0 i standardnom devijacijom 0,25. Promena gornje granice (dodatak iz decembra 2025: unutar ovog raspona) ne menja mnogo prognozu — pomeranje gornje granice za 0,25 pomera datum zasićenja za oko pola godine.

Tako dobijamo sledeći grafikon najviših rezultata uz dozvoljeni Best-of-K i vremenski budžet modela od 16 sati po zadatku:

Interval pouzdanosti 80% potiče od neizvesnosti gornje granice rezultata i nije zamišljen kao prikaz celokupne neizvesnosti naših saznanja.

Ovo predviđa dostizanje gornje granice tokom 2026.

Pogledajte i ovaj rad koji predviđa da će RE-Bench dostići 1 tokom 2027. Smatramo da su korišćeni podaci verovatno doveli do previše konzervativnih prognoza.

Ukupne prognoze dostizanja gornje granice RE-Bencha

Očekujemo da logistička prognoza donekle precenjuje brzinu napretka jer sada znamo i da je prvo tromesečje 2025. prošlo bez novih rekordnih rezultata na RE-Benchu koje bi METR prijavio.

Ubrzavanje napretka AI nakon dostizanja gornje granice

Nikolina sadašnja procena je da je algoritamski napredak uz AI četbotove i pomoćnike iz perioda 2022–2024. brži za 3–30% nego što bi bio da ih istraživači AI ne koriste.

Nikola očekuje da će agenti sposobni da dostignu gornju granicu RE-Bencha biti približno dvostruko korisniji za produktivnost od AI iz 2024, a možda i više. Njegova najbolja procena je da će algoritamski napredak pri prvom javnom dostizanju gornje granice RE-Bencha biti [5%, 60%] brži nego 2024. Nikola pretpostavlja da je algoritamski napredak 2024. činio 50% ukupnog napretka AI. Eli se uglavnom slaže s ovim procenama.

Naša najbolja procena istraživačkih sposobnosti AI pri dostizanju gornje granice RE-Bencha glasi: postojaće agenti kojima je potreban značajan nadzor pri stvarnim osmočasovnim zadacima, ali koji ponekad uspevaju da obave višesatne zadatke uz minimalno ljudsko posredovanje. Ako zamislimo AI na tom nivou kako često obavlja višesatne zadatke, deluje verovatno da će mnogim istraživačima AI doneti veliko ubrzanje (npr. 50% veću produktivnost, što bi nakon uračunavanja računarskih uskih grla moglo dati 15% brži algoritamski napredak).

Dodatak iz decembra 2025: Nameravali smo da metodologija eksponencijalno interpolira multiplikator napretka, u mesecima ekvivalentnim 2024, između (sadašnji multiplikator − 1) i (multiplikator za SC − 1). Na primer, za sadašnji multiplikator 1,1 i multiplikator SC od 8,5, na pola puta do SC u mesecima iz 2024. predviđeni multiplikator bio bi (1,1−1)*((8,5−1)/(1,1−1))^0,5+1=1,87. Međutim, zbog greške u kodu izostalo je oduzimanje pa dodavanje jedinice, pa bi se umesto toga dobilo 1,1*(8,5/1,1)^0,5=3,06. Zato smo precenili uticaj ubrzanja tokom razvoja. To je pomerilo medijanu dolaska SC u našem modelu za oko devet meseci.

Vreme za prevazilaženje razlika između dostizanja gornje granice RE-Bencha i SC

Sada prelazimo na prognoziranje vremena od dostizanja gornje granice RE-Bencha do SC.

Najpre razmatramo koje su glavne razlike u „težini zadataka” između dostizanja gornje granice RE-Bencha i SC. Potom opisujemo našu metodologija za prognoziranje vremena potrebnog da se te razlike prevaziđu.Zatim prognoziramo koliko brzo će sve razlike u težini zadataka biti prevaziđene.

Koje razlike u težini zadataka postoje između dostizanja gornje granice RE-Bencha i SC?

Ovaj rada o RE-Benchu navodi četiri glavne kategorije razlika između dostizanja gornje granice RE-Bencha i sposobnosti za stvarno istraživanje i razvoj AI.

Pored kategorija iz gornje tabele, dodajemo razlike u specijalizaciji i troškovima i brzini. RE-Bench zadaci uglavnom zahtevaju malo prethodnog konteksta, uključujući to da nije potrebno poznavanje velikih baza koda.

Metodologija

Ukratko: definišemo prekretnice koje označavaju prevazilaženje svake razlike u težini zadataka tako da postaju strogo teže i zato se moraju dostizati redom; zatim procenjujemo broj meseci između svake prekretnice i sabiramo ih.

Naš pristup je sledeći:

1. Za svaku razliku nakon dostizanja gornje granice RE-Bencha (prve „prekretnice”):

   1. Definišemo prekretnicu koja označava prevazilaženje razlike i strogo je teža od prethodne, tako da vreme između prekretnica mora biti pozitivno. Formulišemo ih kao „Isto kao gore, ali… [razlika je prevaziđena, npr. sve navedene zadatke obavlja 30 puta brže i jeftinije]”; mogu se videti u ovoj zbirnoj tabeli.

      1. Za sve razlike u težini zadataka osim vremenskog horizonta, nakon prevazilaženja nivo ostaje isti za sve naredne prekretnice. Vremenski horizont sme slobodno da raste jer je opšta mera težine, pa ga ne možemo držati konstantnim dok neko svojstvo zadatka postaje zahtevnije.

   2. Procenjujemo broj meseci potrebnih za prevazilaženje te razlike pri brzini napretka AI iz 2024. Za produžavanje vremenskog horizonta i poboljšanje troškova i brzine imamo bolje podatke nego za druge kategorije, pa su procene ostalih znatno manje rigorozne.

2. Sabiramo sve razlike u težini zadataka da bismo dobili ukupnu veličinu razlike, merenu mesecima napretka AI pri brzini iz 2024.

3. Nalazimo vreme za prevazilaženje svih razlika uključivanjem ubrzanja tokom razvoja napretka AI, a zatim dodajemo druga moguća usporavanja (npr. kašnjenje u usvajanju) i uzimamo u obzir razmak između interne i javne primene.

Sve ove razlike (osim vremenskog horizonta, koji se dodatno modeluje kako je objašnjeno ovde) modelujemo lognormalnim raspodelama prema intervalu pouzdanosti 80%, tako da je medijana uvek geometrijska sredina donje i gornje granice. Uzorke izvlačimo uz pozitivnu korelaciju jer su teškoće dostizanja pojedinačnih sposobnosti verovatno povezane.

Koliko brzo se mogu prevazići razlike u težini zadataka?

Zbirna tabela

Ispod sažimamo prognoze prevazilaženja razlika. FutureSearch ovde označava zbirnu prognozu dva profesionalna prognozera iz FutureSearch. Detaljna pojedinačna obrazloženja za svaku razliku nalaze se u dodatak.

Vremenski horizont

Prekretnica koja označava prevazilaženje razlike: Sposobnost razvoja raznovrsnih softverskih projekata u istraživanju i razvoju AI koji zahtevaju izmenu najviše 10.000 redova koda u datotekama sa ukupno do 20.000 redova. Obezbeđena su jasna uputstva, jedinični testovi i drugi oblici povratne informacije o tačnosti. Obavljanje zadataka koji ljudima oduzimaju oko mesec dana (prema parametru „početni vremenski horizont”) uz pouzdanost 80%, pri istim troškovima i brzini kao ljudi.

Izveštaj o vremenskom horizontu i definicija

nedavni izveštaj organizacije METR meri sposobnost AI sistema preko „vremenskog horizonta”, definisanog vremenom koje je ljudima potrebno da obave zadatke (više u fusnoti).

AI sa vremenskim horizontom T pri pouzdanosti R% ima prosečnu uspešnost R% na zadacima za koje je ljudima potrebno vreme T. Za više detalja o metodologiji i njihovom skupu zadataka HCAST pogledajte iznad. Dodatak iz decembra 2025: Definicija vremenskog horizonta u modelu testova i razlika pretpostavlja da su ljudi vrhunski stručnjaci, dok definicija u modelu produžavanja vremenskog horizonta to ne pretpostavlja. Razlog je što polazimo od trenutka kada se AI izjednačio sa vrhunskim stručnjacima na RE-Benchu. Izvinjavamo se zbog moguće zabune.

Nadljudski programer (SC): početni zahtevi za vremenski horizont i pouzdanost

Nadljudski programer (SC), ne računajući brzinu i troškove koje uzimamo u obzir kasnije, mora ukupno da obavlja posao jednako dobro kao svi ljudski programeri kompanije koja razvija AGI zajedno na svojim sadašnjim zadacima.

Koji su vremenski horizont i pouzdanost za to potrebni? Pošto će vremenski horizont nastaviti da raste kako se budu prevazilazile naredne razlike, biramo „početni vremenski horizont” nešto niži od onog za koji mislimo da će SC na kraju zahtevati.

Potreban početni vremenski horizont: 1 mesec deluje približno ispravno za donji kraj vremenskih zahteva teških programerskih projekata. Ovde unosimo izvesnu neizvesnost lognormalnom raspodelom sa intervalom pouzdanosti 80% [4 sata, 6 radnih meseci (1.000 sati)]. Grubo pretpostavljamo da će prevazilaženje narednih razlika produžiti horizont na oko šest meseci, što deluje razumno za veoma teške programerske projekte.

Potrebna pouzdanost: 80%, mada uz veliku neizvesnost. Ako je SC podjednako svestran kao ljudski istraživački tim, ovo bi bilo nešto ispod 50%, iz nekoliko razloga navedenih u fusnoti. Međutim, sadašnji AI sistemi mnogo su manje svestrani od ljudi: ako pri ljudskim troškovima i brzini imaju horizont sa pouzdanošću 40%, čak i uz deset puta više vremena verovatno dostižu tek oko 45–50%. Zato bi za sadašnji AI možda trebalo postaviti prag pouzdanosti iznad 90%. AI na nivou SC biće mnogo svestraniji zahvaljujući veoma snažnim agentskim sposobnostima (planiranje, ispravljanje grešaka itd.). Zato prag spuštamo na 80%, što deluje približno ispravno i omogućava korišćenje podataka koje METR objavljuje. Neizvesnost ne uključujemo u model radi jednostavnosti, a i zato što se svaka promena pouzdanosti može umesto toga modelovati promenom vremenskog horizonta.

Inženjerska složenost povezana sa ekstrapolacijom vremenskog horizonta

Inženjersku složenost zadatka merićemo pomoću dva posredna pokazatelja: (a) broja izmenjenih redova koda i (b) ukupnog broja redova u svim izmenjenim datotekama.

Dostizanje gornje granice RE-Bencha zahteva medijanu od 500 redova koda u izmenjenim datotekama i oko 250 izmenjenih redova. Drugi osmočasovni zadaci u METR-ovom skupu za vremenski horizont zahtevaju slične količine.

Na osnovu veoma grube analize podataka procenjujemo da svako produžavanje vremenskog horizonta u METR-ovom skupu proporcionalno povećava oba pokazatelja. Pošto je prelazak sa osam sati na mesec dana dvadesetostruko povećanje, to bi značilo oko 10.000 izmenjenih redova i 20.000 redova u svim izmenjenim datotekama.

Mali odnos ukupnog broja redova u izmenjenim datotekama prema broju izmenjenih redova odražava naglasak RE-Bencha i METR-ovog skupa na zadacima koji zahtevaju malo konteksta, uključujući poznavanje velikih baza koda.

Dostizanje gornje granice RE-Bencha: vremenski horizont i pouzdanost

Kao što je opisano iznad, gornju granicu RE-Bencha postavljamo na prosečan rezultat 1,5, što približno odgovara onome što mislimo da bi najbolji čovek postigao uz osam sati po zadatku.

Šta bi ovaj rezultat značio za pouzdanost na osmočasovnom horizontu u odnosu na najboljeg čoveka?

Mislim da znači više od 50%, jer su, kao što je navedeno, veštine AI trenutno neujednačenije od ljudskih. AI će možda morati da nadmaši najbolje ljude na više od 50% zadataka da bi prosek bio isti, jer na RE-Bench zadacima ima manje prostora iznad 1,5 nego ispod tog rezultata.

Ovaj efekat deluje značajno, ali ne ogromno. Moja najbolja procena je pouzdanost 60%.

Prognoze vremenskog horizonta

Na osnovu vremena udvostručavanja i potrebnog nivoa dobijamo ove raspodele veličine razlike u vremenskom horizontu:ai-2027.com

Ostali faktori u modelu testova i razlika

Pretpostavljamo da nema katastrofa velikih razmera (npr. Sunčeve oluje, pandemije ili nuklearnog rata), niti usporavanja nametnutog od strane države ili samih kompanija.

Usporavanje povećavanja računarskog kapaciteta i algoritamskog napretka

Pretpostavljamo da se brzina povećavanja računarskog kapaciteta prepolovljava od 2029. zbog smanjene mogućnosti povećavanja ulaganja, budući da bi tempo rasta troškova obuke najnaprednijeg AI posle toga mogao biti teško održiv ako SC nije dostignut.

Slično tome, predviđamo da će, ako SC ne bude dostignut do približno 2028, broj ljudskih istraživača početi sporije da raste. Radi jednostavnosti i ovo modelujemo kao prepolovljavanje tempa napretka koji potiče od ljudi tokom vremena. Da bismo modelovali komplementarnost sa automatizacijom pomoću AI, uzimamo geometrijsku sredinu brzine napretka kada bi AI bio fiksni multiplikator ljudskog tempa (tj. default_human_plus_ai_rate*0.5) i brzine napretka kada bi doprinos AI bio potpuno aditivan (tj. default_human_plus_ai_rate-0.5).

Razmak između interne i javne primene

Pošto se gornje prognoze i ekstrapolacije zasnivaju na testiranju javno objavljenih modela, moramo oduzeti izvesno vreme da bismo dobili trenutak kada SC sposobnosti postaju interno dostupne programerima AGI.

Procenjujemo da će pri dolasku SC interne sposobnosti kompanija koje razvijaju AGI prednjačiti u odnosu na javna izdanja za vreme približno lognormalne raspodele sa intervalom pouzdanosti 80% [0,25 meseci, 6 meseci]. To oduzimamo od vremena do SC da bismo dobili trenutak njegovog internog dostizanja.

Ubrzanja tokom razvoja

U našoj simulaciji brzina algoritamskog napretka počinje od 1 u 2025. i pri dostizanju gornje granice RE-Bencha dostiže [5%, 60%] puta brzinu iz 2024.

Sledeća tabela prikazuje Elijeve i Nikoline procene koliko će SC ubrzati algoritamski napredak, odnosno multiplikator napretka istraživanja i razvoja AI (pogledajte ovde za detaljniju definiciju). Zasnovane su na našim procenama multiplikatora napretka SC u našoj prognozu ubrzanog razvoja AI.

Pretpostavljamo da algoritamski napredak 2024. čini polovinu napretka AI, a računarski kapacitet drugu polovinu. Napredak posle prekretnice SC mogao bi biti veoma brz: pogledajte prognozu ubrzanog razvoja AI za prognoze razvoja sposobnosti posle SC.

U simulaciji:

1. Dobijamo broj meseci potreban za prevazilaženje svih razlika u težini zadataka pri brzini napretka AI iz 2024.

2. Zatim prolazimo kroz ukupan broj „meseci iz 2024.” napretka, povećavajući brzinu napretka AI prema završenom delu procesa (u veoma malom delu putanja brzina napretka AI opada tokom vremena). Brzina napretka eksponencijalno raste od početne do završne vrednosti u zavisnosti od prevaziđenog udela ukupne razlike u težini zadataka. Dodatak iz decembra 2025: Nameravali smo da metodologija eksponencijalno interpolira multiplikator napretka, u mesecima ekvivalentnim 2024, između (sadašnji multiplikator − 1) i (multiplikator za SC − 1). Na primer, za sadašnji multiplikator 1,1 i multiplikator SC od 8,5, na pola puta do SC u mesecima iz 2024. predviđeni multiplikator bio bi (1,1−1)*((8,5−1)/(1,1−1))^0,5+1=1,87. Međutim, zbog greške u kodu izostalo je oduzimanje pa dodavanje jedinice, pa bi se umesto toga dobilo 1,1*(8,5/1,1)^0,5=3,06. Zato smo precenili uticaj ubrzanja tokom razvoja. To je pomerilo medijanu dolaska SC u našem modelu za oko devet meseci.

Ukupne prognoze modela testova i razlika

Pokretanje simulacije sa opisanim parametrima daje sledeće:

ai-2027.com

Sa ovim ulaznim raspodelama:

ai-2027.com

Dodatak

Ažuriranje od 7. maja 2025.

Ovaj odeljak napisao je Eli Lifland i njegovi koautori ne moraju nužno da se slažu s njim.

Uneo sam izmene i u model produžavanja vremenskog horizonta i u model testova i razlika (hvala Peteru Johnsonu što je predložio ili podstakao sve ove izmene; ne mora nužno da se slaže s njima). Moje prognoze unutar modela promenjene su ovako:

U suštini, prognozirani rokovi su primetno, ali ne mnogo, produženi; sada daju manju, ali i dalje značajnu verovatnoću nadljudskim programerima do 2027.

ai-2027.com ai-2027.com

U nastavku:

1. Opisujemo i prikazujemo uticaj svake izmene modela (više)

2. Ispitujemo značaj svakog izvora supereksponencijalnog napretka (više)

3. Dodajemo nekoliko pojašnjenja modela (više)

Izmene modela

U nastavku opisujemo i prikazujemo efekat svake izmene modela, od one koja je najviše promenila predviđanja do najmanje uticajne. Ove veličine efekata nisu precizne na nivou jednog ili dva meseca za medijanu; svaka potiče iz 5.000 simulacija. Zato se njihov zbir ne poklapa tačno sa ukupnom promenom medijane (18 meseci za produžavanje vremenskog horizonta, 15 meseci za testove i razlike).

Sve izmene koda možete videti ovde.

Značaj svakog izvora supereksponencijalnog napretka

U modelu rokova razvoja postoje dva izvora supereksponencijalnog rasta vremenskog horizonta:

1. „Unutrašnja” supereksponencijalnost koja odražava težinu dostizanja dužih vremenskih horizonata. Ovo je mnogo važnije u modelu produžavanja vremenskog horizonta nego u modelu testova i razlika.

2. Ubrzanja usled automatizacije istraživanja i razvoja AI preko multiplikatora softverskog napretka istraživanja i razvoja AI. Ovo je važno u oba modela.

U ovom odeljku prikazujemo efekte svakog od ovih izvora i njihovog kombinovanja.

Prognoze modela naspram prognoza bez unutrašnjeg supereksponencijalnog rasta

ai-2027.com ai-2027.com

Samo unutrašnji supereksponencijalni rast naspram njegovog odsustva

Ovde prikazujem rezultate modela kada uvek počinje supereksponencijalnim rastom vremenskog horizonta. U stvarnom modelu produžavanja vremenskog horizonta to se dešava u 25% slučajeva.

ai-2027.com ai-2027.com

Prognoze modela naspram prognoza bez multiplikatora napretka istraživanja i razvoja AI

ai-2027.com ai-2027.com

Prognoze modela naspram prognoza bez oba izvora supereksponencijalnog rasta

ai-2027.com ai-2027.com

Pojašnjenja

1. Iako smatram da je model produžavanja vremenskog horizonta koristan, mnogo veću težinu dajem modelu testova i razlika, jer mislim da je korisno izričito modelovati razlike umesto samo prilagođavati potreban vremenski horizont zbog njih.

2. Verovatnoća supereksponencijalnog rasta nije nezavisna od početnog vremenskog horizonta. Ako znatno skratite početni vremenski horizont, treba da smanjite i procenjenu verovatnoću supereksponencijalnog rasta pri tom horizontu (po mom mišljenju, i teorijski i empirijski argumenti u njegovu korist jači su pri dužim horizontima). Sada sam uveo „raspored” verovatnoća početka supereksponencijalnog rasta, što bi trebalo da olakša modelovanje ove pojave. Međutim, raspored podrazumevano počinje pri sadašnjem vremenskom horizontu; ako želite da ga skratite, treba odgovarajuće dopuniti raspored. Naziv parametra je „superexponential_schedule_months” u ovoj datoteci za model testova i razlika, ovoj datoteci za model produžavanja vremenskog horizonta.

3. Sva vremena u prognozi rokova razvoja izražena su kao „radno vreme”, odnosno vreme koje bi čovek radio tokom datog perioda: na primer, radna nedelja ima 40 sati, a radna godina 2.000 sati.

Pojedinačna mišljenja prognozera o faktorima modela testova i razlika

Inženjerska složenost: rad sa složenim bazama koda

Prekretnica koja označava prevazilaženje razlike: sposobnost razvoja raznovrsnih softverskih projekata u istraživanju i razvoju AI koji zahtevaju izmenu više od 20.000 redova koda u datotekama sa ukupno više od 500.000 redova. Obezbeđena su jasna uputstva, jedinični testovi i drugi oblici povratne informacije o tačnosti. Obavljanje zadataka koji ljudima oduzimaju oko mesec dana (prema parametru „početni vremenski horizont”) uz pouzdanost 80%, pri istim troškovima i brzini kao ljudi.

Ova prekretnica zahteva povećanje broja izmenjenih redova koda (LOC) za 1 puta i ukupnog broja redova u datotekama za 25 puta u odnosu na prekretnicu vremenskog horizonta.

• Elijeva procena veličine razlike: 3 meseca [0,5; 18]. Obrazloženje:

  • Pretpostavljam da je broj izmenjenih redova važniji za težinu zadatka od ukupnog broja redova u datotekama, naročito kod velikih izmena. Zato možda dvostruko povećanje izmenjenih redova i povećanje ukupnih redova za 25 puta zajedno odgovaraju četvorostrukom povećanju ukupnog LOC.

  • U METR-ovom skupu rast oba broja proporcionalan je vremenskom horizontu, koji se 2025. udvostručava približno svaka četiri meseca, a pri dužim horizontima možda i brže (pogledajte gornju prognozu vremenskog horizonta).

  • Dva udvostručavanja, uz medijalno skraćivanje vremena udvostručavanja na tri meseca, daju mi šest meseci. Zatim spuštam medijanu na tri meseca jer bi se LOC udvostručavao brže kada nijedno drugo svojstvo zadatka ne bi postajalo teže.

  • Dodajem faktor šest na obe strane da dobijem [0,5; 18 meseci]. To približno odgovara mojoj intuiciji: prelazak na mnogo veće baze koda ne deluje teško kada AI već ima veštine potrebne za prekretnicu vremenskog horizonta.

• Nikolina procena veličine razlike: 3 meseca [0,5; 18]. Obrazloženje je isto kao Elijevo.

• FutureSearch procena veličine razlike: 11 meseci [2,4; 33,9]. Obrazloženje:

  • Ukupna baza koda mogla bi biti veća od potrebnih 100.000 redova. Od 10.000 redova prethodne prekretnice potrebno je bar desetostruko povećanje do 100.000. Međutim, sistem bi možda morao da razume milion redova da bi napravio potrebne izmene.

  • Pretpostavka da su četiri meseca napretka dovoljna za deset puta više redova koda veoma je ambiciozna. Podataka je malo, a dodavanje faktora dva za 90. percentil deluje nedovoljno.

  • Ispravljanje grešaka moglo bi zahtevati promenu više od 10.000 redova, iznad pretpostavke prethodne prekretnice. Nije jasno kolika je relativna razlika u težini između pravljenja novih projekata dužine N i nalaženja i ispravljanja grešaka koje, recimo, zahtevaju promenu 1% tih N redova.

  • Ponovo je ključno da li su za obuku potrebni sintetički podaci. Ako jesu, njihovo generisanje pri ovoj složenosti moglo bi biti ogroman izazov.

Povratne sprege: rad bez spolja obezbeđenih povratnih informacija

Prekretnica koja označava prevazilaženje razlike: isto kao gore, ali bez obezbeđenih jediničnih testova i uz samo neodređen opis na visokom nivou o tome šta projekat treba da isporuči.

Preporučujemo da budući rad razmotri METR-ov koncept „neuređenosti” iz njihovog izveštaja umesto ove prekretnice ili kao njen dodatak. Zbog vremenskih ograničenja to nismo uspeli da istražimo.

• Elijeva procena veličine razlike: 6 meseci [0,8; 45]. Obrazloženje:

  • Intuitivno, kada AI ume da obavlja teške zadatke dugog horizonta uz pouzdanu spoljašnju povratnu informaciju, uopštavanje na neodređenije zadatke ne deluje toliko teško. Uostalom, mnogi podzadaci dugoročnih zadataka verovatno već koriste slične veštine.

  • Međutim, i mene i druge napredak na lako proverljivim testovima koji se uredno dele na delove stalno iznenađuje, dok je odgovarajući uticaj u stvarnom svetu prisutan, ali manji nego što bih očekivao. Možda će AI nastaviti da napreduje na proverljivim zadacima u velikoj meri isprobavanjem mnogo mogućnosti i proverom šta radi, umesto opštim rezonovanjem primenljivim na neodređenije zadatke. Možda potcenjujem i važnost rada koji je teško čak opisati kao „zadatke”.

  • Kvantitativno, procenio bih sledeće:

    • Uklanjanje BoK-a / usputnih povratnih informacija dodaje 1–18 meseci.

    • Uklanjanje BoK-a prelazi 5–50% puta do veoma teško proverljivih zadataka, pa množimo sa 2 do 10.

    • Prethodni napori već će preći 50–90% puta jer ogromni programerski projekti zahtevaju rad sa mnogo loših povratnih sprega, pa množimo sa 10–50%.

  • o3-mini kaže da to daje približno 0,8 do 45 meseci; deluje približno ispravno, pa ću to prihvatiti.

  • Shvatio sam da sve ovo treba da se odnosi na RE-Bench sa dugim vremenskim horizontom i mnogo redova koda, a ne na sadašnji RE-Bench, što je važno imati na umu.

• Nikolina procena veličine razlike: 3 meseca [0,5; 18]. Obrazloženje:

  • RE-Bench pruža funkcije bodovanja kojima se učinak agenta može proveriti u svakom trenutku. Verovatno će postojati razlika u učinku sa povratnom informacijom i bez nje.

  • Sadašnji broj je uglavnom intuitivna procena. Procenjujem da dodavanje Best-of-K RE-Benchu donosi 4–8 meseci napretka u rezultatu. To verovatno obuhvata oko trećine ukupne razlike u povratnim spregama.

  • To vodi do približno 12–24 meseca. Ipak, očekujem da je oko polovine ove razlike već prevaziđeno ako imamo sisteme sposobne za veoma dugoročne zadatke sa milionima redova koda. Takođe smatram mogućim da se učenje potkrepljivanjem na lako proverljivim zadacima dobro uopštava na druge zadatke, što dodatno spušta donju granicu intervala.

  • Neuređenost donekle prati odsustvo povratnih sprega. Slika 9 u METR-ovom radu o horizontu prikazuje učinak na zadacima podeljenim na neuređenije i uređenije. Ta razlika može pomoći u proceni uticaja odsustva povratnih sprega. Jedna moguća mera je: „Koliko učinak na neuređenijim zadacima zaostaje?” Odnosno, ako uzmemo najveći učinak na neuređenijim zadacima, kada je taj učinak dostignut na uređenijim?

    • Za zadatke kraće od jednog sata najveća uspešnost je oko 0,6 uz Claude 3.7 Sonnet (februar 2025). Taj nivo je premašen u novembru 2023. uz GPT-4 1106, što daje razmak od 15 meseci.

    • Za zadatke duže od jednog sata najveća uspešnost na neuređenim zadacima je oko 0,1 uz o1 (decembar 2024), a premašena je u maju 2024. uz GPT-4o. To daje razmak od sedam meseci.

    • Mislim da su duži zadaci reprezentativniji za vrste zadataka oko prekretnice povratnih sprega.

    • Moja procena razlike dodaće neizvesnost na obe strane.

• FutureSearch procena veličine razlike: 18,3 meseci [1,7; 58]. Obrazloženje:

  • Agentsko planiranje je ključno i verovatno je već dobro zahvaljujući prethodnim dvema prekretnicama. To bi trebalo da pomogne kod odsustva pouzdanog spoljašnjeg proverivača i povratnih sprega koje ne postoje ili su loše, ograničene ili skupe. Ako su prethodne prekretnice dostignute bez snažnog agentskog planiranja, ono bi moglo biti glavno usko grlo ove razlike.

  • Ograničavanje na programiranje za istraživanje AI čini napredak verovatnijim. Postoji sumnja da će bez jeftine pouzdane povratne informacije uskoro stići opšte planiranje na ljudskom nivou.

  • Agenti koriste pouzdanu funkciju bodovanja deset puta češće nego ljudi. U rada o RE-Benchu, koristili su je 25,3 ili 36,8 puta na sat, naspram 3,4 puta za ljudske stručnjake. U radu je značajan deo učinka agenata poticao od rešenja u „lokalnom optimumu” dobijenih podešavanjem početnih parametara, što posebno zavisi od pouzdane funkcije bodovanja. Do ovog trenutka, uz dostizanje gornje granice RE-Bencha i prethodne dve prekretnice, sistemi bi po ovom pitanju izgleda mogli da rade na nivou sličnom ljudskom.

  • AI sistemima će trebati pamćenje da bi upravljali složenim kompromisima među zainteresovanim stranama. Odsustvo povratne informacije zahtevaće rad na neodređenijem, ljudskom nivou, gde će ciljevi, podsticaji i preferencije desetina zainteresovanih strana biti nejasni i promenljivi. AI će morati da razume ukupne ciljeve organizacije, koji će se razvijati uz nove poslovne prilike, tehnologije i društvene norme.

Paralelni projekti: rad na više međusobno povezanih projekata

Prekretnica koja označava prevazilaženje razlike: isto kao gore, ali uz rad na odvojenim projektima koji obuhvataju više baza koda povezanih interfejsima (npr. sistem za obuku velikih razmera, sistem za eksperimente i sistem za analizu podataka).

• Elijeva procena veličine razlike: 1,4 meseca [0,5; 4]. Obrazloženje:

  • Moja najbolja procena je da model koji može da obavlja veoma dugoročne zadatke istraživanja i razvoja AI i menja datoteke sa ukupno 100.000 redova već poseduje većinu veština potrebnih za rad na više povezanih projekata.

• Nikolina procena veličine razlike: 1,2 meseca [0,5; 3]

• FutureSearch procena veličine razlike: 2 meseca [0,7; 5,3]. Obrazloženje:

  • Prekretnica 2, složeni inženjerski projekti, verovatno čini ovo veoma lakim. Pored toga, prekretnica 3, rad bez obezbeđenih jediničnih testova, verovatno je veoma korisna za projekte koji su povezani na složene načine.

Specijalizacija: usavršavanje veština specifičnih za razvoj najnaprednijeg AI

Prekretnica koja označava prevazilaženje razlike: Isto kao gore, ali uz rad na konkretnim projektima koji se sprovode u kompanijama koje razvijaju AGI.

• Elijeva procena veličine razlike: 1,7 meseci [0,5; 6]. Obrazloženje:

  • Deluje nešto teže od paralelnih projekata.

• Nikolina procena veličine razlike: 0,4 meseca [0,1; 2]. Obrazloženje

  • Moja najbolja procena je da fino podešavanje modela za dobar učinak na internim zadacima kompanije trenutno nije teško i da ga uglavnom ograničavaju opšte sposobnosti modela.

  • Takođe ne očekujem veliku razliku u specijalizaciji između zadataka u kojima su agenti najbolji i stvarnih zadataka relevantnih za istraživačko inženjerstvo AI. Zapravo, verovatno će biti najbolji upravo u zadacima relevantnim za istraživanje AI.

• FutureSearch procena veličine razlike: 2,4 meseca [0,5; 4,7]. Obrazloženje:

  • Dostizanje gornje granice RE-Bencha i prekretnice inženjerske složenosti i paralelnih povezanih projekata verovatno čine ovo veoma lakim, čak i ako su projekti veoma povezani.

  • Opšti rast sposobnosti trebalo bi ovde značajno da pomogne.

Troškovi i brzina

Prekretnica koja označava prevazilaženje razlike: isto kao gore, ali uz takve troškove i brzinu da postoji znatno više nadljudskih AI agenata nego ljudskih inženjera (konkretno, 30 puta više agenata nego ljudi, pri čemu svaki obavlja zadatke 30 puta brže).

• Elijeva procena veličine razlike: 6,9 meseci [1; 48]. Obrazloženje:

  • Epoch je izmerio pad cena po tokenu za isti učinak na različitim neagentskim testovima i našao trendove od 9 do 900 puta godišnje, sa medijanom od 50 puta. Za trendove koji počinju u januaru 2024. medijana je 200 puta godišnje. Dva razloga opravdavaju povećavanje ovih procena:

    • Ne obuhvataju mogućnost da AI za isti zadatak koristi manje tokena, a uglavnom se bave neagentskim testovima poput MMLU i GPQA, gde broj tokena potrebnih za rešavanje ne varira mnogo kod modela bez posebnog rezonovanja.

    • Njihovi trendovi počinju ispod troškova ljudskog rada. Očekujem da trendovi sa viših početnih troškova budu brži zbog krajnosti krive troškova tokom vremena: trošak datog učinka počinje od približno beskonačnosti (nikakva količina kapaciteta za izvršavanje GPT-2 ne bi dala učinak iz 2025. na agentskim zadacima), a na kraju će se približavati asimptoti zbog fizičkih ograničenja.

  • Na RE-Benchu, više agentskom testu koji je počeo pri približno ljudskim troškovima i gde možemo uračunati manji potreban broj tokena, vidimo brži pad od približno deset puta za 0,33 godine, odnosno trend od 1.000 puta godišnje (na osnovu Slika 11, poređenjem starog i novog 3.5 Sonneta).

    • Međutim, prema ažuriranim podacima izgleda da je promena između stare i nove verzije bila neuobičajeno velika, pa njen značaj treba umanjiti.

    • Ovo bi verovatno trebalo dodatno smanjiti jer će agenti na nivou SC efikasnije koristiti kapacitet za izvršavanje nego naivni Best-of-N.

  • Zato bismo na osnovu navedenog mogli dobiti tridesetostruki pad troškova za približno 0,35–1,5 godina (10.000 puta godišnje znači oko 0,35 godina, a 10 puta godišnje oko 1,5 godina).

  • Ako pretpostavimo da troškovi padaju samo zato što se zadaci obavljaju brže, uz istu cenu po sekundi (cena po tokenu × tokeni po sekundi), zahtevano ubrzanje bilo bi tačno ispunjeno. Ako je cena po sekundi porasla, brzina je već porasla više od 30 puta (razmislite: dvostruka cena po sekundi → 1/30 troška nastaje za upola manje vremena → model je 60 puta brži i 30 puta jeftiniji). Zato procenu trajanja razlike treba smanjiti, jer smo nadmašili tačku ubrzanja i pojeftinjenja od po 30 puta na Pareto granici. Ako je cena po sekundi pala, procenu treba povećati.

  • U gore korišćenim primerima (cene i brzine tokena prema OpenRouter):

    • Epochove procene koje se oslanjaju na nižu cenu po tokenu našle su približno 3,5 puta veću brzinu uz 300 puta niže troškove. To znači da bi tridesetostruki pad troškova odgovarao približno dvostrukom ubrzanju. Dalji pad troškova mogao bi se pokušati pretvoriti u veću brzinu paralelizacijom; to bi bilo teško za neagentske zadatke koje je Epoch merio, ali verovatno izvodljivo za AI nivoa SC na agentskim zadacima.

      • Povećanje efikasnosti na GPQA od približno 300 puta pri prelasku sa GPT-4 na Phi 4 odgovara ubrzanju od oko 3,5 puta i padu cene po sekundi od oko 150 puta:

        • GPT-4 košta 1.800 dolara po milionu sekundi generisanja; 30 tokena/s, 30 dolara po milionu ulaznih i 60 dolara po milionu izlaznih tokena

        • Phi 4 košta 11 dolara po milionu sekundi generisanja; 110 tokena/s, 0,07 dolara po milionu ulaznih i 0,11 dolara po milionu izlaznih tokena

      • Slične promene brzine pojavljuju se i kod trendova drugih testova, uz različite stope pada efikasnosti.

    • Za slučaj RE-Bencha koji se oslanja na efikasnije korišćenje tokena, cena po sekundi je praktično ista.

      • Claude 3.5 Sonnet Old daje 66 tokena/s i košta 3 dolara po milionu ulaznih i 15 dolara po milionu izlaznih tokena

      • Claude 3.5 Sonnet New daje 58 tokena/s i košta 3 dolara po milionu ulaznih i 15 dolara po milionu izlaznih tokena

  • Očekujem da će prelazak sa skupog na jeftin SC više ličiti na slučaj RE-Bencha nego na Epochove procene: mislim da će modeli postajati sposobniji, umesto prelaska na jeftinije modele iste sposobnosti. Zato očekujem da cena po sekundi donekle padne, ali ne drastično. Ne bih se iznenadio ni da poraste, što bi značilo da moju prognozu treba skratiti. Zbog ovih razmatranja o ceni po sekundi malo ću povećati i proširiti prognozu na 0,2–3 godine.

  • Za svaki slučaj proširiću je još malo, na 0,1–4 godine.

• Nikolina procena veličine razlike: 6 meseci [1; 36]. Obrazloženje:

  • Uglavnom se slažem sa Elijevim obrazloženjem ispod. Još nekoliko razmišljanja:

    • GPT-4o mini košta 0,15 dolara po milionu ulaznih i 0,6 dolara po milionu izlaznih tokena, naspram 30 i 60 dolara za GPT-4, uprkos sličnom učinku na testovima. Razdvaja ih oko godinu i po, što znači približno godinu dana za desetostruki pad.

    • U novije vreme, DeepSeek R1 približno dostiže učinak starog Claude 3.5 Sonneta. C3.5s košta 3 dolara po milionu ulaznih i 15 dolara po milionu izlaznih tokena, dok DeepSeek R1 košta 0,5 i 2 dolara. Koristi i više tokena, pa oduzimamo faktor dva. To daje približno trostruki pad za pola godine, što otprilike odgovara desetostrukom padu godišnje.

    • Na ARC-AGI testu (za koji ne mislim da meri relevantne sposobnosti, ali može biti koristan podatak), o3-mini košta dva reda veličine manje za isti učinak. Zato je moguće da se destilacija u poslednje vreme ubrzala.

    • Moja najbolja procena je da će prvi sistemi sposobni za SC biti preskupi i da će zahtevati smanjenje troškova za jedan do dva reda veličine da bi bili jeftiniji od ljudskog inženjera po satu rada.

    • Moguće je da će razvojni timovi uvek održavati troškove izvršavanja modela relativno niskim, bez rasta daleko iznad ljudskih troškova, pa bi prvi modeli sposobni za SC možda bili jeftini od samog početka.

• FutureSearch procena veličine razlike: 13,5 meseci [4,5; 36]. Obrazloženje:

  • Trenutni trendovi pada troškova izvršavanja, pri nepromenjenom nivou sposobnosti, ukazuju na desetostruki pad svake godine. U ovom scenariju pad bi mogao biti i izraženiji, naročito za sisteme specijalizovane za razvoj AI i programiranje, gde postoji ekonomski pritisak da se troškovi smanje. Novija i obuhvatnija Epochova analiza ukazuje na još brži pad troškova izvršavanja, sa medijalnim smanjenjem od 50 puta godišnje.

  • Smanjenje troškova možda je već bilo praćeno povećanjem brzine. U ambicioznom scenariju možemo pretpostaviti da treba uračunati samo tridesetostruki pad troškova, što bi uz trend od 50 puta godišnje trajalo oko 10,5 meseci.

  • Čak i ako nije tako, tehnike izvlačenja sposobnosti poput Best-of-K i napredak modela rezonovanja navode nas na zaključak da ljudska brzina nije prava polazna tačka. Na ljudskoj granici vreme ekvivalentno padu troškova od 900 puta, uz trend od 10 puta godišnje, bilo bi oko tri godine. Ali to deluje previše konzervativno. Ako pretpostavimo da polazimo blizu ljudskih troškova, ali već pet puta brže, morali bismo da prevaziđemo razliku od 6×30=180. Uz trend od 10 puta godišnje to bi se postiglo za oko 29 meseci.

(Dodatak iz decembra 2025: U Elijevom gornjem obrazloženju postojala je greška. Umesto brzine i troškova, bolje je bilo razmatrati brzinu i broj kopija. Takođe bi bilo korisno razložiti poboljšanja na tokene po sekundi, efikasnost tokena i dolare po tokenu, umesto posmatranja ukupne cene po sekundi. Ispravkom ove greške Eli bi dobio procenu od 1,9 godina prema Epochovim podacima i 0,7 godina prema podacima RE-Bencha.

Eli je trebalo da uradi otprilike sledeće:

a) Izračuna da nam je za SC potrebno ekvivalentno povećanje paralelnog rada od 27.000 puta.

b) Izračuna da je za RE-Bench trend rasta paralelnog rada 100 puta za četiri meseca, uz eksponent 2 za pretvaranje uzastopnog u paralelni rad, jer desetostruka efikasnost tokena daje desetostruko ubrzanje, ali ne i više kopija. Zatim uzme log(27000)/log((10^2)^3), što daje 0,74 godine.

c) Za Epoch uradi slično i dobije log(27000)/log((15*(2^2))^(12/9))=1,87 godina. Razlog za petnaestostruki rast broja kopija u Epochovom trendu jeste to što pad cene po tokenu povećava broj kopija 30 puta, ali dvostruki rast tokena po sekundi prepolovljava taj broj, jer svaki model sada proizvodi više tokena u jedinici vremena.)

Druge razlike u težini zadataka

Prekretnica koja označava prevazilaženje razlike: SC je dostignut.

• Elijeva procena veličine razlike: 5,5 meseci [1; 30]

• Nikolina procena veličine razlike: 3 meseca [0,5; 18]

• FutureSearch procena veličine razlike: 14,7 meseci [2; 58,8]. Obrazloženje:

  • Agentsko planiranje je ključno i verovatno je već dobro zahvaljujući prethodnim dvema prekretnicama. To bi trebalo da pomogne kod odsustva pouzdanog spoljašnjeg proverivača i povratnih sprega koje ne postoje ili su loše, ograničene ili skupe. Ako su prethodne prekretnice dostignute bez snažnog agentskog planiranja, ono bi moglo biti glavno usko grlo ove razlike.

  • Ograničavanje na programiranje za istraživanje AI čini napredak verovatnijim. Postoji sumnja da će bez jeftine pouzdane povratne informacije uskoro stići opšte planiranje na ljudskom nivou.

  • Agenti koriste pouzdanu funkciju bodovanja deset puta češće nego ljudi. U rada o RE-Benchu, koristili su je 25,3 ili 36,8 puta na sat, naspram 3,4 puta za ljudske stručnjake. U radu je značajan deo učinka agenata poticao od rešenja u „lokalnom optimumu” dobijenih podešavanjem početnih parametara, što posebno zavisi od pouzdane funkcije bodovanja. Do ovog trenutka, uz dostizanje gornje granice RE-Bencha i prethodne dve prekretnice, sistemi bi po ovom pitanju izgleda mogli da rade na nivou sličnom ljudskom.

  • AI sistemima će trebati pamćenje da bi upravljali složenim kompromisima među zainteresovanim stranama. Odsustvo povratne informacije zahtevaće rad na neodređenijem, ljudskom nivou, gde će ciljevi, podsticaji i preferencije desetina zainteresovanih strana biti nejasni i promenljivi. AI će morati da razume ukupne ciljeve organizacije, koji će se razvijati uz nove poslovne prilike, tehnologije i društvene norme.

Nadljudski programer (SC): zahtevi za vremenski horizont i pouzdanost

Nadljudski programer (SC) mora ukupno da obavlja posao jednako dobro kao svi ljudski programeri kompanije koja razvija AGI zajedno na svojim sadašnjim zadacima.

Koji vremenski horizont i pouzdanost na HCAST-u to zahteva?

Elijevo mišljenje:

Potreban vremenski horizont i pouzdanost na stvarnoj raspodeli radnih zadataka, prema rezultatima najboljih ljudi sa snažnim podsticajima:

1. Vremenski horizont: 6 meseci (interval pouzdanosti 80%: [1 nedelja, 12 godina]). Ako AI može prilično dosledno da obavlja zadatke za koje ljudima treba šest meseci, trebalo bi da može da automatizuje velike programerske projekte. Malo je verovatno da bi bilo šta kraće od nedelju dana bilo dovoljno. Idealno bih ovde voleo još teži desni rep nego kod lognormalne raspodele, ali očekujem da će, kada dođemo do godina, trend ionako verovatno biti prilično supereksponencijalan.

   1. Drugačije viđenje: pošto ljudi u referentnim merenjima postižu vremenski horizont od svega oko 90 minuta, moguće je i da će AI nadmašiti ljude na mnogim programerskim zadacima već kada dostigne 90 minuta. Horizont od deset godina deluje kao razumna gornja granica dužine zadataka koje AI mora umeti da obavlja, ali verovatno će i pri jednomesečnom horizontu prema sadašnjoj METR-ovoj definiciji moći da automatizuje velike delove istraživanja i razvoja AI uz malo pomoći kolega. Neizvesnost ćemo uzeti u obzir lognormalnom raspodelom sa intervalom pouzdanosti 80% [16 sati, 2 radne godine (4.000 sati)].

2. Pouzdanost: 80%. Ako je SC podjednako svestran kao najbolji ljudi, ovo bi bilo nešto ispod 50% iz nekoliko razloga navedenih u fusnoti. Međutim, sadašnji AI je mnogo manje svestran od ljudi: ako pri ljudskim troškovima i brzini postiže pouzdanost 40%, čak i uz deset puta više vremena verovatno dostiže tek oko 45–50%. Zato bi za sadašnji AI možda trebalo postaviti prag iznad 90%. AI na nivou SC biće mnogo svestraniji zahvaljujući snažnim agentskim veštinama (planiranje, ispravljanje grešaka itd.). Zato prag spuštamo na 80%, što deluje približno ispravno i omogućava korišćenje podataka koje METR objavljuje.

Potreban vremenski horizont pri ekstrapolaciji HCAST-a (METR-ovog skupa zadataka), sa sadašnjom METR-ovom strategijom referentnog merenja: 10 godina [1 mesec, 1.200 godina].

Zadržaću istu pouzdanost i prilagoditi vremenski horizont METR-ovom izveštaju, njegovom skupu zadataka i postupku referentnog merenja, kako bih jednostavnije prognozirao ekstrapolacijom METR-ovih rezultata. Korekciju zasnivam na sledećim razmatranjima.

Razlozi za povećanje potrebnog vremenskog horizonta:

1. Ekstrapolacija HCAST-a ne obuhvata razlike koje će se pojaviti u stvarnosti (pretpostavljam da su loše povratne sprege najvažnija razlika; pogledajte ovde za neke od najistaknutijih kandidata).

2. Referentna merenja za HCAST slabija su od idealnih, što uvećava horizonte u odnosu na gore pretpostavljene uslove (više u radu o vremenskom horizontu i radu o HCAST-u): (a) rade ih prilično sposobni ljudi, ali ne doslovno najbolji; (b) ne rade ih uvek stručnjaci; (c) rade ih ljudi sa malo konteksta, nalik novozaposlenima, umesto onima koji već poznaju bazu koda.

   1. Utvrđeno je da je učesnicima referentnih merenja za rešavanje METR-ovih problema u njegovim repozitorijumima koda trebalo 5–18 puta duže. Međutim, kod dugoročnijih zadataka postojeće poznavanje bilo bi manje važno jer bi bilo vremena da se kontekst usvoji.

Razlog za smanjenje potrebnog vremenskog horizonta: ekstrapolirani HCAST mogao bi u nekim pogledima biti teži od stvarnih zadataka, suprotno gornjoj tački (1). Na primer, neke referentne funkcije bodovanja nerealno su stroge.

Iako 1.200 godina zvuči mnogo, mislim da su moguće veoma velike razlike između HCAST-a i stvarnosti ili između HCAST-ovih referentnih merenja i onih na nivou SC.

Nikolino mišljenje: Pošto ljudi u referentnim merenjima postižu vremenski horizont od svega oko 90 minuta, moguće je da će AI nadmašiti ljude na mnogim programerskim zadacima već kada dostigne taj horizont. Horizont od deset godina deluje kao razumna gornja granica dužine zadataka koje AI mora umeti da obavlja, ali verovatno će i pri jednomesečnom horizontu prema sadašnjoj METR-ovoj definiciji moći da automatizuje velike delove istraživanja i razvoja AI uz malo pomoći kolega. Neizvesnost ćemo uzeti u obzir kroz lognormalnu raspodelu sa intervalom pouzdanosti 80% [16 sati, 2 radne godine (4.000 sati)].

Kriterijumi razrešenja prognoze dostizanja gornje granice RE-Bencha

Preuzeto iz ankete AI 2025 Forecasting Survey

Računa se svaki AI sistem koji radi u realističnim uslovima primene i nema nepravednu prednost nad ljudima u referentnim merenjima.

Pomoć alata, izvršni okviri i sve druge tehnike izvlačenja sposobnosti tokom izvršavanja dozvoljeni su pod sledećim uslovima:

• Bez nepravedne i sistematske prednosti. Ne postoji sistematska nepravedna prednost nad ljudima opisanim u odeljku o ljudskom učinku (npr. AI sistemima je dozvoljeno automatsko ocenjivanje više izlaza, a ljudima nije; ili AI sistemi imaju pristup internetu, a ljudi nemaju).

• Jednakost troškova sa ljudskim radom. AI sistem za obavljanje zadatka ne koristi više računarskog kapaciteta nego što bi moglo da se kupi za zaradu čoveka potrebnu da isti zadatak obavi na istom nivou.

Ovaj PASS@k tehnika izvlačenja sposobnosti, koja automatski ocenjuje i bira najbolji od k izlaza modela, čest je primer koji prihvatamo na ovom testu jer ljudi u referentnim merenjima RE-Bencha takođe imaju pristup metrikama bodovanja (npr. gubitku i vremenu izvršavanja). Zato PASS@k ne predstavlja jasnu nepravednu prednost.

[...]

Postupak procene troškova ljudskog rada:

1. Rangirajte pitanja prema troškovima ljudskog rada. Za svako pitanje procenite koliko bi koštalo da ga ljudi reše. Ako ne uspeju, uračunajte dodatni trošak potreban da uspeju.

2. Povežite tačnost AI sa ukupnim troškom ljudskog rada. Ako AI sistem reši N% pitanja, izdvojte najjeftinijih N% pitanja prema troškovima ljudskog rada i saberite te troškove da dobijete referentni ljudski zbir.

3. Uračunajte nerešena pitanja. Za svako pitanje koje AI ne reši dodajte najveći trošak iz tih najjeftinijih N%. Tako se ljudi i AI porede pri fiksnom budžetu po problemu, bez oslanjanja na ljude da dinamički prilagođavaju pristup težini.