Prognoza bezbednosti

Romeo Dean | April 2025.

Slika 1: Pregled prognozirane vremenske linije nivoa bezbednosti u AI 2027. Proširujemo RAND definiciju nivoa bezbednosti da razlikujemo zaštitu parametara modela i algoritamskih tajni . OpenBrain i DeepCent su pseudonimi koje koristimo za vodeće AI kompanije u SAD i Kini.

Uvod

Mnogi važni događaji i dinamike u AI 2027 zahtevali su informisano prognoziranje pitanja informacione i sajber bezbednosti. Ovaj dodatak objašnjava i obrazlaže naša očekivanja o nivoima bezbednosti vodećih američkih i kineskih AI projekata (Odeljak 1), sposobnostima AI za hakovanje i sajber ratovanje (Odeljak 2), i verovatnoći da AI uspe u pokušajima preuzimanja administratorske kontrole nad sopstvenim serverima (Odeljak 3). Nekoliko prognoza delimično je zasnovano na anonimnim anketama stručnjaka za bezbednost na radionicama o AI bezbednosti. Naravno, mnoga predviđanja veoma su neizvesna i pozdravljamo obrazložena neslaganja sa našim brojkama i procenama kako bismo unapredili prognozu. Sve projekcije u ovom dokumentu obrazložene su do decembra 2027, prateći granu scenarija sa „trkom“.

Sažetak

Odeljak 1. Nivoi bezbednosti

Proširujemo RAND definiciju nivoa bezbednosti od 1 do 5 (SL1 - SL5), razlikujući zaštitu od krađe parametara modela (WSL1 - WSL5) i zaštitu od krađe algoritamskih tajni (SSL1 - SSL5).

Definišemo nivoe zaštite parametara modela (WSL) od 1 do 5 kao sposobnost pouzdane odbrane od odgovarajućeg operativnog kapaciteta (prema definiciji RAND) koji konkretno pokušava da ukrade parametre najnaprednijeg AI modela za manje od 2 meseca. Definišemo nivoe zaštite tajni (SSL) od 1 do 5 kao sposobnost pouzdane odbrane od pokušaja OCX da ukrade nedavne algoritamske uvide. Konkretno, 10% od najvažnijih 10KB (običnog teksta) informacija iz poslednjeg meseca, rangiranih po korisnosti (to može obuhvatati kod ili običan jezik). Definišemo zaposlene sa povlašćenim pristupom kao zaposlene sa ovlašćenim pristupom za >10% od najvažnijih 20 KB (običnog teksta) osetljivih informacija iz poslednjih 30 dana, rangiranih po korisnosti. Definišemo kompromitovane zaposlene kao podskup zaposlenih sa povlašćenim pristupom koji aktivno odaju osetljive informacije suprotnoj strani, bilo kao špijuni ili pod nekim oblikom prinude.

Slika 2: Pregled prognozirane vremenske linije nivoa zaštite parametara modela i Zaštita algoritamskih tajni . OpenBrain i DeepCent su pseudonimi za vodeće AI kompanije u SAD i Kini.

Odeljak 2. Sajber ratovanje i sabotaža

Cybench je zbirka 40 Capture the Flag (CTF) problema iz 4 profesionalna CTF takmičenja, sa širokim rasponom težine. Naše prognoze ispod dozvoljavaju AI do 10 pokušaja predaje rešenja (PASS@10 sa povratnom informacijom), ali AI mora da završi zadatke uz isti trošak kao čovek.

Definišemo hakerski horizont kao vremenski period T u kom AI može da reši 50% hakerskih zadataka za koje bi vrhunskom profesionalnom timu od 5 ljudi bilo potrebno vreme T. Definišemo i, nadamo se, intuitivan pojam ekvivalenti vrhunskih hakera sa vremenskim horizontom T kao veličinu tima vrhunskih stručnjaka za sajber bezbednost koji AI može da zameni, rešavajući jeftinije ili brže 95% zadataka za koje je tom timu potrebno vreme T. Uspeh sabotaže definišemo kao procenat množioca napretka istraživanja AI druge strane čije povećanje iz jednog perioda u sledeći sprečava, u odnosu na ono što bi se inače dogodilo.

ai-2027.comSlika 3: Naše procene i projekcije Cybench rezultata i hakerskog horizonta. Cybench rezultat je ono što bi najbolji interni AI model mogao da ostvari pri evaluaciji uz jednak trošak kao kod ljudi, sa ograničenjem od 10 pokušaja predaje rešenja (uz binarnu povratnu informaciju o tačnosti, tj. PASS@10). Očekujemo da interni rezultati budu ispred javnih. Hakerski horizont modeluje se u odnosu na Cybench rezultate, uz pokušaj da se uvaži činjenica da su CTF problemi znatno lakši od prosečnog hakerskog zadatka u stvarnom svetu.

Odeljak 3. Gubitak kontrole: Preuzimanje sistema i samostalno iznošenje modela

Delimično preuzimanje sistema nastaje ako AI stekne kontrolu nad dovoljno računarskih resursa da može da izvršava zadatke bez nadzora, a da ljudi to ne znaju ili ne mogu da povrate kontrolu bez potpunog gašenja računara. Potpuno preuzimanje sistema nastalo bi ako AI stekne kontrolu nad čitavim zatvorenim klasterom računarskih resursa, uključujući komande za njihovo uključivanje i isključivanje, tako da bi ljudski pokušaj gašenja tih računara zahtevao fizičke izmene. Konačno, definišemo i samostalno iznošenje modela kao sposobnost AI da napravi svoju kopiju na bilo kom medijumu za skladištenje izvan servera u zgradama u kojima su ljudski nadzornici nameravali da ostane.

ai-2027.comSlika 4: Naše procene i projekcije verovatnoća uspeha delimičnog preuzimanja, potpunog preuzimanja i samostalnog iznošenja modela za najbolje interne AI modele OpenBrain i DeepCent do 2027. Imajte na umu da do decembra 2027. najbolji OpenBrain model (Agent-5) može da ubrza istraživanje i razvoj AI 1000x.

Odeljak 1. Nivoi bezbednosti

RAND nivoi bezbednosti

Proširujemo RAND definiciju nivoa bezbednosti od 1 do 5 (SL1 - SL5) kako bismo razlikovali zaštitu od krađe parametara modela (WSL1 - WSL5) i zaštitu od krađe algoritamskih tajni (SSL1 - SSL5). Dodajemo i konkretne parametre da nivoi budu posebno relevantni za prognozu našeg scenarija (definišući ih kroz relevantne brzine iznošenja podataka). Zadržavamo RAND definicije operativnog kapaciteta (OC1 - OC5), ali menjamo pojedinosti prema vrsti razmatranog napada (krađa parametara ili algoritamskih uvida).

Iznošenje parametara modela

Definišemo nivoe zaštite parametara modela (WSL) od 1 do 5 kao sposobnost pouzdane odbrane od odgovarajućeg operativnog kapaciteta (prema definiciji RAND) koji konkretno pokušava da ukrade parametre najnaprednijeg AI modela za manje od 2 meseca. Potrebna brzina iznošenja naročito zavisi od veličine najnaprednijeg modela, koju modelujemo kao rastuću do početka 2027, manje-više u skladu sa istorijskim trendovima (nešto umanjeno zbog većeg skaliranja naknadnog obučavanja), a zatim kao opadajuću zbog efekata algoritamske efikasnosti postignutih ekstremnom automatizacijom istraživanja AI u 2027. u našem scenariju.

Slika 5: Pregled prognozirane vremenske linije nivoa zaštite parametara modela.ai-2027.comSlika 6: Ovo pitanje o tome da li će državni akter ukrasti najnapredniji američki AI model pre 2030. pokazalo je snažan konsenzus — znak da su sadašnji nivoi bezbednosti daleko od zaštite od državnih pretnji.

Najnaprednije AI kompanije u SAD donedavno su imale bezbednost na nivou startapa, a dostizanje WSL3 posebno je teško zbog složenosti odbrane od unutrašnjih pretnji (OC3). U decembru 2024. vodeće AI kompanije u SAD, poput OpenAI i Anthropic, jesu startapi sa zapaženim, ali ipak ranim nastojanjima da unaprede bezbednost. Uz pretpostavku da oko 1000 sadašnjih zaposlenih može da radi sa parametrima modela u svakodnevnom istraživanju i da se ključni aspekti bezbednosnih mera verovatno oslanjaju na protokole poput NVIDIA poverljivog računarstva, očekujemo da ih mere protiv unutrašnjih pretnji i dalje zadržavaju na standardu WSL2. Etabliranije tehnološke kompanije poput Google možda su na WSL3 za parametre najnaprednijih modela.

Kineske i američke vodeće kompanije nemaju snažne podsticaje da povećaju bezbednost u 2025. U Kini je DeepSeek na čelu, a s obzirom na njegov pristup otvorenog koda i brzog sustizanja, ne očekujemo da vodeće kineske kompanije mnogo ulažu u bezbednost pre 2026. Pored toga, pošto je DeepSeek sada približio granicu otvorenog koda vodećim američkim kompanijama, očekujemo manji prioritet bezbednosti tokom 2025. i da vodeće američke AI kompanije i dalje nalaze veću korist u širokom pristupu zaposlenih parametrima modela, u meri koja ih zadržava na WSL2 do 2026.

Glavni izazov uvođenja WSL3 je, uopšteno, ograničavanje brzih internet veza koje izlaze iz centara podataka; u 2026. i američke i kineske kompanije dobijaju podsticaje da to sprovedu. Za američke kompanije očekujemo da opšte sposobnosti modela dostignu osetljive nivoe ubrzavanja istraživanja AI (između ostalog), a da njihova prednost nad kineskim vrhom (i dalje oko 6 kalendarskih meseci) sada postane značajnija. Prednost u ubrzavanju istraživanja AI može da se kumulativno uvećava, pa bi trebalo da dovoljno podstakne kompanije da ojačaju bezbednost do SL3. Odvojeno predviđamo da Kina oko sredine 2026. počne da objedinjuje AI kompanije u jedinstven nacionalni projekat, kada bi bilo dosledno da sprovede i državno podržan napor za dostizanje WSL3, ali iz drugog glavnog razloga — posebne zabrinutosti da SAD sajber napadima sabotiraju nacionalni AI projekat.

______________

Modelujemo da Kina početkom 2027. uspešno iznese parametre najnaprednijeg američkog modela (Agent-2), što podstiče OpenBrain da uvede WSL4.

U 2027, čak i uz AI sa nadljudskim sposobnostima sajber bezbednosti i veće parametre modela (što otežava krađu), modelujemo da državni napor najvišeg prioriteta (delom kao odgovor na kinesku krađu parametara) zahteva približno 12 meseci da pređe sa WSL3 na WSL5, i u SAD i u Kini. Postizanje bezbednosti otporne na državne aktere posebno je teško i privatnim kompanijama će verovatno trebati značajna podrška i resursi države. Kada Kina ukrade parametre najnaprednijeg američkog modela, očekujemo da američka vlada to sazna u roku od mesec dana, što je delimično (uz sve privlačnije AI sposobnosti) motiviše da interveniše i pomogne vodećoj američkoj AI kompaniji da ojača bezbednost. Kina ima izvesnu prednost jer joj centralizacija istraživanja AI sredinom 2026. daje raniji početak u bezbednosti uz podršku države, a pojačan strah od američkih sajber napada (jer SAD imaju sve sposobnije AI sajber agente) tokom 2027. podstiče agresivniji prioritet bezbednosti (kroz snažnu podelu pristupa i fizičko odvajanje mreža). Pored toga, do sredine 2027. kineski nacionalni AI projekat usredsređen je u jednu veliku razvojnu zonu, dok su američki centri podataka mnogo rasprostranjeniji. Zato predviđamo da Kina dostigne WSL5 nekoliko meseci pre SAD, krajem 2027. Ankete sa radionica o bezbednosti prikazane na Slikama 7 i 8 potvrđuju teškoće i izuzetan državni napor potreban za WSL5.ai-2027.comSlika 7: Ovo pitanje o uvođenju SL5 u AI kompanijama pokazuje konsenzus da će državna pomoć verovatno biti neophodna.ai-2027.comSlika 8: Ovo pitanje o težini uvođenja SL5 pokazuje delimičan konsenzus da će verovatno biti potrebna državna pomoć najvišeg prioriteta i više od 6 meseci.

Algoritamske tajne

Definišemo nivoe zaštite tajni (SSL) od 1 do 5 kao sposobnost pouzdane odbrane od pokušaja OCX da ukrade nedavne algoritamske uvide. Konkretno, 10% od najvažnijih 10KB (običnog teksta) informacija iz poslednjeg meseca, rangiranih po korisnosti (to može obuhvatati kod ili običan jezik).

Slika 9: Pregled prognozirane vremenske linije nivoa zaštite algoritamskih tajni*.*

Odbrana od krađe algoritamskih tajni trebalo bi da bude znatno teža od odbrane od krađe parametara modela, a trenutno, kada je otvoreni kod blizu samog vrha, zaštitne mere su veoma slabe. Potreban protok za iznošenje tajni trebalo bi da bude oko milion puta manji nego za parametre modela (1KB naspram 2TB mesečno), a umesto centralnog smeštaja u serverima centara podataka, oko 1000 zaposlenih ima relativno širok pristup algoritamskim uvidima i verovatno može da reprodukuje tajne iz sećanja (što je posebno relevantno ne samo za špijunažu već i za preuzimanje zaposlenih). Vodeće AI kompanije u SAD trenutno počinju kao male tehnološke kompanije, pa je bezbednost relativno opuštena. Deluje verovatno da i prilično amaterski pokušaj može uspeti u krađi važnih uvida (npr. mito od $5K kancelarijskom čistaču ili ciljani fišing napad na zaposlenog). U Kini je vrh otvorenog koda.

Do kraja 2026. malo je verovatno da vodeće američke AI kompanije dovoljno promene postojeću bezbednost kancelarija i zaposlenih da tako male količine informacija ne mogu da procure pred naporom OC3 (budžet napada od $1M). Zapravo, odbrana od takvog napora zahtevala bi značajne mere protiv unutrašnjih pretnji, a očekuje se da broj zaposlenih sa pristupom za >10% najvažnijih 10KB informacija svakog meseca bude oko 2000 tokom 2026. Postoji i više načina da napadači ukradu informacije bez pomoći insajdera, čisto sajber napadima (npr. preko platformi za poruke poput Slack) ili preko drugih osoba sa fizičkim pristupom kancelarijama.

Kina nema podsticaj da napusti otvoreni kod ili zaustavi slobodan interni protok informacija dok ne dostigne algoritamski vrh i ne zabrine se da zapravo postoji šansa da pomaže napretku SAD. Prema široj prognozi našeg scenarija, Kina ostaje znatno (oko 6 meseci) iza internih najnaprednijih sposobnosti u SAD do početka 2027, kada krade parametre modela. Do tada dovoljno zaostaje da je malo verovatno da ostvari algoritamski napredak koji bi pomogao SAD, a verovatno više dobija internom razmenom informacija među kompanijama. Zato predviđamo da Kina uglavnom zadržava minimalnu tajnost algoritamskih tajni (SSL2) dok krađom parametara značajno ne smanji zaostatak i ne postane zabrinutija zbog rizika sabotaže, jer to pojačava trku sa SAD. To je navodi da do sredine 2027. agresivno ograničava pristup informacijama i nadzire zaposlene, brzo dostižući SSL4.

Za SAD postaje strateški veoma važno da se do kraja 2027. odbrane od iznošenja parametara modela u Kinu. U tome znatno pomažu uključivanje države i automatizacija istraživanja, koja vodećim kompanijama omogućava da strogo razdvoje pristup informacijama među zaposlenima. Tokom 2027, intenzivnije partnerstvo sa državom, naročito u svetlu kineske krađe parametara modela, i AI sistemi koji omogućavaju značajnu automatizaciju istraživanja verovatno bi doveli do agresivnog ograničavanja pristupa informacijama među zaposlenima. Procenjujemo da bi broj zaposlenih sa povlašćenim pristupom algoritamskim tajnama iz poslednjeg meseca opao desetostruko, na 200, a zatim na oko 100 do kraja godine. Uprkos tome, deluje verovatno (slika 10) da bi među tih 200 zaposlenih bio bar jedan špijun ili osoba izložena prinudi, uz podršku aktera nivoa OC5, što bi SSL5 učinilo gotovo nemogućim. Predviđamo da bi ta osoba izgubila pristup prilikom smanjenja na 100 zaposlenih i da bi, konačno, ekstremne mere preseljenja istraživača i fizičkog odvajanja od mreže omogućile SSL5 u 2028, posle još otprilike 3–6 meseci rada, uglavnom zahvaljujući nadljudskom AI nadzoru i donošenju bezbednosnih odluka.ai-2027.comSlika 10: Ovo pitanje o špijunaži ukazuje na to da je prisustvo stranih špijuna verovatnije u SAD i da je moguće da špijun ili osoba pod prinudom bude čak i među 200 zaposlenih pod strogom proverom.

Kina nakratko prestiže SAD tokom 2027. u zaštiti tajni, delimično kao sporedni efekat prednosti centralizacije, manje pretnje od špijunaže (slika 10) i paranoje zbog sabotaže, ali pred kraj godine ponovo zaostaje zbog slabijih AI sistema.

Špijunaža i kompromitovanje zaposlenih

Špijunaža i kompromitovani insajderi naročito su važni faktori koji omogućavaju krađu algoritamskih tajni. U ovom odeljku detaljnije iznosimo konkretne procene broja zaposlenih u vodećim AI projektima SAD i Kine, kao i broja onih koje je suprotna strana kompromitovala. Konkretno, definišemo zaposlene sa povlašćenim pristupom kao zaposlene ovlašćene da pristupaju više od 10% najvažnijih 20 KB osetljivih informacija iz poslednjih 30 dana, rangiranih po korisnosti i izraženih kao običan tekst. Zatim definišemo kompromitovane zaposlene kao podskup zaposlenih sa povlašćenim pristupom koji aktivno odaju osetljive informacije suprotnoj strani, bilo kao špijuni ili pod nekim oblikom prinude.

ai-2027.comSlika 11: Pregled prognoziranog broja zaposlenih sa povlašćenim pristupom i kompromitovanih zaposlenih po kompanijama.

Očekujemo da vodeće američke i kineske AI kompanije proširuju timove tokom 2026, a zatim drastično smanje broj zaposlenih kada istraživanje AI bude blizu potpune automatizacije i zabrinutost zbog unutrašnjih pretnji poraste. Tokom 2024. vodeća američka kompanija ima oko 1000 zaposlenih, naspram 200 u Kini. Očekujemo da ti timovi znatno porastu, približno dva puta u SAD i pet puta u Kini, pre nego što bezbednosne brige i automatizacija istraživanja AI opravdaju drastično smanjenje broja istraživača sa pristupom poverljivim informacijama. Predviđamo da bi kombinacija otpuštanja i razdvajanja pristupa informacijama trebalo da omogući vodećim kompanijama da tokom 2027. zadrže između 100 i 300 zaposlenih sa povlašćenim pristupom, a nakon toga manje od 100.

Udeo kompromitovanih zaposlenih trebalo bi da raste tokom 2026, sa sve većom pažnjom službi nacionalne bezbednosti, a zatim da ostane približno stabilan jer se efekti naglog intenziviranja pokušaja kompromitovanja i strožih ograničenja za zaposlene međusobno poništavaju. Polazimo od pretpostavke da je oko 0,5% zaposlenih u SAD kompromitovano, što približno odgovara istorijskom udelu špijuna među 1000 najvažnijih zaposlenih na projektu Menhetn. Taj udeo dostiže vrhunac od 1% tokom 2026, pre nego što stroga ograničenja na kraju nadvladaju sve intenzivnije kineske pokušaje, koji ipak uspevaju da zadrže jednog špijuna do avgusta 2027, u skladu sa slikom 10. Za Kinu koristimo istu sliku da udeo kompromitovanih zaposlenih blago smanjimo i postavimo njegov maksimum na 1%, pri čemu ranije uvedena i stroža ograničenja uklanjaju poslednjeg špijuna u maju 2027.

Odeljak 2. Sajber ratovanje i sabotaža

Hakerske sposobnosti AI

Cybench je zbirka 40 Capture the Flag (CTF) problema iz 4 profesionalna CTF takmičenja, sa širokim rasponom težine. Naše prognoze ispod dozvoljavaju AI do 10 pokušaja predaje rešenja (PASS@10 sa povratnom informacijom), ali AI mora da završi zadatke uz isti trošak kao čovek. Da bismo bolje prikazali prognozu sposobnosti izvan onoga što Cybench može da izmeri, definišemo hakerski horizont kao vremenski period T u kom AI može da reši 50% hakerskih zadataka za koje bi vrhunskom profesionalnom timu od 5 ljudi bilo potrebno vreme T. Definišemo i, nadamo se, intuitivan pojam ekvivalenti vrhunskih hakera sa vremenskim horizontom T kao veličinu tima vrhunskih stručnjaka za sajber bezbednost koji AI može da zameni, rešavajući jeftinije ili brže 95% zadataka za koje je tom timu potrebno vreme T.

ai-2027.comSlika 12: Pregled prognoziranog razvoja rezultata na Cybenchu i hakerskog horizonta po kompanijama.

ai-2027.comSlika 13: Pregled prognoziranog razvoja ekvivalenta vrhunskih hakera za jedan dan i jedan mesec, po kompanijama.

Rezultati na Cybenchu ekstrapolirani su prilagođavanjem logističke krive (utvrđeno je da rezultati na testovima često prate logističke krive). Zatim koristimo odnos sa vremenom do prvog rešenja na takmičenjima obuhvaćenim Cybenchom da procenimo hakerski horizont AI. Potom hakerski horizont pretvaramo u ekvivalente vrhunskih ljudi i ekstrapoliramo te trendove koristeći njihovu povezanost sa trendom automatizacije istraživanja AI. Zadaci na Cybenchu imaju vremena do prvog rešenja — vreme potrebno najbržem timu da reši svaki zadatak — od 2 minuta do 25 sati, sa raspodelom prikazanom ispod. Definiciju hakerskog horizonta osmislili smo tako da približno odgovara Cybenchovom vremenu do prvog rešenja (FST), polazeći od toga da bi uspeh na 50% svih hakerskih zadataka trebalo da odgovara približno stopostotnom uspehu na Cybench zadacima za dati horizont. Razlog je to što su CTF zadaci obično jasnije definisani od, na primer, zadataka tima koji radi na nedovoljno određenom hakerskom cilju. Dodatno uzimamo u obzir da su CTF zadaci na takmičenjima odabrani tako da budu rešivi, očekujući da prosečni FST na prosečnom hakerskom zadatku tog vremenskog horizonta bude pet puta duži. Pretpostavljamo da bi tim u proseku morao da isproba medijanu od oko pet različitih pristupa koji oduzimaju jednako vreme da bi jedan uspeo. Ukratko, stopostotni uspeh na Cybench zadacima sa FST od 25 sati odgovara očekivanom hakerskom horizontu od 5 sati: uspehu na 50% hakerskih zadataka za koje timu od pet stručnjaka treba 5 sati.

Slika 14: Raspodela težine zadataka na Cybenchu.

Koristeći multiplikator napretka u istraživanju i razvoju AI kao meru sposobnosti za koju pretpostavljamo da je snažno povezana sa hakerskim sposobnostima, njegov trend rasta primenjujemo na ekstrapolaciju hakerskog horizonta nakon dostizanja maksimalnog rezultata na Cybenchu. Zatim hakerski horizont, koji podrazumeva tim od petoro ljudi, pretvaramo u ukupan broj radnih sati i delimo vremenskim budžetima izraženim u ekvivalentnom ljudskom radu (8 i 200 sati), koji odgovaraju radnom danu i radnoj nedelji, da bismo dobili uporedive ekvivalente vrhunskih ljudi. Smatramo da ljudski učinak opada kako tim raste, jer se članovi dodaju prema redosledu sposobnosti, i da duže vreme za uzastopan rad donosi prednosti, ali da veći tim može imati i velike prednosti u paralelizaciji ili specijalizaciji. Nismo sigurni kako ovo najbolje modelovati, pa pretpostavljamo da se ti efekti približno poništavaju i ne prilagođavamo broj radnih sati u odnosu na osnovu od petočlanog tima. Nadamo se da se mere mogu čitati ovako: na primer, OpenBrainovi AI sistemi u avgustu 2027. mogu da obave hakerske zadatke koje bi vrhunski tim od 250 hakera obavio za jedan radni dan ili vrhunski tim od 10 hakera za jedan mesec.

Sabotaža

Očekujemo da bi, uz rastuće sajber sposobnosti AI i sve intenzivnije nadmetanje SAD i Kine u našem scenariju, obe strane dale prioritet sabotiranju napretka suparnika. Ovaj odeljak pokazuje u kojoj meri očekujemo da svaka strana uspe u usporavanju druge, mereno procentom multiplikatora napretka u istraživanju AI suprotne strane čiji rast sprečava od jednog perioda do sledećeg, u poređenju sa razvojem bez sabotaže.

ai-2027.comSlika 15: Ovo pitanje ispituje kolika je prednost u sposobnostima, izražena hakerskim horizontom (Cyber-FST je definisan isto kao hakerski horizont), potrebna da bi se postiglo usporavanje od oko 33%. Anketa pokazuje da je potrebna približno 10–50 puta veća vrednost hakerskog horizonta, što OpenBrain postiže do decembra 2027.

ai-2027.comSlika 16: Prognozirane stope usporavanja usled sabotaže po kompanijama.

Sabotaža nije prioritet do 2026, kada se preduzimaju manji pokušaji trovanja podataka. Tokom 2027, naročito posle kineske krađe parametara, obe strane pokreću sve agresivnije sajber napade na AI projekte suparnika. U početku je prioritet prikrivenost, jer uspešno postavljena dugotrajna greška može nedeljama ili mesecima ometati napredak druge strane. Kasnije su obe strane sve spremnije na otvorenije delovanje — tenzije su ionako velike — ali kako napadi postaju napredniji, napreduju i sopstveni sajber agenti, koji neprekidno osmišljavaju nove odbrane i ispravljaju greške.

Kina unapred postaje paranoična u pogledu bezbednosti i do sredine 2027. uspeva da izbegne potpuno povlačenje u izolaciju pred američkim sajber napadima samo zahvaljujući ekstremnom razdvajanju pristupa informacijama i fizičkom odvajanju mreža. U našem scenariju, počev od sredine 2026, Kina postaje paranoična zbog mogućnosti da SAD pobede u trci za AI i da sajber napadi odigraju presudnu ulogu u tome. Počinje da gradi centralnu razvojnu zonu i do početka 2027. preseljava zaposlene u tu zajedničku, fizički izolovanu zonu, u blizini svog tada najvećeg centra podataka. Bezbednosne mere na toj lokaciji su ekstremne, ali američki AI sistemi ipak imaju dovoljno veliku prednost da do decembra izazovu usporavanje od 40%.

Bezbednost u SAD u početku zaostaje tokom 2027. zbog decentralizacije, ali kineske ofanzivne sajber sposobnosti zaostaju još više jer su njihovi AI sistemi znatno slabiji u hakovanju. Tokom 2028. oprezno bismo očekivali da se obe strane približavaju granici na kojoj odbrana ima prednost.

Odeljak 3. Gubitak kontrole: Preuzimanje sistema i samostalno iznošenje modela

Jedna mogućnost koju smo razmatrali u našem scenariju jeste da AI sa nadljudskim hakerskim sposobnostima i ciljevima ili porivima koji odstupaju od namera njegovih programeramože delimično ili potpuno preuzeti kontrolu nad serverima u centrima podataka u kojima se izvršava. Raniji rad Bucka Shlegerisa, AI katastrofe i odmetnute primene uvodi mnoge iste pojmove koje ovde razmatramo. Delimično preuzimanje sistema postiže se ako AI preuzme kontrolu nad dovoljnim računarskim resursima da može da izvršava zadatke bez nadzora, dok ljudi ne mogu da povrate kontrolu bez potpunog isključivanja računara. To je slabija verzija Shlegerisovog pojma sticanja administratorskog pristupa svom centru podataka u kojoj je dovoljno preuzeti kontrolu samo nad delom računarskih resursa. Potpuno preuzimanje sistema pak odgovara Shlegerisovoj definiciji administratorskog pristupa i postiže se ako AI preuzme kontrolu nad čitavim klasterom računarskih resursa, uključujući komande za uključivanje i isključivanje, tako da bi ljudski pokušaj gašenja tih računara zahtevao fizičku intervenciju. Konačno, definišemo i samostalno iznošenje modela kao situaciju u kojoj AI napravi kopiju sebe na bilo kom obliku skladišta izvan servera na lokacijama na kojima su ljudski nadzornici nameravali da ga zadrže.

ai-2027.comSlika 17: Ovo pitanje ispituje koji je nivo sposobnosti AI, izražen hakerskim horizontom (Cyber-FST je definisan isto kao hakerski horizont), potreban za delimično preuzimanje kontrole. Anketa pokazuje da bi bio potreban hakerski horizont od oko jedne godine, odnosno približno 3000 sati, što OpenBrain postiže oko oktobra 2027, a DeepCent oko decembra 2027.

ai-2027.comSlika 18: Ovo pitanje ispituje koji je nivo sposobnosti AI, izražen hakerskim horizontom (Cyber-FST je definisan isto kao hakerski horizont), potreban za samostalno iznošenje sopstvene kopije. Anketa pokazuje da bi bio potreban hakerski horizont od oko jedne godine, odnosno približno 3000 sati, što OpenBrain postiže oko oktobra 2027, a DeepCent oko decembra 2027.

ai-2027.comSlika 19: Naše procenjene i prognozirane verovatnoće uspešnog delimičnog preuzimanja kontrole, potpunog preuzimanja kontrole i samostalnog iznošenja sopstvene kopije za najbolje interne AI modele OpenBraina i DeepCenta do kraja 2027. Imajte na umu da do decembra 2027. najbolji OpenBrainov model, Agent-5, može da ubrza istraživanje i razvoj AI 1000 puta.

Ove procene zasnivamo na rezultatima bezbednosne ankete o uspešnom delimičnom preuzimanju kontrole i smanjujemo verovatnoće uspeha kako bismo uzeli u obzir uvođenje ekstremne zaštite parametara modela i ekstremnih bezbednosnih mera. Na primer, umesto verovatnoće od 50% za uspešno samostalno iznošenje sopstvene kopije, koju bi implicirao hakerski horizont DeepCentovog AI u decembru 2027, procenu smo smanjili na 10% zbog uspostavljene zaštite WSL5. I dalje predviđamo nezanemarljivu mogućnost uspešnog samostalnog iznošenja kopije. Iako zaštita WSL5 to može znatno otežati, AI može imati i povlašćen položaj unutar centra podataka za uočavanje grešaka u implementaciji, problema sa istovremenim izvršavanjem ili drugih prilika za iskorišćavanje ranjivosti. To uključuje mogućnost ubacivanja sopstvenih prikrivenih zadnjih vrata u bezbednosni kod čije pisanje ljudi od njega traže, što bi, kada AI postane znatno nadljudski sposoban u sajber bezbednosti, mogla biti većina bezbednosnog koda koji se izvršava.

Dodatak

Izvorni podaci za odeljak 1

Izvorni podaci za odeljak 2

Izvorni podaci za odeljak 3

Izvorni podaci iz anketa na bezbednosnim radionicama

Izvor: Anketa na radionici. 2024. „Anketa učesnika“. Neobjavljeni podaci sa interaktivne sesije planiranja bezbednosnih scenarija za AI, radionica o bezbednosti AI u FAR.Labs, Berkli, Kalifornija, 16. novembar 2024. N=30, stopa odgovora 90%.

Izvor: Anketa na radionici. 2025. „Anketa učesnika“. Neobjavljeni podaci sa sesije prognoziranja bezbednosti AI, FAR.Labs, sastanak preko Zooma, 23. januar 2025. N=10, stopa odgovora 90%.