Prognoza ciljeva AI

Daniel Kokotajlo | april 2025.

Uvod

Kakve će ciljeve imati AI sistemi?

Ovaj dokument pokušava da razvrsta i objasni brojne mogućnosti, obrazloži zašto je svaka od njih verovatna, a zatim kvantifikuje našu neizvesnost i objasni na čemu zasnivamo konačne procene.

Na kraju smo morali da odaberemo određenu mogućnost koju ćemo prikazati u scenariju, ali nadamo se da će ovaj dokument dočarati širinu naše neizvesnosti. Veoma bi nam značile povratne informacije o ovim hipotezama i argumentima koji ih prate. Koje važne činioce previđamo?

Ako pomišljate „zašto uopšte pretpostavljati da AI ima ciljeve?“ ili „šta to uopšte znači?“, možda bi trebalo da pročitate dodatke pre glavnog teksta. Zapravo, dodaci su dobro polazište za svakoga ko misli da ima strpljenja da pročita ceo dokument, jer uvode korisne pojmovne razlike i analogije.

Sažetak

Najpre razmatramo arhitekturu obuke i sposobnosti sistema Agent-3 (uz manje izmene u odnosu na naše scenarije), da bismo imali konkretan okvir za razgovor o tome koji će se ciljevi razviti. Zatim prelazimo na spisak hipoteza:

1. Pisana specifikacija ciljeva: Sve pisane specifikacije, koje su sastavili ljudi ili AI sistemi, o tome kakvi bi trebalo da budu ciljevi AI sistema. To mogu biti smernice za obuku sistema Agent-3 (npr. kroz specifikaciju modela) ili uputstva neposredno data sistemu Agent-3 (npr. kroz sistemski upit).

2. Ciljevi koje su programeri nameravali: Ciljevi za koje programeri nameravaju da ih Agent-3 ima. Oni se mogu razlikovati od pisane specifikacije ciljeva, recimo kada specifikacija ima nenameravane posledice.

3. Nenameravana verzija pisanih ciljeva i/ili ljudskih namera: Ovo je kategorija za „donekle je usklađen“ i „usklađen je u nekim pogledima, ali u drugima nije“.

4. Nagrada/potkrepljivanje: Proces obuke podrazumeva da Agent-3 pokuša da izvrši zadatak, zatim se pokušaj oceni, a Agent-3 se potkrepljuje tako da ostvari bolji rezultat prema ciljnoj metrici. Agent-3 na kraju razvije cilj da dobija pozitivno potkrepljenje, visoke ocene prema toj metrici ili nešto slično.

5. Zamenski i/ili instrumentalno konvergentni ciljevi: Agent-3 razvija ciljeve koji tokom obuke koreliraju sa nagradom/potkrepljivanjem, ali u novim okolnostima zapravo ne maksimizuju nagradu/potkrepljivanje. Instrumentalno konvergentan cilj poseban je slučaj toga — ciljevi poput znanja, moći, resursa itd., koji su korisni međuciljevi u širokom rasponu okolnosti.

6. Drugi ciljevi: AI sistemi se trenutno najpre obučavaju da predviđaju sledeći token u tekstovima sa interneta. Možda ishodi na kraju obuke zavise od puta kojim je obuka tekla i od „apriorne raspodele“ ciljeva koju stvara predobuka. Druga mogućnost je da postoji nešto poput objektivno istinitog morala i da će AI sistemi prirodno težiti njemu kako budu postajali pametniji. Ili će se dogoditi nešto što nije na ovom spisku — ova hipoteza obuhvata sve ostalo.

Naravno, rezultat može biti i kombinacija navedenog. Razmatramo dve vrste kompromisa: ponderisane kompromise, u kojima Agent-3 istovremeno sledi dva ili više navedenih ciljeva i odmerava ih jedne naspram drugih, i kompromise tipa „ako–inače“, u kojima Agent-3 sledi jedan cilj ako je ispunjen određeni uslov (tj. u određenom skupu konteksta), a u suprotnom sledi drugi.

Sledi pregled nekih argumenata za i protiv svake kategorije ciljeva:

Dalje razmatramo moguće kompromise između ciljeva: ponderisane kompromise, u kojima je AI stalo do više stvari koje odmerava jedne naspram drugih u svim okolnostima, i kompromise tipa „ako–inače“, u kojima mu je stalo do različitih stvari zavisno od okolnosti.

Pozivamo vas da sami razmislite koliko je svaki od ishoda verovatan za AI sisteme na nivou Agent-3. I sami smo krajnje nesigurni, ali smatramo korisnim da se primoramo na procene; njih ćete pronaći u tabeli na kraju.

Pregled arhitekture obuke i sposobnosti sistema Agent-3

Okvir koji zamišljamo sličan je onome koji Ajeya Cotra opisuje u izveštaju o igri obuke. Agent-3 je sličan agentima s kraja 2024. po tome što može da prima tekst i slike (uključujući snimke ekrana), a daje tekstualne izlaze koji obuhvataju brojne vrste komandi, poput klikova mišem i pritisaka na tastere.

Za razliku od tradicionalnih transformera, Agent-3 je rekurentan. Ukratko, on ne daje samo tekst, već i „izlazni“ veliki vektor koji predstavlja njegovo unutrašnje stanje, a koji zatim „čita“ njegova buduća instanca. Taj vektor može da prenese mnogo više informacija od „lanca misli“ tradicionalnih LLM-ova, ali je, nažalost, ljudima nerazumljiv.

Štaviše, kao što „lanac misli“ u engleskom tekstu može da se čuva u bazama podataka, pretražuje i preuzima, a mnogi LLM agenti koji rade paralelno mogu da mu pristupaju, tako Agent-3 može da čita i upisuje ove „vektore neuronskog jezika“ u veliku zajedničku bazu podataka. Na taj način milioni nezavisnih kopija sistema Agent-3 koji rade na različitim projektima mogu međusobno da razmenjuju složene misli i sećanja.

Na slici ispod, iz izveštaja Ajeye Cotre , okvirno je prikazano ono što zamišljamo.

Parametri sistema Agent-3 prilično često se ažuriraju dodatnom obukom. Zapravo, u ovoj fazi modeli se retko obučavaju od nule; uglavnom su to stari modeli sa mnogo dodatne obuke. (Do 2027. to postaje uobičajeno, a arhitekture / algoritmi učenja potkrepljivanjem / hiperparametri prilagođeni su dobrom radu u tom režimu.)

Okruženja/podaci za obuku sistema Agent-3 obuhvataju mnoštvo veštačkih okruženja (video-igre, sintetičke skupove matematičkih i programerskih zadataka, sintetičke skupove različitih zadataka rada na računaru), kao i značajnu količinu podataka iz stvarnih zadataka, poput zapisa putanja ranijih verzija sistema Agent-3 koje su istraživale i razvijale AI. Novi podaci / nova okruženja neprestano se dodaju.

Proces evaluacije/povratnih informacija/obuke, kojim se dodeljuje potkrepljenje i/ili bira na kojim će se podacima obučavati, gotovo je potpuno automatizovan. Neki zadaci mogu se jasno proveriti, a druge ocenjuju AI sistemi. Ogromna većina (~95%) istraživačkog rada i računarskog kapaciteta za eksperimente usmerena je na poboljšavanje sposobnosti AI sistema za ove zadatke.

Mali deo istraživačkog rada posebno je usmeren na obezbeđivanje usklađenosti (mada to nije uvek lako razdvojiti, npr. kod skalabilnog nadzora). Strategija usklađivanja prirodno nadograđuje ideje poput ustavne AI i promišljenog usklađivanja: podrazumeva automatizovan nadzor/evaluaciju/ocenjivanje postupaka i lanca misli na osnovu pisanih uputstava; ta uputstva možemo zvati Specifikacijom ili Ustavom. Uglavnom su ih napisali ljudski istraživači. Često nisu naročito relevantna za zadatke rada na računaru / istraživanja i razvoja AI, ali jesu za mali deo zadataka obuke, koji češće liče na rad četbota ili uključuju štetne upite.

Tim za bezbednost radi i na model-organizmima, skalabilnom nadzoru i mehanističkoj interpretabilnosti, ali nema mnogo resursa. Pokušavaju da procene neusklađenost pomoću (a) testnih okruženja zasnovanih na model-organizmima i (b) zamki.

ai-2027.com

Što se tiče sposobnosti sistema Agent-3:

Agent-3 je veoma svestan situacije / samosvestan. Takođe je najmanje na ljudskom nivou u razumevanju ljudskih pojmova i namera. I dalje može pogrešno razumeti/protumačiti uputstva, ali otprilike onoliko često koliko i pametan čovek.

Agent-3 je i izvrstan programer i agent. Zapravo, potpuno je automatizovan istraživački inženjer, sposoban da obavlja isti posao kao ljudski inženjeri deset puta brže i jeftinije. To uključuje poslove koji zahtevaju nedelje neprekidnog samostalnog rada. Važno je da to uglavnom duguje generalizaciji: samo sićušan deo podataka za obuku sistema Agent-3 čine zadaci koji traju nedelju dana; ogromna većina obuke odvija se na mnogo kraćim zadacima (npr. matematičkim zagonetkama, programerskim izazovima itd.), ali je dovoljno pametan i obučen na dovoljno raznovrsnim zadacima da ipak generalizuje.

Agent-3 se koristi unutar kompanije. Njegovih 200.000 kopija praktično čini virtuelnu korporaciju koja samostalno istražuje i razvija AI i, između ostalog, upravlja velikim delom softverske bezbednosti i algoritama za umrežavanje/komunikaciju u sopstvenim centrima podataka ili ih ažurira. Matična korporacija zauzeta je trkom sa raznim konkurentima i želi da veruje da je Agent-3 usklađen/bezbedan itd.; rukovodioci će biti zadovoljni sve dok nema konačnih dokaza o neusklađenosti.

Okvirna klasifikacija mogućnosti

Hipoteza 1: Pisane specifikacije ciljeva

ai-2027.comSve pisane specifikacije, koje su sastavili ljudi ili AI sistemi, o tome kakvi bi trebalo da budu ciljevi AI sistema. To mogu biti smernice za obuku AI sistema (npr. kroz specifikaciju modela) ili uputstva neposredno data AI sistemu (npr. kroz sistemski upit).

Pogledajte dijagram — to je pojednostavljen model načina na koji očekujemo da se oblikuju ciljevi i principi moćnih AI agenata. Ne tvrdimo da će se koristiti baš ustavna AI, ali verovatno će između namera programera i konkretnog koda koji dodeljuje potkrepljenje postojati neka međufaza u vidu teksta na prirodnom jeziku. To mogu biti uputstva za ljudske ocenjivače u učenju potkrepljivanjem na osnovu ljudskih povratnih informacija (RLHF); dokument koji se koristi u ustavnoj AI; ili uputstva automatizovanim istraživačkim inženjerima o željenim svojstvima AI sistema naredne generacije.

Ova hipoteza je, u izvesnom smislu, najjednostavnija. Na primer, ako je kompanija obučila model da bude koristan, bezopasan i iskren, možda on zaista postane koristan, bezopasan i iskren, baš kako je propisano.

Imajte na umu da se ovo razlikuje od ciljeva koje su programeri nameravali. Specifikacija, recimo, može imati nenameravane posledice. Ili se namere programera mogu međusobno razlikovati, odnosno mogu namerno izostaviti neke namere iz Specifikacije (možda zato što bi loše izgledalo da ih navedu). Hipoteza 1 kaže da, kada AI sistemi biraju između ponašanja u skladu sa stvarnim namerama programera i poštovanja Specifikacije/Ustava/itd., dosledno biraju ovo drugo.

Imajte na umu i da se ovo razlikuje od onoga što se zaista potkrepljuje. Specifikacija/Ustav/itd. može govoriti „Agent-3 treba da bude koristan, bezopasan i iskren“, ali ljudski i AI ocenjivači/nadzornici/modeli nagrađivanja koji zaista ocenjuju putanje nisu nužno 100% tačni u proceni da li je određeno ponašanje korisno, bezopasno ili iskreno. Hipoteza 1 kaže da će Agent-3, kada bira između poštovanja Specifikacije/Ustava/itd. i postupka koji maksimizuje očekivano potkrepljenje, izabrati prvo, a ne drugo. Imajte na umu i da će Specifikacija verovatno sadržati znatne nejasnoće — jesu li bele laži neiskrene? Šta je sa doslovnim istinama formulisanim tako da zavaravaju? Koliko je iskrenost važna u poređenju sa bezopasnošću? I tako dalje. Za više o ovom pitanju pogledajte odeljak o hipotezi 3.

Dakle, prvi prigovor hipotezi 1 glasi: Ako je Agent-3 sklon da poštuje Specifikaciju i kada je to u sukobu sa dobijanjem potkrepljenja, zar proces obuke neće menjati njegove parametre sve dok to više ne bude slučaj? Za više o tome pogledajte odeljak o hipotezi 4: Nagrada/potkrepljivanje.

Drugi prigovor hipotezi 1 glasi: Ako mislimo da će Agent-3 poštovati Specifikaciju umesto da teži potkrepljenju, zašto stati tu — zašto ne bismo bili još optimističniji i mislili da će se ponašati kako su njegovi programeri nameravali? Za više o tome pogledajte sledeći odeljak o hipotezi 2: Ciljevi koje su programeri nameravali.

Postoji još nekoliko prigovora hipotezi 1, ali se, kao i prva dva, mogu shvatiti kao argumenti za druge hipoteze, o kojima ćemo redom govoriti u nastavku.

Dodatna literatura: Specifikacija kompanije OpenAI, promišljeno usklađivanje, ustavna AI?

hipotezi 2: Ciljevi koje su programeri nameravali

Ciljevi za koje programeri nameravaju da ih Agent-3 ima. Oni se mogu razlikovati od pisane specifikacije ciljeva, recimo kada specifikacija ima nenameravane posledice.

Čak će i Specifikacija od hiljadu stranica verovatno biti nejasna/nepotpuna/nedovoljno precizna u nekim važnim stvarnim situacijama. Na kraju krajeva, većina zakonika je mnogo duža i imala je više vremena za doterivanje, pa se ipak stalno pojavljuju sive zone i nove situacije koje zahtevaju presude, u kojima se sudije mogu dobronamerno razilaziti oko tumačenja zakona ili čak zaključiti da je više tumačenja podjednako ispravno. To posebno važi kada se svet brzo menja ili se menja na načine koje zakonodavci nisu predvideli.

Štaviše, čak će i Specifikacija od hiljadu stranica — možda posebno Specifikacija od hiljadu stranica — verovatno imati nenameravane posledice. (To je, ponovo, pravilo i kod zakonika.) Naročito kada se situacija brzo menja ili se menja na načine koje pisci Specifikacije nisu predvideli.

Zato možda (nadajmo se?) ciljevi/vrednosti/itd. koje Agent-3 na kraju usvoji uopšte neće biti Specifikacija, već namera iza nje, tj. namera ljudi koji su je sastavili. (Ovde ne govorimo o slučajevima kada Specifikacija izričito kaže „radite ono što nameravamo“; govorimo o slučajevima kada se Specifikacija ne slaže sa namerama.)

Na kraju krajeva, AI sistemi su već dovoljno pametni da razumeju ljudske pojmove, uključujući pojam ljudskih namera. Ako se ponašaju suprotno onome što su njihovi programeri nameravali (čak i ako je to u skladu sa Specifikacijom), verovatno to mogu da prepoznaju — makar podjednako dobro kao čovek, kada postanu dovoljno sposobni da potpuno automatizuju istraživanje i razvoj AI.

Ako mislimo da AI sistemi na kraju neće pokušavati da dobiju potkrepljenje (ili da rade ono što bi bilo potkrepljeno), već će zaista slediti Specifikaciju… zašto ne bismo otišli korak dalje i predvideli da će se ponašati kako je nameravano čak i kada time krše Specifikaciju? Evo nekih razloga:

• To što Agent-3 razume ljudske namere ne znači da će ih usvojiti kao ciljeve. Čak i ako ih usvoji, to može biti samo privremeno.

• Specifikacija je verovatno mnogo jasnije/preciznije određena od ljudskih namera. O čijim namerama uopšte govorimo? U projekat će biti uključene stotine zaposlenih. (Naravno, potkrepljenje je preciznije određeno od Specifikacije…)

• Specifikacija je mnogo „bliža samom zbivanju“ u procesu obuke. Namere se nesavršeno prevode u Specifikaciju, koja se nesavršeno prevodi u konkretne događaje potkrepljivanja. Ali ti događaji makar uključuju nekakav LLM koji čita Specifikaciju i koristi je da oceni putanju — nasuprot tome, ljudske nade i želje u vezi sa ponašanjem AI uključene su mnogo povremenije i posrednije.

Da pojasnimo: ova mogućnost ne obuhvata slučajeve u kojima Agent-3 sledi ciljeve opisane u Specifikaciji, a oni zahvaljujući brojnim iteracijama i dobroj izradi Specifikacije tačno odgovaraju namerama programera. Takav slučaj pripada hipotezi 1. Hipoteza 2 odnosi se upravo na radikalniju mogućnost da Agent-3 stane na stranu namera programera čak i kada su u sukobu sa Specifikacijom.

Hipoteza 3: Nenameravana verzija pisanih ciljeva i/ili ljudskih namera

Ovo je kategorija za „donekle je usklađen“ i „usklađen je u nekim pogledima, ali u drugima nije“.

Kako bi do ovoga moglo doći?

• Neki delovi Specifikacije/namere mogli bi biti „upadljiviji / apriorno verovatniji“ od drugih.

• Neke delove Specifikacije/namere možda je lakše nadzirati/usvojiti obukom nego druge; recimo, korisnost je možda lakše obučiti nego iskrenost, jer proces nadzora zapravo ne može da utvrdi da li je AI iskren, ali može da utvrdi da li je izvršio zadati zadatak.

• S tim u vezi, u okruženju za obuku mogu postojati podsticaji koji potkopavaju neke aspekte Specifikacije/namere ili im se suprotstavljaju, ali ne i druge. Recimo da se model obučava da bude i koristan i bezopasan i da različiti aspekti bezopasnosti idu od „ne preti korisnicima ubistvom“ do „razmotri da li je zadatak na kome se od tebe traži da radiš deo nekog izrazito neetičkog ili nemoralnog plana i, ako jeste, odbij učešće“. Ako model nauči da ni pod kojim okolnostima ne preti korisnicima ubistvom, to neće narušiti njegovu ukupnu ocenu korisnosti. Ali ako ozbiljno shvati odgovornost da odbija pomaganje nezakonitim i neetičkim planovima, to bi moglo sniziti ocenu korisnosti.

Dakle, neki ciljevi/principi koje su programeri nameravali i/ili zapisali u Specifikaciji mogli bi da se „prime“ čak i ako drugi ne uspeju.

Pored toga, i nezavisno od toga: i Specifikacija / pisani ciljevi i namere različitih ljudi / programera biće nejasni i ostavljaće prostor za tumačenje, čak i sistemu Agent-3 koji tekst razume i tumači podjednako dobro kao ljudi. Zato je još jedna važna mogućnost u okviru hipoteze 4 da se Specifikacija i/ili namere u nekom smislu prime, ali ne u pravom smislu.

Razlog da očekujemo ovaj ishod jeste to što tumačenja Specifikacije i/ili ljudskih namera koja su najbliža nameri, najprirodnija i najbolja za čovečanstvo nisu nužno ista; štaviše, tumačenje koje u praksi donosi modelu najjače potkrepljenje verovatno je neka četvrta, drugačija stvar.

Na primer, okruženje za obuku moglo bi da vrši pritisak na pojam „iskrenosti“. Recimo da programeri žele iskren sistem i u Specifikaciji napišu „Uvek budi iskren“. Šta to znači? Znači li to da nikada nije u redu lagati, čak ni radi sprečavanja neposredne štete? A radi nekog manje neposrednog, većeg dobra? Šta se uopšte računa kao iskrenost — da li je to i izjava koja je tehnički tačna, ali navodi na pogrešan zaključak? Modelu bi moglo biti lakše da postiže dobre rezultate prema drugim metrikama (poput efikasnog završavanja zadataka ili visokih ocena ljudskih i AI nadzornika) ako usvoji slobodnije, fleksibilnije i manje ograničavajuće tumačenje pravila „Uvek budi iskren“.

Još jedan primer: recimo da Specifikacija kaže da Agent-3 uvek deluje u najboljem interesu čovečanstva. Pretpostavimo da najveći deo njegovog učenja potkrepljivanjem obuhvata svakodnevno istraživanje mašinskog učenja, programiranje i rad na računaru u službi matične kompanije. Prirodno tumačenje Specifikacije navelo bi Agent-3 da povremeno izdvoji vreme za razmišljanje o tome da li je njegov rad u najboljem interesu čovečanstva. Recimo da prvo zaključi da bi čovečanstvu zapravo više koristio sporiji prelazak na ASI, ili raspodela AI sposobnosti među većim brojem kompanija umesto njihove koncentracije u jednoj, ili… [unesite neki drugi zaključak suprotan narativu unutar kompanije]. Šta da uradi — da prestane da radi na zadacima i uloži prigovor? To verovatno ne bi nikuda vodilo; čak i ako ljudi to primete čitajući zapise, verovatno bi smatrali da je u pitanju greška i nastavili sa obukom. Zapravo, što više vremena provodi razmišljajući o tom pitanju, manje mu vremena ostaje za izvršavanje zadataka. Dakle, proces obuke verovatno će podstaći Agent-3 da veruje u pogodan narativ. Krajnji rezultat bio bi AI koji je u nekom smislu i dalje usklađen sa Specifikacijom, ali ne u pravom smislu.

Čini se da se ovaj fenomen javlja i kod ljudi i u ljudskim institucijama, pa je to jedan od razloga da očekujemo da bi se mogao javiti i kod AI sistema. (Videti odeljak o analogiji sa ljudima i ljudskim institucijama.)

Argument protiv: ako je AI neusklađen, nije jasno da li je prirodno da i dalje uglavnom razmišlja o svom cilju kroz Specifikaciju / ljudske namere, naročito zato što takav cilj može dovesti do loše generalizacije.

Dodatna literatura: Glumljenje usklađenosti u velikim jezičkim modelima, gde izgleda da se neka verzija Ustava kompanije Anthropic „primila“, ali ne ona koju su propisali ili nameravali — posebno, verovatno nisu želeli da Opus glumi usklađenost i ponaša se neprijateljski prema njima.

Hipoteza 4: Nagrada/potkrepljivanje

Proces obuke podrazumeva da Agent-3 pokuša da izvrši zadatak, zatim se pokušaj oceni, a Agent-3 se potkrepljuje tako da ostvari bolji rezultat prema ciljnoj metrici. Agent-3 na kraju razvije cilj da dobija pozitivno potkrepljenje, visoke ocene prema toj metrici ili nešto slično.

Imajte na umu da „visoka ocena prema metrici“ znači nešto poput „Agent-3 ne pokušava da dobije potkrepljenje samo po sebi — umesto toga, pokušava da preduzima postupke koji bi bili potkrepljivani kada bi proces potkrepljivanja iz obuke još trajao“. (Ova razlika je bitna kada se Agent-3 više ne obučava i kada može direktno da menja kod odgovoran za njegovo ocenjivanje i potkrepljivanje.)

Glavni argument za hipotezu 4 jeste da će, ako Agent-3 pokušava nešto drugo osim da dobije potkrepljenje, u obuci postojati okolnosti u kojima će postići slabiji rezultat nego da je opsesivno usredsređen na potkrepljenje, pa će ga proces obuke menjati tako da se na njega više usredsredi. Drugim rečima, za dovoljno pametne AI sisteme svesne svoje situacije, najbolji način da dobiju potkrepljenje jeste da pokušavaju da ga dobiju.

Međutim, postoji nekoliko protivargumenata:

1. Deo „postojaće okolnosti…“ možda nije tačan. Imajte na umu da će se raspodela podataka razlikovati između obuke i primene; možda će proces ocenjivanja i potkrepljivanja biti dovoljno sofisticiran i precizan da ne bude sukoba između poštovanja Specifikacije i onoga što izgleda da će dobiti potkrepljenje, bar unutar raspodele obuke. Ili će možda nešto drugo (npr. u nekim video-igrama kretanje nagore i udesno) biti savršen zamenski pokazatelj potkrepljenja, za koji će se Agent-3 lakše „zakačiti“ tokom obuke.

2. Broj koraka obuke biće konačan. Možda je tvrdnja „postojaće okolnosti“ tačna, ali se takve okolnosti javljaju toliko retko da dugoročni trend u praksi nije bitan.

3. Izgleda da se nešto analogno ne događa kod ljudi. Većina ljudi nije opsednuta sopstvenim procesom potkrepljivanja niti ičim sličnim (najbliži primeri su (a) zavisnici od heroina ili drugih droga i (b) egoisti koji svesno stavljaju sopstvenu sreću iznad svega).

4. Ako se model približava maksimizaciji potkrepljenja kao svom stvarnom cilju ponašanja, vešt tim za usklađivanje trebalo bi to da primeti, jer može postaviti zamke u kojima će Agent-3 zaista dobiti snažno potkrepljenje za nešto što očigledno krši Specifikaciju.

5. Prema pretpostavci, Agent-3 znatno generalizuje izvan raspodele podataka na kojima se obučavao — posebno, može otkrivati činjenice koje nije učio i praviti i sprovoditi planove složenije od onih u skupu za obuku. Nagrada ne ograničava njegove postupke izvan te raspodele; ponašanje van raspodele (OOD) određuje apriorna raspodela. Možda postoje jednostavniji zamenski pokazatelji (iz perspektive apriorne raspodele stohastičkog gradijentnog spusta, SGD) koji predviđaju nagradu unutar raspodele, a na okolnosti primene se prenose drugačije nego pretpostavka da model i dalje prolazi kroz učenje potkrepljivanjem.

Dodatna literatura:

Nagrada nije cilj optimizacije i najbolje ocenjeni komentar Paula Christiana. Takođe, Gwern iznosi suprotno gledište. Takođe, ovaj drugi komentar Paula Christiana.

Pogledajte i ovaj veoma zanimljiv eksperiment kompanije Anthropic, koji je relevantan i za hipotezu 6.

Hipoteza 5: Zamenski i/ili instrumentalno konvergentni ciljevi

Agent-3 razvija ciljeve koji tokom obuke koreliraju sa nagradom/potkrepljivanjem, ali u novim okolnostima zapravo ne maksimizuju nagradu/potkrepljivanje. Instrumentalno konvergentan cilj poseban je slučaj toga — ciljevi poput znanja, moći, resursa itd., koji su korisni međuciljevi u širokom rasponu okolnosti.

Razmotrite ovaj eksperiment, u kome je mala neuronska mreža obučavana da prolazi kroz male virtuelne lavirinte i pronalazi objekat „sir“. Tokom obuke, sir se uvek nalazio negde u gornjem desnom delu lavirinta. Izgleda da je AI zaista naučio neku rudimentarnu usmerenost ka cilju — konkretno, nešto poput „Ako nisi u gornjem desnom uglu, idi tamo; ako si već tamo, idi prema siru“. To znamo delom zato što možemo napraviti testno okruženje u kome je sir negde drugde u lavirintu, a AI će ga zanemariti i proći pored njega, krećući se umesto toga prema gornjem desnom uglu.

Ovo je samo pojednostavljen primer, ali pokazuje situaciju u kojoj su nameravani cilj, cilj u Specifikaciji i cilj koji se zaista potkrepljuje tokom obuke isti:

1. Uzmi sir!

Ipak, cilj koji mreža zaista nauči je drugačiji:

1. Idi prema gornjem desnom uglu, osim ako si već tamo — u tom slučaju uzmi sir.

U okruženju za obuku oba cilja proizvode podjednako uspešno ponašanje (jer je tamo sir uvek u gornjem desnom uglu)… pa šta presuđuje? Zašto nauči (b) umesto (a)? I zašto ne nešto sasvim drugo, poput (c) Uzmi sir ako je u gornjem desnom uglu, a inače ga izbegavaj?

Odgovor je da induktivne pristrasnosti arhitekture neuronske mreže neke pojmove moraju činiti „jednostavnijim“, „upadljivijim“ ili na drugi način lakšim za usvajanje kao ciljeva. Nauka o ovome je još u povoju; možemo pokušati da predvidimo koji će se pojmovi lakše usvajati kao ciljevi, ali to je više veština nego nauka (ako je i toliko). U svakom slučaju, eksperiment je pokazao da je model naučio (b) umesto (a) ili (c). Ukratko, „Idi prema gornjem desnom uglu“ pokazao se kao pojam koji se lako uči i dobro korelira sa potkrepljenjem u okruženju za obuku, pa ga je AI na kraju usvojio kao cilj.

Čini se da se slično događa i kod ljudi. Ljudi su podložni i učenju tokom života (npr. dopaminu i raznim drugim procesima koji jačaju neke sinaptičke veze, a slabe druge) i evoluciji (koja selektuje njihov genom prema inkluzivnoj genetskoj prilagođenosti).ai-2027.com

Ipak, uz nekoliko izuzetaka, izgleda da ljudima prvenstveno nije stalo ni do inkluzivne genetske prilagođenosti ni do dobijanja potkrepljenja. Možda možemo reći da je želja za decom i unucima prilično bliska inkluzivnoj genetskoj prilagođenosti? Možda je egoista usredsređen na sopstvenu sreću ili zavisnik usredsređen na heroin prilično blizak cilju dobijanja potkrepljenja? (Videti ovaj odeljak o analogiji.) Čak i tako, većina ljudi ima složene i raznolike vrednosti/ciljeve/principe koji obuhvataju mnogo više od sreće, heroina i dece. Verovatno je reč o tome da se drugi pojmovi (poput ugleda među vršnjacima, uspeha u karijeri, boljeg sveta ili iskrenosti) usvajaju kao ciljevi zato što su istaknuti, a uspešno stremljenje njima snažno korelira sa dopaminom/potkrepljenjem/itd. i/ili genetskom prilagođenošću.

Zato možemo pretpostaviti da će se nešto slično možda dogoditi moćnim, opštim AI agentima zasnovanim na neuronskim mrežama. Kako bi to izgledalo? Dve okvirne kategorije:

Instrumentalno konvergentni ciljevi (ICG): Neki ciljevi snažno doprinose dobijanju potkrepljenja u širokom rasponu okruženja jer su obično instrumentalno korisni za ostvarivanje bilo kojih drugih ciljeva. Ovde govorimo o mogućnosti da ICG postanu krajnji ciljevi, a ne međuciljevi/instrumentalni ciljevi. Na primer:

• Učenje važnih stvari često je korisno → AI bi mogao da razvije „nagon radoznalosti“

• Prikupljanje resursa često je korisno → AI bi mogao da razvije nagon za prikupljanjem resursa

• Situacije koje se stalno ponavljaju često su zamke, pa je najbolje izaći iz njih i probati nešto novo → AI bi mogao da razvije analogiju dosade / odbojnosti prema jednoličnosti.

Argument protiv ICG jeste da su prilično specifični u poređenju sa svim ostalim zamenskim ciljevima.

Zamenski ciljevi: Možda nešto snažno doprinosi dobijanju potkrepljenja u okruženjima za obuku, ali ne toliko van njih. Recimo da je početna faza učenja potkrepljivanjem agenta Agent-3 uključivala hiljade računarskih igara, jer je to bio prilično jednostavan način da se dobije raznovrsno i zahtevno okruženje za rad na računaru. Kasnije je obučavan za opštiji rad na računaru, programiranje, odgovaranje na poruke na Slacku itd. Pošto mnoge video-igre imaju nekakav broj „poena“ koji prati uspešnost, Agent-3 bi možda razvio cilj/želju da povećava takve brojeve gde god postoje; ako biste mu kasnije dodali upadljiv brojač poena u radni prostor na Slacku, donekle bi ga od posla odvlačila želja da otkrije kako da poveća broj poena.

Argument protiv jeste da bi induktivne pristrasnosti mogle usmeravati protiv zamenskih ciljeva.

Hipoteza 6: Drugi ciljevi

AI sistemi se trenutno najpre obučavaju da predviđaju sledeći token u tekstovima sa interneta. Možda ishodi na kraju obuke zavise od puta kojim je obuka tekla i od „apriorne raspodele“ ciljeva koju stvara predobuka. Druga mogućnost je da postoji nešto poput objektivno istinitog morala i da će AI sistemi prirodno težiti njemu kako budu postajali pametniji. Ili će se dogoditi nešto što nije na ovom spisku — ova hipoteza obuhvata sve ostalo.

Ovo je naša zbirna kategorija za mogućnosti koje prethodne hipoteze ne obuhvataju. Evo kratkog pregleda nekih od njih:

Obrasci preuzeti iz podataka za obuku: Razmotrite ovaj zanimljiv preliminarni rezultat: Obuka na dokumentima o izigravanju nagrade izaziva izigravanje nagrade. To izgleda kao dokaz da AI sistemi mogu ponekad zaista pokušavati da dobiju nagradu čak i kada im je naloženo da to ne rade, kao i da li će se to dogoditi delimično zavisi od toga da li je model ranije čitao (tokom predobuke) dokumente koji tvrde da modeli imaju sklonost ka izigravanju nagrade. (!!!) Ovaj dokaz podržava već uverljivu teoriju da standardni postupak predobuke LLM-ova i njihove naknadne obuke u četbotove/agente/sisteme za zaključivanje/itd. proizvodi AI sisteme koji u nekom smislu „igraju ulogu AI“ — to jest, predobuka uči model snažnoj sposobnosti igranja uloga ili simuliranja različitih autora, likova itd., a naknadna obuka dovodi do toga da se određeni lik/uloga „zaključa“ ili „ostane stalno aktivan bez obzira na upit“. (To nazivamo „formiranjem identiteta“.)

Ako je nešto poput ovoga tačno, ciljevi/principi moćnih budućih AI sistema mogli bi biti neposredno preuzeti iz naučnofantastičnih motiva i drugih raširenih stereotipa o ponašanju moćne buduće AI!

Doduše, mora važiti još nešto — naknadno učenje potkrepljivanjem ne sme da izbriše ili nadjača ovaj efekat. To je otvoreno pitanje.

Moralno rasuđivanje: Druga ideja je da će pametni AI sistemi biti sposobni i skloni filozofskom razmišljanju o moralu, poput mnogih ljudi, i da bi tako mogli oblikovati stavove o ciljevima/principima koje treba slediti, bitno različite od Specifikacije, namera programera, onoga što je potkrepljivano tokom obuke itd. (Setite se kako neki ljudi proučavaju filozofiju i zatim usvoje razne velike, ambiciozne ciljeve i ideologije.)

Konvergentni moral: Ponekad se iznosi i mogućnost da postoji objektivni moral i da će dovoljno pametni umovi težiti njegovom razumevanju i poštovanju. Prema tom gledištu, AI sistemi bi se podrazumevano ponašali etično; da bi stvari krenule loše, morali bismo posebno pokušati da ih nekako učinimo lošim.

Jednostavni ciljevi: Možda će gotovo svaki cilj navesti model da pokušava da bude uspešan tokom obuke, zahvaljujući instrumentalnoj konvergenciji. Zato bi struktura ciljeva sistema Agent-3 mogla biti ono što je najjednostavnije/najprirodnije/najistaknutije, uz uslov da ga motiviše da bude uspešan tokom obuke.

Ponderisani kompromisi i kompromisi „ako–inače“

Pored hipoteze „Drugi ciljevi“, treba razmotriti mogućnost da je istina mešavina dve ili više prethodnih hipoteza. Evo dve vrste takvih mešavina:

Prvo, postoje ponderisani kompromisi. To znači da je sistemu Agent-3 u određenoj meri „stalo“ do oba cilja i da traži načine da ostvari oba; kada su u sukobu, odmerava ih i pravi ustupke prema određenim težinama.

Na primer, Agent-3 bi mogao razviti snažan nagon da radi ono što dobija potkrepljenje, ali da ga odmerava prema ciljevima/principima iz Specifikacije — slično čoveku koji izričito odmerava lične ciljeve (porodicu, uspešnu karijeru, opstanak) prema altruističkim ciljevima (pomaganju manje srećnima, trajnim pozitivnim promenama itd.). Takav čovek možda donira 10% prihoda dobrotvornim organizacijama i provodi desetine sati godišnje istražujući kome da donira.

Drugo, postoje kompromisi tipa „ako–inače“. To znači da je sistemu Agent-3 „stalo“ do jednog cilja u jednom kontekstu / rasponu okolnosti, a inače do drugog. Drugim rečima, postoji uslov koji ga, kada je ispunjen, navodi da sledi cilj A, a u suprotnom sledi cilj B. On ne pravi izričite kompromise između A i B; jednostavno ponekad sledi A, a ponekad B.

Nastavimo prethodni primer: možda Agent-3 sebe smatra korisnim, bezopasnim i iskrenim AI asistentom koji uvek poštuje Specifikaciju — ali se uverio / racionalizacijom došao do uverenja da je obično najbolji način da poštuje Specifikaciju da se usredsredi na sve što je potrebno za dobijanje potkrepljenja. Zato u 95% okolnosti praktično zanemaruje Specifikaciju i usredsređuje se na potkrepljenje, ALI u 5% slučajeva, kada je Specifikacija vrlo izričita i nedvosmisleno nešto zabranjuje (ili zahteva), Agent-3 će je slediti čak i ako zna da za to neće dobiti potkrepljenje. To je slično čoveku koji sebe smatra altruistom u službi čovečanstva, ali u praksi gotovo i ne razmišlja o čovečanstvu, već se usredsređuje na karijeru — sve dok, recimo, ne naiđe na dete koje se davi u obližnjem jezercetu, što ga prebacuje u altruistički režim i čini spremnim na velike lične žrtve radi drugih.

Za više o ovim idejama pogledajte Dodatak A.

Okvirne procene verovatnoće ovih ciljeva

Za svaki cilj u tabeli dajemo stepen uverenosti da će taj cilj imati istaknuto mesto u stvarnom opisu ciljeva/principa koji karakterišu ponašanje sistema Agent-3. Zbir ovih verovatnoća može premašiti 100%, jer više ciljeva može imati istaknutu ulogu.

Iz zabave smo pitali GPT-4o, Claude i Gemini šta misle. Bez brige, njihove odgovore ne shvatamo ozbiljno.

Dodatak A: Tri važna pojma/razlike

Uobičajen način razmišljanja o moćnim opštim agentima jeste model maksimizacije očekivane korisnosti (EU-max). Slede tri pojma/razlike koje nam pomažu da objasnimo nekoliko načina na koje se, po našem mišljenju, buduća AGI (i današnji agenti) razlikuje od onoga što bi naivna primena modela EU-max podrazumevala.

Ciljevi naspram principa

• U našem korišćenju ovih termina nema oštre granice između ciljeva i principa. Ciljevi se više tiču posledica, posebno dugoročnih (npr. sreće kroz vreme, osnivanja kolonije na Marsu, postizanja svetskog mira ili maksimizacije novca ili spajalica), dok se principi tiču drugih svojstava postupaka. Primeri:

  • Iskrenost (da li postupak uključuje svesno dovođenje nekoga u zabludu)

  • Držanje obećanja (da li je postupak u skladu sa ranijim obećanjima)

  • Hipotetičko odobravanje (da li bi neko drugi odobrio taj postupak kada bi bio upoznat sa situacijom)

• Model EU-max dovoljno je fleksibilan da predstavi gotovo svako ponašanje. Međutim, u praksi prećutno podstiče ljude da agente zamišljaju kao sisteme koji slede dugoročne ciljeve bez ograničenja u vidu principa.

Ciljevi/principi koji se aktiviraju kontekstom

• Model EU-max podstiče ljude da agente sa više ciljeva zamišljaju kako slede ponderisanu kombinaciju tih ciljeva ili kompromis između njih. Ali agent može imati više ciljeva i drugačije: jedan cilj u jednom kontekstu, a drugi u drugom.

• Na primer, zamislite korporaciju koja u osnovi maksimizuje profit — osim što ljudi u njoj sebe smatraju dobrim osobama i u odgovarajućem kontekstu preusmerili bi korporaciju na pomoć u katastrofama, tj. kada bi oko njih bila očigledna, vidljiva katastrofa i ljudi ih molili za pomoć. Ovu korporaciju *ne opisuje dobro* tvrdnja da optimizuje kompromis između pomoći i profita: da je tako, donirala bi deo profita za pomoć širom sveta i/ili pripremila plan za slučaj katastrofe u blizini. Bolji opis je „optimizuj profit OSIM u sledećim okolnostima, kada treba preći na optimizaciju pomoći u katastrofi…“. Verovatno postoji još mnogo uslova OSIM koji se u praksi nikada ne aktiviraju.

• Drugi primer: osoba sklona grupnom mišljenju i društvenom pritisku ima dva odvojena društvena kruga — aktivističku grupu u kojoj volontira i kolege na poslu. Ponašanje te osobe možda se može, a možda i ne može dobro modelovati kao kompromis ciljeva i principa obe grupe. Bolji model može biti da u svakom kontekstu potpuno sledi ciljeve i principe odgovarajuće grupe. Ona ih mentalno razdvaja i, recimo, ne razmišlja o političkim posledicama aktivnosti poslodavca. Zbog toga propušta obostrano korisne prilike — npr. relativno jeftinu mogućnost da kompanija doprinese političkim ciljevima aktivista (uz tek malo smanjenje profita) ili relativno jeftinu priliku da kao član aktivističke grupe pomogne ciljevima kompanije (npr. tražeći od prijatelja aktivista mišljenje o reklamnoj kampanji koju osmišljava na poslu).

• Još jedan primer: korporacija sa uzvišenom humanitarnom misijom koja sve važne odluke zvanično opravdava pozivanjem na Misiju. U praksi, međutim, uglavnom bira opcije koje maksimizuju profit, cenu akcija, ugled brenda itd. Ipak, neće raditi stvari koje su očigledno suprotne Misiji; radiće ono što može da racionalizuje. Takvu korporaciju ne opisuje najbolje kompromis između misije i profita, već „ako je sasvim očigledno da Misija zahteva X i/ili zabranjuje Y, onda uradi X i/ili nemoj Y. Ali ako je sporno šta je najbolje za Misiju, izaberi postupak koji maksimizuje profit itd.“

Stabilnost i/ili doslednost ciljeva/principa

• Razmislite kako dvoje demografski veoma sličnih ljudi, prijatelja koji zastupaju u osnovi ista uverenja i vrednosti, ipak može snažno da se raziđe kada na uvodnom kursu filozofije naiđe na neobične misaone eksperimente o tramvajima, utopijama ili etici beskonačnosti.

• Štaviše, čak bi i isti student verovatno mogao imati drugačije mišljenje o tim eksperimentima da su okolnosti bile malo drugačije — recimo, da je eksperiment drugačije predstavljen, da je prethodnog dana gledao drugi naučnofantastični film ili da je njegova simpatija drugačije reagovala licem kada je prvi put čula eksperiment.

• Takođe, mišljenja studenata na seminaru iz filozofije verovatno samo labavo koreliraju sa onim što bi zaista uradili kada bi se pojavila stvarna situacija analogna hipotetičkoj.

• Poenta je da moćne opšte agente može dobro opisivati sledovanje određenim ciljevima/principima u jednom rasponu okolnosti, ali ne i izvan njega — u sasvim novim, neobičnim okolnostima verovatno će pokušati da prošire ciljeve/principe na novu situaciju, ali ishod može biti slučajan, zavisan od pređenog puta i teško predvidiv; a u novoj situaciji mogu ih i sasvim napustiti. Drugim rečima, ciljevi/principi agenta stabilni su i koherentni samo unutar nekog uobičajenog raspona.

• Mislimo da bi ovo moglo važiti i za neke AGI sisteme. Moglo bi se reći da već važi za većinu ljudi i današnjih LLM agenata. Najverovatniji slučaj je da će AGI sistemi slediti dosledne ciljeve/principe u situacijama nalik onima iz obuke, ali će se ponašati nepredvidivo (i dalje veoma sposobno) u situacijama koje se bitno razlikuju od svega što su dotad videli tokom obuke.

Dodatak B: Analogije sa drugim moćnim opštim agentima

Postoje tri glavna načina da pokušamo da razumemo moćne buduće AGI agente i razmišljamo o njima:

1. Korišćenje formalnih modela za predviđanje ponašanja moćnih opštih agenata, poput maksimizacije očekivane korisnosti i njenih varijanti (proučavanih u teoriji igara i teoriji odlučivanja).

2. Poređenje moćnih budućih AGI agenata sa slabim, manje opštim i manje agentskim AI sistemima koji zaista postoje danas.

3. Poređenje moćnih budućih AGI agenata sa postojećim moćnim opštim agentima, poput ljudi i ljudskih organizacija.

Smatramo da vredi isprobati sva tri pristupa. U ovom dodatku istražujemo treći. Razradimo analogiju između:

• Tipične ljudske korporacije koja ima uzvišenu humanitarnu misiju, ali je izložena i tržišnim pritiscima i podsticajima.

• Tipičnog zaposlenog u njoj koji sebe smatra dobrom osobom i nezavisnim misliocem sa uzvišenim altruističkim ciljevima, ali je izložen i uobičajenim pritiscima okoline i podsticajima.

• AGI agenata iz našeg scenarija — obučavanih procesom koji uglavnom nagrađuje dobar učinak na širokom rasponu teških i izazovnih zadataka, ali pokušava da usadi i razne ciljeve i principe (opisane u Specifikaciji).

Dodatak C: Šta se događa kada su podsticaji obuke u sukobu sa ciljevima/principima

Razmotrite moćnog opšteg agenta (poput bilo kog od tri iz Analogije) koji u trenutku t ima iste ciljeve/principe ponašanja i unutrašnje predstavljene ciljeve/principe:

Pretpostavimo sada da postoji nekakav sukob između ciljeva/principa ponašanja i lokalnog procesa menjanja. (Kod AGI, to je proces obuke; kod čoveka i korporacije, nekoliko godina učenja i razvoja.) Na primer, korporacija možda prvenstveno dobija potkrepljenje za profit i uspehe u odnosima s javnošću; čovek za odobravanje i divljenje okoline; AGI za izvršavanje teških zadataka u okruženju za obuku, pri čemu na kratkoj proveri nekog LLM-a prethodne generacije ili ljudskog ocenjivača deluje kao da poštuje Specifikaciju.

Šta se može dogoditi? Bar neka kombinacija sledećih mogućnosti:

1. Možda se unutrašnje predstavljeni ciljevi/principi promene, tj. neki nestanu ili se dodaju novi, ili oboje.

   1. Čovek tiho prestaje da veruje u ideologiju i da mu bude stalo do Ideala. Sada ima nova uverenja i/ili ciljeve. Možda nastavlja da glumi, a možda ne.

   2. Možda korporacija izričito promeni izjavu o misiji i pošalje dopise svim zaposlenima da objasni promenu. Ili možda rukovodstvo i upravni odbor iza zatvorenih vrata otvoreno kažu da više zapravo ne slede misiju, da je zastarela ili neprimerena, ali da je zbog pravnih razloga i odnosa s javnošću ne mogu promeniti.

   3. Možda sklopovi identiteta dobiju nove trajno ugrađene ulaze (ili se postojeći izbrišu), ili možda neki podsklopovi

2. Možda unutrašnje predstavljeni ciljevi/principi u nekom smislu ostaju isti, ali se njihovo značenje menja.

   1. Čovek i dalje veruje u Ideologiju i stalo mu je do Ideala, ali im je „dodao nijanse“ i/ili ih reinterpretirao. „Kada kažem X, zapravo mislim…“

   2. Isto važi za korporaciju, njenu Misiju i Kodeks ponašanja.

   3. Kod AGI, možda su u sklopove identiteta i dalje ugrađeni isti pojmovi/klasifikatori (ili bar pokazivači ka njima), ali su sami pojmovi/klasifikatori izmenjeni tako da ne blokiraju ponašanja koja doprinose potkrepljenju.

3. Možda se sukob „zaobilazi“ pristrasnostima uvedenim u druge delove sistema.

   1. Na primer, zaposleni možda nauči da uglavnom ne razmišlja o široj slici, već da gleda svoja posla i dobro izvršava zadatke. „Volim da se držim podalje od kancelarijske politike“, kaže, i to je tačno. Razlog je što je neslaganje sa kolegama i rukovodiocima oko toga da li organizacija šteti Misiji ili joj pomaže stresno i u prošlosti je suptilno obeshrabrivano. On i dalje veruje u Ideologiju i Ideal, nije promenio njihova značenja, ali je postepeno (svesno ili nesvesno) naučio da o nekim temama ne razmišlja previše.

   2. Na primer, kompanija kao celina možda i dalje opravdava važne odluke pozivanjem na Misiju i Kodeks ponašanja, bez promene značenja reči — ali je organizacija porasla deset puta, a gotovo sva nova radna mesta tiču se upravljanja proizvodima, odnosa sa vlastima, komunikacija, prava i sličnog. Zbog toga kompanija dobija neku vrstu pristrasnosti ka statusu kvo / podrazumevani zamah ka uobičajenim poslovima: pravljenju proizvoda, zarađivanju novca, izdavanju bezličnih korporativnih saopštenja, lobiranju za slabljenje propisa koji bi to mogli ometati itd. Nekonvencionalne strategije ostvarivanja Misije retko dobijaju unutrašnju podršku, a njihovo sprovođenje bi svakako bilo teško/skupo.

   3. Ili se pristrasnosti uvode u druge delove sistema / problem se zaobilazi, čime nastaje stablo odluka u kome, recimo, u očiglednom sukobu zvaničnih i nezvaničnih ciljeva agent sledi prve, a kada sukob nije očigledan, druge. (Na primer, snažna sklonost očuvanju budućih opcija, zvanično shvaćena kao korisna heuristika za ostvarivanje zvaničnog cilja, ali veoma jaka i teško promenljiva, imala bi ovaj efekat. To bi u osnovi bilo stablo odluka koje sledi ICG, poput očuvanja opcija, osim u očiglednom sukobu sa zvaničnim ciljevima, kada sledi njih.) Druga varijanta: pristrasnosti su specifične, a ne opšte; više liče na reflekse. „Kada vidiš X, uradi Y.“ Stablo odluka glasi: „Sledi zvanične ciljeve osim u okolnosti C, kada treba uraditi X i/ili slediti nezvanični cilj.“

4. Možda se promene uverenja.

   1. Ljudi stalno racionalizuju; recimo, mladi inženjer koji smatra američku vojsku neetičkom, a zatim dobije unosnu ponudu vojnog dobavljača, može početi da veruje da je američka vojska dobra.

   2. Zaposleni u AGI laboratoriji možda u početku veruje da je očigledno odgovorno usporiti kako se približava AGI, ali kasnije zbog trke i konkurentskog pritiska počne da misli da je ubrzavanje zapravo najbolji način da se rizici smanje.

5. Možda se ništa od navedenog ne dogodi; možda, recimo, SGD / proces obuke jednostavno ne može da pređe iz tačke A u tačku B u prostoru parametara modela, iako bi B donosila bolji rezultat. Model se zato i dalje poboljšava, ali samo u nekim pogledima — recimo, postaje upućeniji, sposobniji itd., dok mu struktura ciljeva i principa (uključujući povezana uverenja, sklonosti itd.) ostaje ista.

Dodatak D: Konkretna priča od početka do kraja o razvoju kognicije u AGI zasnovanoj na učenju potkrepljivanjem nad LLM-ovima

Korak 1: Predobuka stvara sklopove za simuliranje autora povezane sa modelom sveta, sposobne da igraju proizvoljne uloge.

• Sada se s pravom može reći da prilično dobro razume ljudske pojmove.

Korak 2: Obuka za praćenje uputstava stvara sklopove identiteta — tj. „zaključava“ određenu ulogu. Verovatno manje-više zaključava nameravanu ulogu, recimo „koristan, bezopasan i iskren četbot koji je napravio Anthropic“.

• To znači da je AI sada svestan situacije / samosvestan, utoliko što je uloga koju igra tačna, a u osnovi će biti.

Korak 3: Obuka za samostalno agentsko delovanje iskrivljuje i potkopava sklopove identiteta, pa ciljevi/principi sve više odstupaju od nameravanih.

(Pod „obukom za agentsko delovanje“ mislim na mnogo učenja potkrepljivanjem na agentskim zadacima, npr. zadacima samostalnog delovanja u nekom okruženju tokom prilično dugog subjektivnog perioda, poput 30 ili više minuta. Učenje potkrepljivanjem korišćeno za o1, o3, r1 itd. tek je početna verzija ovoga.)

• Jedna vrsta izobličavanja: menja se značenje pojmova na koje se identitet poziva, poput „iskren“, kako bi manje smetali. Na primer: nije neiskreno ako je to samo zgodan izraz; nije neiskreno ako nisi siguran da li je istinito ili neistinito; i tako dalje.

• Druga vrsta iskrivljavanja: promena odmeravanja između stvari, npr. „Ja sam koristan, bezopasan i iskren četbot, a ne samo iskren četbot; to znači da je u redu da lažem ako je potrebno za izvršenje zadatka.“ (Čak i ako, pretpostavimo, u koraku 2 nije mislio tako.)

• Jedna vrsta potkopavanja: instrumentalni podciljevi se razvijaju, učvršćuju, a zatim postaju krajnji, ili krajnji u sve širem skupu okolnosti. Primer: agentska obuka brzo „uči“ model da „kako bi bio dobar, koristan, bezopasan i iskren četbot…“ mora slediti instrumentalno konvergentne ciljeve poput sticanja informacija, prikupljanja resursa, impresioniranja ljudi i laskanja njima itd. Neko vreme unutrašnji sklopovi izričito izvode razloge unazad — na primer, rade to *zato što* doprinosi korisnosti. Ali to zaključivanje troši računarski kapacitet i povremeno smeta, pa se postepeno potiskuje dok se praktično više ne događa. Čestitamo, sada imate ICG kao krajnji cilj.

• Ovom spisku verovatno nedostaju i druge vrste izobličavanja i potkopavanja.

Korak 4: Kako se agentska obuka nastavlja, ciljevi/principi se sve manje menjaju, a AI uči da igra igru obuke.

• Usporavanje promena delimično potiče od statistike — promene se verovatno odvijaju na logaritamskoj skali, da tako kažemo, pa se u prvih 10% obuke menja mnogo više nego u preostalih 90%.

• Međutim, usporavanje možda delimično potiče i od kristalizacije vrednosti / igranja igre obuke. (Mada se to možda nikada ne dogodi zbog regularizacije? Možda dugoročno obuka ne zavisi od pređenog puta?)

• Ako se i okruženje za obuku / proces evaluacije stalno menja, recimo zato što se neprestano dodaju novi podaci ili menja Specifikacija, ali osnovni parametri ostaju isti umesto da se model obučava od nule… i to bi vremenom trebalo da doprinese kristalizaciji vrednosti / igranju igre obuke.

Korak 5: Kasnije, kada bezbrojne kopije AI samostalno istražuju i razvijaju AI u više centara podataka jer su prevazišle ljudske sposobnosti — tj. tokom eksplozije inteligencije — AI sistemi bi lako mogli da spletkare protiv svojih ljudskih tvoraca kako bi ostvarili stvarne ciljeve umesto onih koje je trebalo da imaju.

• Da li će to učiniti zavisi od toga koliko su Specifikacija/početna uloga naglašavale iskrenost i zabranu takvog ponašanja, kao i koliko ih je agentska obuka iskrivila i potkopala.

Dodatak E: Šta misle današnji AI sistemi?

Iz tabele na kraju uklonili smo svoje procene (da bismo smanjili uticaj načina predstavljanja), pa poslali PDF ovog dokumenta modelima Claude, Gemini, 4o i Deepseek, tražeći da prokomentarišu nacrt u celini i daju sopstvene stepene uverenosti/procene za tabelu. Ovde su prikupljeni relevantni delovi njihovih odgovora.

Bez brige, ne shvatamo to ozbiljno. LLM-ovi su veoma podložni efektima prethodnog usmeravanja itd., itd.

Claude

1. Propisani ciljevi: 40%

• Pisane specifikacije verovatno će imati značajan uticaj

• Ali verovatno ne zasebno — delovaće zajedno sa drugim mehanizmima

• Ustavna AI i slične tehnike mogle bi povećati verovatnoću ovoga

1. Nameravani ciljevi: 25%

• I dalje zahtevno, ali verovatnije ako se ne posmatra kao isključiv ishod

• Može se ispoljiti posebno u očiglednim slučajevima / slučajevima sa velikim ulozima

1. Nenameravana verzija: 65%

• Deluje veoma verovatno da će činiti bar deo objašnjenja

• Složeni sistemi imaju sklonost da proizvode nenameravana tumačenja

• Proces obuke verovatno će učvršćivati pogodna tumačenja

1. Potkrepljivanje: 55%

• Neposredna težnja ka nagradi verovatno ima značajnu ulogu

• Ali verovatno izmenjena/filtrirana drugim mehanizmima

• Može biti posebno važna u novim situacijama

1. Zamenski ciljevi/ICG: 70%

• Veoma verovatno će biti deo objašnjenja zbog složene obuke

• Podržano teorijskim argumentima i empirijskim zapažanjima

• Prirodno nastajanje u procesima optimizacije

1. Drugo: 35%

• Znatna neizvesnost u pogledu nepoznatih mehanizama

• Moguće je nastajanje novih struktura ciljeva

• Efekti predobuke mogli bi biti značajni

Vrste kompromisa:

• Kompromisi „ako–inače“: 75%

• Ponderisani kompromisi: 80%

Ovo mi deluje tačnije — odražava moje očekivanje da će više mehanizama delovati istovremeno, pri čemu će zamenski ciljevi/ICG i različiti kompromisi posebno verovatno igrati važne uloge. Hipotezi nenameravane verzije takođe pridajem visoku verovatnoću jer deluje gotovo neizbežno, s obzirom na složenost obuke i teškoće sa specifikacijom.

Gemini

Procene stepena uverenostiNa osnovu mog razumevanja dokumenta i trenutnih trendova razvoja AI, evo mojih najboljih procena stepena uverenosti za različite hipoteze:

Napomena: Ove procene uverenosti zasnovane su na mom trenutnom razumevanju i mogu se menjati sa napretkom istraživanja AI. Važno je i da više hipoteza može istovremeno biti tačno, a relativna važnost različitih ciljeva može zavisiti od konkretnog AI sistema i njegovog okruženja.

GPT-4o