Prognoza računarskih kapaciteta

Romeo Dean | April 2025.

Slika 1: Obučavanja modela u AI 2027, zasnovana na analizama i obrazloženjima iz naših odeljaka o proizvodnji računarskih kapaciteta, raspodeli računarskih kapaciteta i korišćenju računarskih kapaciteta .

Sažetak

Računarski kapacitet je jedan od ključnih resursa za napredak AI. U ovom dodatku razmatramo samo računarske kapacitete relevantne za AI. Često se pozivamo na ekvivalente H100 (H100e) u celom dodatku; definišemo ih kao računarske kapacitete relevantne za AI čije su procesorske performanse preračunate u jedinice grafičkog procesora Nvidia H100. Procesorske performanse najdirektnije su relevantne za kapacitete za obučavanje, ali su i dobar pokazatelj kapaciteta za izvršavanje modela.

U ovom dodatku modelujemo računarske kapacitete relevantne za AI proizvodnju u Odeljak 1 posmatrajući uska grla u lancu snabdevanja i procenjujemo da će globalno dostupni računarski kapaciteti relevantni za AI porasti 10x do decembra 2027. (2.25x godišnje) u odnosu na mart 2025, na 100M H100e.

Slika 2: Predviđamo da će globalna količina računarskih kapaciteta relevantnih za AI porasti 10x do decembra 2027.

U Odeljak 2 modelujemo raspodelu računarskih kapaciteta među relevantnim akterima, razvrstavajući ih prema vlasnicima računarskih kapaciteta i krajnjim korisnicima koji ih iznajmljuju ili su ujedno njihovi vlasnici. Očekujemo koncentraciju upotrebe u rukama vodećih AGI kompanija (npr. OpenAI, Anthropic, xAI) i razvojnih timova usmerenih na AGI unutar većih tehnoloških kompanija (npr. Google, Meta), od kojih će najveće dve ili tri do kraja 2027. imati udeo od 15-20% u globalno dostupnim AI kapacitetima (oko 15-20M H100e), u odnosu na današnjih 5-10% (oko 500k H100e).

Slika 3: Predviđamo da će se globalna raspodela računarskih kapaciteta relevantnih za AI koncentrisati u vodećim AI kompanijama (čiji će se udeli u globalnim kapacitetima približno utrostručiti) i da će Kina zadržati približno stalan udeo u globalnim kapacitetima (oko 12%), ali će ih objediniti u jedinstven nacionalni AI projekat.

Slika 4: Predviđamo da će kapaciteti dostupni vodećoj AI kompaniji porasti 40x do decembra 2027, pri čemu faktor od ~10x potiče od rasta globalne količine računarskih kapaciteta relevantnih za AI, a ~4x od njenog udela u korišćenju ukupnih kapaciteta.

Slika 5: Trend rasta globalnih kapaciteta (2.25x/godišnje) i rastućeg udela koji koristi vodeća AI kompanija (1.5x/godišnje) do decembra 2027. Združeni efekat je rast kapaciteta vodeće AI kompanije od 3.4x/godišnje. Broj FLOP pretpostavlja iskorišćenost FLOP pri radu modela od 40%.

U Odeljak 3 opisujemo kako očekujemo da vodeće AI kompanije koriste svoje računarske resurse, uz pomeranje sa predobučavanja i spoljne primene ka naknadnom obučavanju, generisanju sintetičkih podataka i internoj primeni (tj. automatizaciji istraživanja i istraživačkim eksperimentima). Predviđamo koncentraciju korišćenja kapaciteta unutar vodeće AI kompanije na automatizaciju istraživanja: relativno mali udeo (5-10%) odlazi na samo izvršavanje AI, a veliki udeli na generisanje sintetičkih podataka za obučavanje (20%) i obezbeđivanje velikih računarskih budžeta za istraživačke eksperimente AI (35%). Samo obučavanje i spoljna primena zauzimaju manje udele (20%), ali su u apsolutnim iznosima kapaciteti namenjeni svakom od njih i dalje više od 20x veći nego 2024.

Slika 6: Upotreba kapaciteta koncentriše se na automatizaciju istraživanja. Povećava se i generisanje podataka.

U Odeljku 4 analiziramo kapacitete za izvršavanje modela za očekivanu automatizaciju istraživanja AI u 2027, uz procene broja kopija i brzine modela u upotrebi. Kada do kraja 2027. ostvare značajan napredak u algoritamskoj efikasnosti, očekujemo da vodeća AI kompanija može da pokrene oko 1M kopija superinteligentnih AI, brzinom 50x većom od ljudskog razmišljanja (500 reči u sekundi), koristeći 6% svojih računarskih resursa, pretežno uz specijalizovane čipove za izvršavanje modela.

Slika 7: Očekivana primena AI istraživačkih asistenata za automatizaciju istraživanja u 2027. uz specijalizovane čipove za izvršavanje modela. Zelene linije koriste 6% H100e kapaciteta vodeće AI kompanije.

U Odeljku 5 posebno razmatramo projekcije obučavanja modela, ukupnih troškova, ukupnih prihoda i ukupne potrošnje električne energije za predviđenu vodeću AI kompaniju do 2027. Predviđamo prihode i troškove sa stopama rasta od oko 3x/godišnje, i potrošnju električne energije vodeće AI kompanije od oko 10GW do decembra 2027, što znači da koristi oko 0.8% elektroenergetskog kapaciteta SAD, dok AI ukupno koristi 60GW globalno, odnosno 50GW u SAD, što je oko 3.5% projektovanog elektroenergetskog kapaciteta SAD (1.35TW, u odnosu na današnjih 1.28TW).

Slika 8: Sažetak projekcija iz Odeljka 5.

Sve procene zasnovane su na javno dostupnim informacijama, kojih je malo i koje su nepouzdane. Uopšteno govoreći, Odeljci 1 i 2 relativno su potkrepljeni informacijama i nezavisni od AI 2027 scenarija, dok Odeljci 3, 4 i 5 znatno više zavise od brzog napretka sposobnosti AI koji se odvija u AI 2027.

Zahvalnice: David Schneider-Joseph, Erich Grunewald, Konstantin Pilz, Lennart Heim, Mauricio Baker, Tao Lin.

Uvod

Računska snaga je jedan od ključnih resursa za napredak AI. Većina računskih operacija pri obučavanju i izvršavanju AI može da se obavlja paralelno, pa su AI čipovi ili AI akceleratori računarski uređaji (npr. GPU) koji su posebno efikasni u takvom paralelnom računanju, što ih za AI radna opterećenja čini znatno delotvornijim od tradicionalnih procesora kao što su CPU.

Zapravo, u ovom dodatku razmatramo samo računarske kapacitete relevantne za AI koje precizno definišemo kao bilo koju računarsku jedinicu sposobnu da ostvari ukupne procesorske performanse (TPP) od najmanje 4,000 i gustinu performansi (PD = TPP / površina čipa) od najmanje 4. Ta definicija postavlja prag malo ispod A100 SXM GPU, najsavremenijeg NVIDIA čipa iz 2021. Poređenja radi, Nvidia H100 GPU se oglašava sa ~15,800 TPP i 19.4 PD. Intuitivno, našu definiciju možete shvatiti kao: „računa se sve što je bar ¼ efikasno kao H100“.

Često koristimo ekvivalente H100 (H100e) kao jedinice računarskih kapaciteta relevantnih za AI u celom dodatku; definišemo ih kao procesorske performanse (u TPP) preračunate u jedinice procesorske snage H100 (~15,800 TPP). Fokus na TPP čini ovu analizu najdirektnije relevantnom za kapacitete za obučavanje, ali predstavlja i dobar pokazatelj kapaciteta za izvršavanje modela. Ipak, u odeljku o kapacitetima za izvršavanje istraživačkih agenata računamo na osnovu memorijskog protoka umesto TPP.

Odeljak 1. Proizvodnja računarskih kapaciteta

Status: Neizvesno, ali potkrepljeno informacijama. Ovaj odeljak je informisana prognoza zasnovana na javnim informacijama.

Slika 9: Sažetak naše prognoze proizvodnje računarskih kapaciteta.

Očekujemo da ukupna količina računarskih kapaciteta relevantnih za AI u svetu raste 2.25x godišnje tokom naredne tri godine, sa današnjih 10M H100e na 100M H100e do kraja 2027.. To procenjujemo razlaganjem rasta ukupne dostupnosti kapaciteta, merenih u H100e, na poboljšanja (A) efikasnosti čipova i (B) proizvodnje čipova, koja daju osnovne stope rasta od 1.35x i 1.65x.

Pogledajte i celokupan model u tabeli.

Efikasnost čipova

Za poboljšanja efikasnosti čipova (performanse / površina), ekstrapoliramo Epoch AI istorijski trend od 1.35x godišnje, i nalazimo da je usklađen sa već objavljenim performansama predstojećih čipova kao što je NVIDIA GB200 kao i sa nezvaničnim planovima za seriju Rubin opisanim u nastavku.

Široko prihvaćen najsavremeniji GPU u 2024. je NVIDIA H100, sa sirovim performansama od 1e15 FP16 FLOP. Predviđamo da će za tri godine široko prihvaćen najsavremeniji GPU biti NVIDIA Rubin GPU (R200), za koji predviđamo poboljšanje od ~2.4x u odnosu na B200 (u širokoj upotrebi 2025-2026), na performanse od 6e15 FP16 FLOP. Smatramo da će to biti postignuto povećanjem od 1.2x u površini čipa, povećanjem od 1.7x zahvaljujući prelasku sa TSMC procesa N4 na N3, i povećanjem od 1.1x zahvaljujući drugim poboljšanjima.

Da ne bismo pomešali efikasnost sa povećanjem površine čipa, moramo da umanjimo ovo ukupno povećanje performansi najsavremenijih GPU od 6x između H100 i R200 za približno povećanje površine čipa od 2.4x između ovih čipova. To znači da dobijamo ukupno povećanje efikasnosti čipova od 2.5x tokom naredne tri godine, što odgovara istorijskom trendu od 1.35x godišnje. Pretpostavljamo da je trend na najnaprednijim NVIDIA GPU dobar pokazatelj trenda prosečnih GPU dostupnih svake godine, ne samo zato što će činiti većinu čipova već i zato što bi performanse drugih popularnih čipova (poput Google TPU serije) trebalo da zavise od snažno povezanih prethodnih faktora, kao što je napredak TSMC proizvodnog procesa.

Proizvodnja čipova

Slika 10: Sažetak našeg modela proizvodnje čipova.

Rast proizvodnje čipova dalje razlažemo na tri ključne komponente koje pokreću proizvodnju: (B.1) proizvodnja silicijumskih ploča, pretežno putem TSMC procesa N5 i N3, (B.2) kapaciteti za napredno pakovanje, takođe pretežno putem TSMC tehnologije CoWoS, i (B.3) memorija velikog protoka (HBM), koju uglavnom isporučuje SK Hynix, a sve više i Micron i Samsung.

Procenjujemo da je Nvidia tokom 2023. isporučila 1.2M H100e i da su oni činili oko 60% ukupnog tržišta AI kapaciteta, uglavnom zbog Google sopstvenih TPU proizvodnju uz podršku kompanije Broadcom, što ukupno daje 2M H100e u 2023.. Očekujemo da je to poraslo na 5M H100e u 2024., ponovo sa približno 60% iz kompanije Nvidia.

Uglavnom se usredsređujemo na podatke o proizvodnji kompanija TSMC i SK Hynix, jer čine oko 90% odnosno 60% svojih tržišta, a očekujemo slične trendove i na ostatku tržišta. Ukupno, tokom naredne tri godine, predviđamo da će napredno pakovanje i proizvodnja HBM biti uska grla koja ograničavaju rast proizvodnje AI čipova na oko 1.65x godišnje.

Proizvodnja silicijumskih ploča

TSMC čvor 4N (u okviru procesa N5) izabran je za narednu generaciju Nvidia Blackwell GPU, dok će proces N3 verovatno biti korišćen za Rubin GPU, čija se masovna proizvodnja očekuje krajem 2026.. Tokom 2023. AI akceleratori verovatno su koristili najviše 3% kombinovanih TSMC proizvodnih linija N5 i N3, a s obzirom na izveštaje da ove linije ponekad rade sa samo 70% kapaciteta, veoma je malo verovatno da će proizvodnja silicijumskih ploča predstavljati usko grlo za AI čipove tokom naredne tri godine. Čak i ako se proizvodnja svake godine udvostruči, proizvodnja AI čipova ne bi trebalo da dostigne više od ~40% fabričkih kapaciteta do 2027, čak i ako zanemarimo nove kapacitete koji se uvode (po stopi širenja od ~15% godišnje). Posle 2027, međutim, očekujemo da ograničenja proizvodnje ploča uspore stopu rasta proizvodnje čipova sa 1.65x na oko 1.25x.

Napredno pakovanje

AI akceleratori zahtevaju napredno pakovanje kako bi stvorili guste veze između logičkih kola i memorije za veliki protok koji zahtevaju AI radna opterećenja. Trenutno se TSMC kapaciteti za napredno pakovanje pretežno koriste za AI akceleratore i prema izveštajima su uvećani 2.5x od 2023. do 2024. S obzirom na očekivanje TSMC da godišnji rast potražnje za AI bude 50%, ne očekujemo previše agresivno širenje ovih proizvodnih linija; zapravo, najavili su planove za povećanje kapaciteta od 1.6x godišnje do 2026. Ipak, s obzirom na širenje od ~2.5x tokom 2024, očekujemo da rast sirove proizvodnje premaši očekivanja i nastavi se stopom od oko 2x/godišnje. Istovremeno, napredak efikasnosti čipova zahtevaće da i složenost neophodnih proizvodnih procesa premaši očekivanja (posebno prelazak na 3D pakovanje ili buduća unapređenja). Zato, iako modelujemo rast sirovog proizvodnog kapaciteta od 2x/godišnje (zanemarujući povećanu složenost), zatim ga umanjujemo za faktor 1.2x/godišnje zbog proizvodne složenosti (npr. nižeg prinosa ispravnih čipova, prilagođavanja proizvodnih linija novim zahtevima), što daje ukupnu stopu od 1.65x godišnje tokom naredne 3 godine.

Memorija velikog protoka

AI radna opterećenja intenzivno koriste memoriju i zahtevaju skupu, brzu memoriju velikog protoka (HBM). Proizvodnja HBM je napredan proces koji podrazumeva precizno slaganje i povezivanje nekoliko DRAM čipova. SK Hynix je prvi razvio ovu tehnologiju i prvi proizvodi najnoviju generaciju HBM3e. Micron i Samsung takođe sustižu konkurenciju svojim razvojnim planovima kako bi bili konkurentni kompaniji SK Hynix u budućim generacijama HBM4 i kasnije. Prema izveštajima, proizvodne linije HBM su uvećani 2.5x u 2024. u odnosu na 2023, ali SK Hynix predviđa samo povećanje potražnje od 1.6x u budućnosti. Slično naprednom pakovanju, očekujemo da proizvodnja HBM (zanemarujući složenost) premaši ta očekivanja i raste 2x, ali je ponovo umanjujemo za faktor 1.2x zbog rastuće proizvodne složenosti (posebno prelaska sa 8-Hi na 12-Hi i 16-Hi slojeve), što daje stopu od 1.65x godišnje tokom naredne tri godine.

Automatizacija istraživanja i razvoja hardvera

U skladu sa našim širim projekcijama sposobnosti i istraživanja i razvoja AI, očekujemo da vodeće AI kompanije u 2027. automatizuju projektovanje specijalizovanih čipova i povećaju sopstvenu proizvodnju čipova. Rani znaci takvih ambicija već postoje, poput OpenAI zapošljavanja istaknutih projektanata Google TPU i planova da projektuju svoj prvi sopstveni čip u 2025.. Međutim, pošto poboljšanja efikasnosti čipova od 1.35x godišnje postaju sve teža i očekujemo da će automatizacija istraživanja uglavnom biti usmerena drugde, očekujemo da većina ovih efekata donese tek marginalno dodatno povećanje prosečne efikasnosti čipova, na 2.4x H100 (umesto 2.2x, koliko bi odgovaralo osnovnom trendu), pretežno kroz talas proizvodnje čipova specijalizovanih za izvršavanje modela.

Odeljak 2. Raspodela računarskih kapaciteta

Status: Neizvesno, ali potkrepljeno informacijama. Ovaj odeljak treba čitati kao informisanu prognozu zasnovanu na ograničenim javnim informacijama.

Slika 11: Sažetak naše projekcije raspodele računarskih kapaciteta među krajnjim korisnicima.

U ovom odeljku projektujemo udeo svetskih računarskih kapaciteta relevantnih za AI u vlasništvu pružalaca kapaciteta i udeo AI kapaciteta koje koriste krajnji korisnici, do 2027. Vlasnici računarskih kapaciteta su subjekti koji poseduju AI računarske klastere i upravljaju njima. Krajnji korisnici su subjekti koji koriste računarske klastere za svoja AI radna opterećenja. Ponekad su isti subjekti i pružaoci i krajnji korisnici (npr. Google, Meta, xAI). U drugim slučajevima, vlasnici uglavnom iznajmljuju kapacitete drugim subjektima (npr. Microsoft kompaniji OpenAI, Amazon kompaniji Anthropic, Oracle kompaniji OpenAI). Koristimo sledeću iscrpnu podelu vlasnika i krajnjih korisnika.

Podela relevantnih aktera

Prema našim projekcijama, vodeće AI kompanije će do decembra 2027. imati 20-40x više AI kapaciteta u apsolutnom iznosu nego u decembru 2024., pri čemu faktor od 10x potiče od prethodno obrađenog rasta dostupnosti računarskih kapaciteta, a faktor od 3x od povećane koncentracije kapaciteta u vodećim AI kompanijama i njihovim projektima razvoja AGI.

Vlasnici računarskih kapaciteta

Nedavna prošlost

U odeljku o proizvodnji računarskih kapaciteta procenili smo da je krajem 2023. globalno bilo dostupno 4M H100e računarskih kapaciteta relevantnih za AI, a krajem 2024. 8.5M. Prethodni rad Epoch AI u Dodatku B od Može li skaliranje da se nastavi do 2030? procenjuje da su Meta i Microsoft početkom 2024. imali po 150,000-600,000 H100e, a Google i Amazon po 400,000-1.4M H100e. Naše tačkaste procene za početak 2024. (31. decembar 2023.) neizvesne su zbog oskudice javnih informacija, ali se nalaze u sredini raspona Epoch AI i odgovaraju većem broju izvora koji se preklapaju. Koristimo ovom izveštaju o proizvodnji i kupovinama tokom 2024. da bismo procenili rezultujuću raspodelu u decembru 2024.

Slika 12: Procenjena istorijska raspodela AI kapaciteta u H100e među vlasnicima.

Pet najvećih američkih ulagača u AI servere prema kompaniji Omdia (prema izveštaju Financial Times) u 2024. prikazano je u nastavku, uz našu procenu koliko su H100e nabavili, pa time i njihovih ulaganja po H100e. Google postiže visoku isplativost ulaganja zahvaljujući sopstvenim TPU, koji su već u 6. generaciji. Amazon i Meta takođe imaju značajne sopstvene projekte, ali su u ranijim fazama istraživanja i razvoja. Microsoft i xAI kupovali su gotovo isključivo Nvidia čipove.

Međuprojekcija za 2025.

Za prognozu raspodele kapaciteta u 2025. posmatramo pet vodećih američkih kompanija po ulaganjima u AI i udeo njihovih ulaganja u AI servere u 2024. Nalazimo sledeće:

• Microsoft je najavio $80B in AI spending for 2025, a prošle godine 55% njihovih ulaganja otišlo je na AI servere ($31B od $56B). Očekujemo da udeo AI servera poraste na 70%, što daje procenu od $56B spending on AI servers in 2025.

• Google je najavio $75B in AI spending for 2025, a prošle godine 42% njihovih ulaganja odnosilo se na AI servere ($22B od $52B). Očekujemo da udeo AI servera poraste na 58%, što daje procenu od $44B spending on AI servers in 2025.

• Amazon je najavio $100B in spending for 2025, a prošle godine 33% njihovih ulaganja otišlo je na AI servere ($26B od $78B). Očekujemo da udeo AI servera poraste na 48%, što daje procenu od $48B spending on AI servers in 2025.

• Meta je najavio $65B in spending for 2025, a prošle godine 50% njihovih ulaganja otišlo je na AI servere ($20B od $40B). Očekujemo da udeo AI servera poraste na 54%, što daje procenu od $35B spending on AI servers in 2025.

• xAI najavio je (u 1:05:00) oko $30B spending on AI servers in 2025.

Slika 13: Projektovana raspodela AI kapaciteta u H100e među vlasnicima.

Projekcija za 2027.

Slika 14: Projektovani udeli vlasnika AI kapaciteta, vrednosti u H100e.

Do 2027, naša odeljku o proizvodnji računarskih kapaciteta predviđa rast ukupno dostupnih kapaciteta na 100M H100e, što odgovara povećanju od 2.25x godišnje. Treba očekivati da tako eksplozivan rast lako promeni raspodelu kapaciteta. Očekujemo da taj rast pokreću održivi trendovi potražnje krajnjih korisnika koji razvijaju AI i počinju da ostvaruju desetine milijardi godišnjih prihoda od svojih AI modela.

Dajemo sledeće projekcije:

• Microsoft (podstaknut odnosom sa kompanijom OpenAI) agresivno se širi, povećavajući svoj udeo sa 13% na 18% svetskih računarskih kapaciteta.

• Google postojeći višak kapaciteta dovodi do sporijeg širenja, pa se njegov udeo blago smanjuje sa 21% na 18%.

• Amazon, agresivno se širi, uz trajnu potražnju kompanije Anthropic i sopstvene AI projekte koji opravdavaju agresivnu izgradnju, blago podižući njegov udeo do 18%.

• Meta 12% udeo opada na 9% jer prihodi od njihovih AI modela, uglavnom otvorenog koda, zaostaju i ne opravdavaju jednako agresivnu izgradnju u 2026. i 2027. Imajte na umu da to i dalje znači rast apsolutnih kapaciteta od 7x, sa 1.1M na 7.5M H100e.

• xAI agresivno se širi, uz ukupna kapitalna ulaganja u hardver od oko $100B do 2027, podržana solidnim prihodima od AI i podrškom Elona Muska, povećavajući udeo u kapacitetima sa 2% na 9%.

• Ovaj ostatak SAD, koji uključuje veće aktere kao što su Oracle i Coreweave, kao i manje pružaoce i vlasnike, donekle biva potisnut i ima nešto slabije ekonomske podsticaje za agresivno širenje od većih aktera. Ukupno, udeo ostatka SAD pada sa 18% na 9%.

• Kineska velika četvorka počinje da se suočava sa nešto većim teškoćama u nabavci AI kapaciteta zbog izvoznih kontrola, mada kineska domaća proizvodnja raste i proizvodi čipove u velikim količinama, sa kvalitetom oko 3 godine iza kompanije Nvidia. Ipak, njihov udeo opada samo sa 9% na 8% pošto se američke izvozne kontrole i dalje slabo sprovode; značajne količine prokrijumčarene drugim kineskim subjektima znače da su ukupni kapaciteti u Kini znatno veći. Domaća proizvodnja takođe raste kroz SMIC ali u efikasnosti zaostaje godinama.

• Ovaj ostatak sveta takođe biva donekle potisnut iz sličnih razloga kao manji američki akteri, pa njegov udeo opada sa 9% na 5%.

• Konačno, očekujemo da buduća „vodeća AI kompanija“ odluči da izgradi sopstvene centre podataka krajem 2026. i tokom 2027. Smatramo da je to u skladu sa dostizanjem godišnjeg tempa prihoda od $50B do kraja 2026. i AI sposobnostima koje joj pomažu da razvije specijalizovane sopstvene GPU u 2027. Ukupno, predviđamo da će uz ulaganje od oko $90B efikasno nabaviti oko 6% svetskih AI kapaciteta (ne uključuje troškove istraživanja i razvoja sopstvenih čipova).

Krajnji korisnici računarskih kapaciteta

Nedavna prošlost

• OpenAI nedavni izveštaji o troškovima ukazuju na to da tokom 2024. u proseku iznajmljuju oko 250k H100; očekujemo da je veći deo koncentrisan pri kraju godine, kada dostižu 460k, koje uglavnom direktno obezbeđuje Microsoft, ali i kroz ugovore sa Oracle i Coreweave. Time njihov udeo u globalnih 8.5M H100e iznosi oko 5% do kraja godine.

• Anthropic očekivano nešto zaostaje u korišćenju kapaciteta, sa 4%, zbog manjih prihoda, broja korisnika i, posledično, pristupa kapitalu. Očekujemo da do kraja godine imaju pristup oko 360k H100e, od čega je veliki deo nedavno dodat kroz klaster od 400k Trainium2 koji obezbeđuje Amazon.

• xAI ima rastući klaster od 200k H100, što njihov udeo dovodi na 2%.

• Google i Meta raspolažu AI kapacitetima koji čine 21%, 13% svetskog udela, ali očekujemo da samo oko 30% ovih klastera koriste za razvoj AGI. Većina preostalih AI kapaciteta kompanija Google i Meta posvećena je razvoju i opsluživanju njihovog velikog skupa algoritama za preporuke širom sveta.

• Očekujemo da većina potražnje za uslugama u oblaku iz preostalih kapaciteta kompanija Amazon, Microsoft, Neocloud i manjih pružalaca dolazi od kompanija i startapa širom ostatka SAD i ostatak sveta, pri čemu svaki ima udeo od oko 20%.

• Očekujemo da Kina koristi praktično sve kapacitete u vlasništvu velike kineske četvorke, kao i oko polovine onih u kategoriji „ostatak sveta“, s obzirom na koncentraciju u Maleziji i Singapuru, koje verovatno koristi Kina (ili se čak direktno krijumčare u Kinu). To daje procenu ukupnog 14% korišćenja kapaciteta, od čega očekujemo da 20% bude posvećeno razvoju AGI krajem 2024, što daje ukupan kineski udeo u razvoju AGI od 3%.

Projekcija za 2027.

Za potrebe ovog odeljka pretpostavljamo da će OpenAI biti vodeća AI kompanija u 2027. Ovde date projekcije su zato samo ilustracija raspodele kapaciteta u scenariju u kom OpenAI ostaje vodeća AI kompanija.**

Slika 15: Projektovani udeli krajnjih korisnika AI kapaciteta, vrednosti u H100e.

• OpenAI i Anthropic obe se agresivno šire, podstičući agresivnu izgradnju svojih investitora Microsoft i Amazon, a na kraju postaju i vlasnici dela sopstvenih centara podataka. OpenAI udeo u korišćenju svetskih AI kapaciteta skače sa 5% krajem 2024. na 20% i Anthropic sa 4% na 14%.

• xAI nastavlja da koristi sve sopstvene kapacitete, opisane u odeljku o vlasnicima, pa njegov udeo u korišćenju takođe raste sa 2% na 9%.

• Google i Meta sada posvećuju 90% odnosno 80% svojih kapaciteta razvoju AGI, pa Google udeo za razvoj AGI raste sa 6% na 16%, a Meta udeo za razvoj AGI sa 4% na 6%.

• Kineska ukupan udeo u kapacitetima ostaje na oko 13%, ali sada se 90% posvećuje razvoju AGI, naspram 40%, pa kineski udeo za razvoj AGI raste sa 2% na 12%.

• Konačno, iz sličnih razloga kao u odeljku o pružaocima, očekujemo da ostatak SAD i ostatak sveta budu potisnuti među krajnjim korisnicima, a da njihovi udeli u korišćenju opadnu sa 23% na 11% i 18% na 11% tim redom.

Slika 16: Projektovana raspodela AI kapaciteta po krajnjim korisnicima u H100e.

Odeljak 3. Korišćenje računarskih kapaciteta

Status: Istraživački i neizvesno; ovaj odeljak predstavlja našu najbolju procenu, a ne informisanu prognozu.

Slika 17: Sažetak naše prognoze korišćenja računarskih kapaciteta.

Očekujemo sledeću internu raspodelu korišćenja kapaciteta vodeće AI kompanije, na osnovu javnih dokaza o današnjoj upotrebi i informisanih pretpostavki o budućim relativnim prioritetima razvoja, primene i istraživanja. Ostatak odeljka obrazlaže vrednosti iz sledeće tabele, red po red.

Ukupno korišćenje i troškovi kapaciteta

Ovi redovi zasnovani su na našim ukupnim projekcijama proizvodnji računarskih kapaciteta i raspodele kako bi ilustrovali tipičnu vodeću AI kompaniju čiji udeo u globalnom korišćenju kapaciteta raste sa ~5% na ~20% od 2024. do 2027. U tim odeljcima predviđamo da AI kapaciteti vodeće kompanije rastu 3.4x/godišnje, a odnos računarskih performansi i cene (FLOP/$) se poboljšava približno 1.4x/godišnje. Više o projekcijama troškova pročitajte u finansijskom odeljku.

Korišćenje kapaciteta za obučavanje modela

Procenjujemo da je OpenAI u 2024. u proseku koristio 40% svojih kapaciteta za obučavanje. Očekujemo da je većina toga (oko 60%) odlazila na pokušaje skaliranja predobučavanja naredne generacije, a ostatak (oko 40%) na naknadno obučavanje zasnovano na učenju potkrepljivanjem, sa fokusom na zaključivanje i samostalno delovanje. To odgovara jednom predobučavanju od oko 3e26 fp16 FLOP, odnosno korišćenju 100k H100 tokom 4 meseca, u skladu sa njihovim istorijskim trendom skaliranja, i prosečnom korišćenju 100k H100 za RL radna opterećenja tokom 2.5 meseca. Izgleda da OpenAI ima relativno centralizovan pristup jednom klasteru od oko 100k H100s, a pošto kapacitete nabavlja od najmanje tri pružaoca, odnosno Coreweave, Oracle i Microsoft, malo je verovatno da su čipovi dovoljno centralizovani i dobro povezani između različitih centara podataka da omoguće veće obučavanje od toga. Pored toga, imaju velike potrebe za kapacitetima u internoj i spoljnoj primeni, koje razumnije objašnjavaju ostatak ukupnih kapaciteta.

U budućnosti očekujemo:

• Udeo obučavanja oscilira oko 40% tokom naredne dve godine.

• Sve veći deo kapaciteta za obučavanje posvećuje se naknadnom obučavanju.

• U 2027. nema velikih predobučavanja i kapaciteti za obučavanje usmeravaju se gotovo isključivo na naknadno obučavanje velikog modela obučenog 2026.

Generisanje sintetičkih podataka

Očekujemo da se u 2024. oko 20% OpenAI kapaciteta koristi za generisanje sintetičkih podataka; glavna namena je verovatno izvlačenje boljih rezultata iz navodnog modela „Orion“ i slabijih osnovnih modela tehnikama tokom izvršavanja (npr. pretraga stabla), uz ocenjivanje i filtriranje (npr. uzorkovanje sa odbacivanjem), radi dobijanja podataka za naknadno obučavanje modela poput o1 i nedavno najavljenog o3. To je prosečno 50k H100 tokom cele godine ili 2.5e26 fp16 FLOP. Na primer, to bi moglo da se iskoristi za 5T prolaza unapred kroz Orion (uz pretpostavku da odgovara gustom modelu od 2T parametara koji se izvršava uz fp8 preciznost), i 500T prolaza unapred kroz GPT-4o. Pretpostavili bismo da se prolazi kroz Orion ne filtriraju i direktno koriste kao 5T tokena visokokvalitetnih podataka za obučavanje, dok GPT-4o zahteva približno 16:1 prolaza za dobijanje visokokvalitetnog tokena (nakon pretrage i ocenjivanja), za još 30T tokena. Time se generiše ukupno 35T tokena, možda za naknadno obučavanje o1 i o3, što bi omogućilo ~1e26 FLOP naknadnog obučavanja GPT-4o. Očekujemo da generisanje sintetičkih podataka postane sve važnije zajedno sa naknadnim obučavanjem, zadržavajući udeo od oko 20%, a zatim rastući na ~30% u 2027.

Istraživački eksperimenti

Očekujemo da su istraživački eksperimenti bili važan prioritet u 2024, uz prosečno korišćenje 10k H100 tokom godine. To ukupno odgovara oko 1e26 fp16 FLOP, što je značajno i omogućilo bi niz malih i velikih eksperimenata sa obučavanjem i arhitekturom. Kako se težište pomera sa obučavanja i spoljne primene na automatizaciju istraživanja i razvoja AI, naročito u 2027, očekujemo stalan rast jer sve veći obim algoritamskog istraživanja zahteva veći deo budžeta za eksperimente. Kako istraživački rad postaje sve automatizovaniji, kapaciteti za eksperimentisanje postaju sve važnije usko grlo napretka, pa projektovani udeo upotrebe skače sa 4% u 2024. na 15% početkom 2027. i 35% krajem 2027. To bi odgovaralo više od 2e28 fp16 FLOP kapaciteta za eksperimente u 2027.

Automatizacija istraživanja

Očekujemo da je interna automatizacija istraživanja u 2024. bila minimalna, ograničena na rani pristup zaposlenih modelima poput o1 i o3 kao pomoć pri istraživačkim zadacima. Prosečno 1k H100, odnosno 2e25 fp8 FLOP, bilo bi dovoljno za 250B prolaza unapred kroz Orion (prema našoj najboljoj proceni ekvivalent gustog modela od 2T parametara) ili modele poput o1 ili o3 sa možda sličnim troškovima izvršavanja. Kao proveru razumnosti, uz pretpostavku 1000 zaposlenih, to je 250M tokena po zaposlenom, odnosno približno 800k tokena dnevno. Uz odnos lanca razmišljanja 8:1 i protok od 100 tokena/sekundi, to predstavlja oko 1000 sekundi ili 16 minuta generisanja po zaposlenom dnevno, što deluje kao razuman prosek. U budućnosti, kako interni modeli postaju sposobniji, očekujemo značajno povećanje, kako broja kopija modela po zaposlenom tako i pomoćnih izvršnih okruženja u kojima ih obično pokreću (pa time i umnožavanja kapaciteta pri izvršavanju). To naročito skače u 2027. uz nastojanje da automatizuju istraživačke i razvojne tokove rada skupim modelima, sa današnjih 1% na oko 6%, ali ne ide dalje zbog obilja istraživačkog rada i manjka kapaciteta za eksperimente koje bi to izazvalo.

Korišćenje kapaciteta za spoljnu primenu

Očekujemo da OpenAI tokom 2024. koristi oko 30% kapaciteta za spoljnu primenu, što je prosečno 75k H100 tokom godine. Ako ostvaruju prosečnu iskorišćenost pri izvršavanju od 10% (za izlazne i ulazne tokene) na modelima koje opslužuju (gde se očekuje otežano grupisanje zahteva), to odgovara približno 800T prolaza unapred kroz GPT-4o, odnosno ~2T tokena dnevno.

To deluje približno tačno s obzirom na to da je Sam Altman u februaru 2024. objavio na Twitteru da OpenAI generiše 100 milijardi reči dnevno. Ako se to približno utrostručilo do sredine godine (uz nešto brži rast od prihoda i blago sužavanje marži) na 400B tokena, i približno učetvorostručilo sa objavljivanjem o1-preview, o1 i o1-pro, koji koriste nesrazmerno velike kapacitete za izvršavanje, na 1.6T tokena, uz prosečan odnos ulaznih:izlaznih tokena 1:1 (s obzirom na dokumente i druge ulaze), dolazimo do prosečno oko 1T tokena svake vrste dnevno tokom godine, odnosno ukupno 2T.

U budućnosti očekujemo:

• Taj udeo trebalo bi da ostane približno isti tokom 2025, a zatim počne da opada kako rastu interni prioriteti, a objavljivanje najnaprednijih modela u 2027. se odlaže zbog sposobnosti koje omogućavaju znatno povećanje produktivnosti internog istraživanja i razvoja AI.

• Tokom naredne tri godine očekujemo da se udeo prihoda sve više pomera ka korporativnim klijentima, kako se poslovni model menja od dominacije „onlajn četbota“ ka „usluzi radnika na daljinu koji se odmah uključuje u posao“.

• Imajte na umu da i smanjeni udeo i dalje znači veoma veliki apsolutni skok, sa 75k H100 u 2024. na 2M u 2027, što je približno srazmerno povećanju prihoda koje očekujemo.

Korišćenje kapaciteta za nadzor

Kao veoma grubu heuristiku, očekujemo da model sa prosečnim troškom izvršavanja oko 10x manjim od prosečnog troška modela u upotrebi proverava približno polovinu svih ulaznih/izlaznih tokena u različitim okruženjima (bilo kroz nadzor spoljne primene ili, kasnije, kroz potencijalno šire sisteme kontrole AI, uključujući automatizaciju istraživanja). Zato sabiramo udele spoljne primene i istraživačkih asistenata i delimo sa 20 da dobijemo procenu udela kapaciteta za nadzor; vidimo da on ostaje približno stalan, oko 2-4%.

Odeljak 4. Automatizacija istraživanja AI

Status: Neizvesno, ali potkrepljeno informacijama. Ovaj odeljak je informisana prognoza zasnovana na javnim informacijama.

Slika 18: Sažetak kompromisa u primeni AI istraživačkih agenata sa kojim očekujemo da će se OpenBrain suočiti koristeći 6% svojih H100e kapaciteta, kako je predviđeno u odeljku o korišćenju kapaciteta za automatizaciju istraživanja.

Ovaj pododeljak analizira kompromis između brzine i broja paralelnih kopija pri izvršavanju AI modela, sa fokusom na konkretne modele za koje smatramo da bi mogli da se koriste za automatizaciju istraživanja AI u AI 2027. Pri izvršavanju modela, ukupan zbirni memorijski protok je najdirektnija mera performansi jer sekvencijalno dekodiranje tokena zahteva održavanje rastućeg KV keša u brzoj memoriji i njegovo učitavanje, zajedno sa parametrima modela, u procesore za svaki generisani token. Zato u ovom odeljku koristimo ekvivalente memorijskog protoka H100 (H100-Be), odnosno jedinice od 3.6TB/s ukupnog zbirnog protoka (vrednost na polovini između H100 NVL i H100 SXM uz pretpostavku da su proizvedeni u približno jednakom broju).

Postojeći planovi razvoja hardvera

Nvidia grafički procesori

Čipovi za izvršavanje modela veličine silicijumske ploče

Sopstveni čip za izvršavanje modela 2027.

Ova tabela sadrži prognozu tipičnog čipa za izvršavanje modela u 2027. (2027-IC) koji će biti dostupan vodećoj AI kompaniji. Kako je opisano u pododeljku o automatizaciji istraživanja i razvoja hardvera , očekujemo da vodeće AI kompanije u 2027. automatizuju projektovanje specijalizovanih čipova i povećaju sopstvenu proizvodnju čipova. Već postoje rani znaci takvih ambicija, poput OpenAI zapošljavanja istaknutih projektanata Google TPU i planova da projektuju svoj prvi sopstveni čip u 2025..

Veličina i arhitektura najnaprednijeg modela

Početkom 2027. očekujemo da obučavanja najnaprednijih modela dostignu oko 2e28 FLOP (4e28 FLOP pri fp8 preciznosti), na osnovu procena korišćenja kapaciteta. Na osnovu odnosa prema GPT-4 od ~1000x, jednostavno predviđamo da bi takav AI model imao približno 10T aktivnih parametara. S obzirom na stepen automatizacije istraživanja AI predviđen u AI 2027, očekujemo da značajni efekti destilacije reprodukuju isti nivo sposobnosti u znatno manjim, efikasnijim modelima. Očekujemo da AI kompanije primenjuju čitav niz manjih modela i novih kontrolnih verzija svog najvećeg modela, koji neprekidno naknadno obučavaju radi viših sposobnosti. Ipak, proračune brzine i broja kopija vršimo u jedinicama fiksnog ekvivalenta gustog modela od 10T parametara radi jednostavnosti i pretpostavljamo da mešavina eksperata ili druge buduće arhitekture mogu da se preračunaju u parametre „ekvivalentnog gustog modela“ na osnovu ekonomike izvršavanja. Zatim prilagođavamo proračune brzine/broja kopija u budućim periodima opadanju veličine modela. Posebno očekujemo da najinteligentniji model do kraja 2027. opadne sa oko 10T parametara ekvivalentnog gustog modela na 2T parametara, iako njegove kvalitativne sposobnosti rastu od prosečnog ljudskog istraživača do izrazito superinteligentnog istraživača, usled eksplozije algoritamske efikasnosti i približavanja granicama inteligencije.

Dostupni kapaciteti i memorija

Prema našoj projekciji raspodele računarskih kapaciteta vodeća AI kompanija u 2027. imaće 15-20% svetskih kapaciteta, a prema našoj projekciji interne upotrebe koristiće 6% toga za pokretanje AI radi automatizacije istraživanja, što joj daje budžet memorijskog protoka od oko 4K sopstvenih čipova za izvršavanje modela 2027. (2027-IC) za Q1 2027, i 10K 2027-IC do Q4 2027. Proračune vršimo u jedinicama od 1K sopstvenih čipova za izvršavanje modela 2027. (1k 2027-IC), što odgovara 100K H100 po računskoj snazi i 200K H100 po memorijskom protoku, a zatim izvodimo krive kompromisa pri primeni od Q1 do Q4.

Kompromis između paralelnih kopija i brzine

Pri izvršavanju modela možete birati između više paralelnih kopija sa manjom brzinom i obrnuto, pri čemu kompromis ograničavaju memorijska uska grla (pri povećanju broja kopija) i uska grla kašnjenja (pri smanjenju broja kopija radi maksimalne brzine). Drugim rečima, ako povećate broj paralelnih kopija iznad onoga što staje u ukupnu HBM memoriju GPU servera ili grupe dobro povezanih GPU servera, javljaju se značajna usporavanja zbog sporijih memorijskih veza; ako broj previše smanjite, smanjivanjem veličine paketa i/ili povećanjem tenzorskog/modelskog paralelizma (raspodelom modela na više GPU), svaki zahtev mora da prođe kroz više čipova u klasteru, stvarajući komunikaciona uska grla.

Povećavanje broja paralelnih kopija

Ako se model izvršava uz fp4 preciznost, 10T parametara zahteva 5TB memorije. Na jednom 2027-IC čipu to ostavlja 12.8TB slobodne HBM, od čega možemo pretpostaviti da je 1.8TB rezervisano za razne potrebe, dok 11TB ostaje za KV keš. Uz prosečnu dužinu sekvence od 20k tokena, skrivenu dimenziju od 50k i ukupno 250 slojeva, to podržava maksimalnu veličinu paketa od 440. Dakle, sa 1000 instanci (po 1 na 2027-IC čipu), to odgovara 440K paralelnih kopija. Svaki paket zahtevao bi 16TB/tok protoka, pa bi brzina izvršavanja bila 45 tokena/sekundi.

Smanjivanje broja paralelnih kopija

Teoretski možete smanjiti broj na samo 1 instancu modela raspoređenu na svih 1000 servera, ali to bi bilo ozbiljno ograničeno komunikacionim uskim grlima. Razumnije je pretpostaviti instancu modela raspoređenu na 10 čipova 2027-IC, uz veličinu paketa od samo 10. To bi ostavilo samo 1,000 paralelnih kopija. Svaki paket zahtevao bi 5.3 TB/tok protoka, pa bi brzina izvršavanja bila 1,350 tokena/sekundi, uz dovoljno brze međuveze između 10 čipova da komunikacija među njima ne bude usko grlo.

Projektovani kompromis pri primeni

Kombinujući ove krajnosti „povećanja paralelnih kopija“ i „smanjenja paralelnih kopija“, možemo izračunati niz mogućnosti primene između njih i dobiti prosečne krive kompromisa za svaki period, kao na Slici 16. Ove krive nisu izračunate uz potpuno razmatranje mogućih sadašnjih ili budućih tehnika paralelizma i komunikacionih uskih grla među čipovima, mada smo relativno sigurni da oni verovatno ne bi bitno uticali na krive.

Slika 19: Kompromis pri primeni AI istraživačkih agenata sa kojim očekujemo da se OpenBrain suoči koristeći 6% svojih H100e kapaciteta, kako je predviđeno u odeljku o korišćenju kapaciteta za automatizaciju istraživanja.

Jednostavno pretpostavljamo da će tokom 2027. postojati približno jednaka sklonost ka velikom broju paralelnih kopija i velikoj brzini, sa prosečnim kompromisom od oko 300K kopija i prosečnom brzinom oko 20x većom od ljudskog razmišljanja. Izvan obuhvata ovog teksta, očekujemo da se sklonost u 2028. blago pomeri ka sekvencijalnim zadacima, kako korist od dodatnih kopija modela sve više opada pri približavanju granicama inteligencije, a novi hardverski izumi iz sredine i kraja 2027. dobiju vreme za proizvodnju i široku primenu.

Odeljak 5. Pokazatelji industrije

Status: Neizvesno, ali potkrepljeno informacijama. Ovaj odeljak je informisana prognoza zasnovana na javnim informacijama.

Ovaj odeljak predstavlja projekciju obučavanja najnaprednijih modela vodeće AI kompanije do 2028. i razmatra povezane projekcije troškova, prihoda i potrebne električne snage.

Obučavanja modela

Slika 20: Obučavanja modela u AI 2027.

Naša prognoza proizvodnje računarskih kapaciteta predviđa rast globalnih kapaciteta relevantnih za AI od 2.25x godišnje između 2024. i 2027. Uz udeo u globalnim kapacitetima vodeće AI kompanije koji raste 1.4x godišnje i interni udeo obučavanja koji ostaje na 40% do 2027, kada pada na 20%, sve zajedno daje sledeću projekciju obučavanja modela.

Čipovi u upotrebi

Koristeći naše proizvodnji računarskih kapaciteta i raspodeli računarskih kapaciteta odeljke, ilustrujemo čipove za koje očekujemo da će vodeća AI kompanija koristiti do 2027. Očekujemo da većinu čine Nvidia čipovi, uz sopstvene čipove za izvršavanje modela koji se pojavljuju u 2027.

Slika 21: Čipovi koje koristi vodeća AI kompanija do decembra 2027.

Finansije

U ovom pododeljku projektujemo troškove i prihode vodeće AI kompanije do 2027. Polazimo od OpenAI da bismo razumeli trend pre 2025, a zatim koristimo druge projekcije za ekstrapolaciju u budućnost.

Slika 22: Približne projekcije troškova i prihoda za OpenBrain, vodeću AI kompaniju.

Projekcija troškova računarskih kapaciteta

New York Times je izvestio da OpenAI očekuje $5.4B in computing costs in 2024, a GPT-4, koji je obučavan sredinom 2022. tokom 3 meseca, prema proceni je koštao oko $100M za obučavanje. Ako je obučavanje GPT-4 činilo 20-40% njihovih ulaganja u kapacitete te godine, to znači povećanje ulaganja od približno 11-22x/godišnje od 2022. do 2024.

U međuvremenu, odnos računarskih performansi i cene (FLOP/$) udvostručio se od A100 do H100 za 16 meseci, što smatramo blagim odstupanjem od trenda bližeg stopi od oko 1.4x/godišnje za najnaprednije AI čipove. Za budućnost možemo uzeti projekciju rasta kapaciteta vodeće AI kompanije od 3.4x/godišnje i umanjiti je za poboljšanje FLOP/$ od 1.5x da dobijemo prosečnu projekciju rasta ulaganja vodeće AI kompanije u AI kapacitete od 2.4x/godišnje. Ipak, očekujemo brži rast tokom prve godine ili dve, a zatim usporavanje zbog rastuće konkurentnosti sopstvenih čipova.

Projekcija prihoda

Koristimo OpenAI prihod od $1B u 2023. i prihod od oko $4B u 2024. da sastavimo kratkoročni trend za koji očekujemo da postepeno usporava, ali zadrži eksponencijalni rast do 2027. jer agentski modeli privlače pretplatnike koji plaćaju visoke iznose za proizvode poput „radnika na daljinu koji se odmah uključuju u posao“.

FutureSearch projektovao je kako bi prihod OpenBrain mogao da poraste na $100B sredinom 2027. Posmatrali su ukupnu brzinu najbržih kompanija pri rastu sa $1B na $100B i utvrdili da se vreme za taj prelaz vremenom skraćivalo. Vodeća kompanija koja bi taj skok napravila za samo 4 godine bila bi najbrža ikada, ali bi i dalje pratila trend. Ispitali su i vrste agenata za kojima bi mogla da vlada najveća potražnja — od predstavnika korisničke službe do istraživača u istraživanju i razvoju — uz njihove cene, kako bi napravili detaljan pregled najverovatnijih izvora prihoda OpenBrain. Za više detalja pogledajte celokupan izveštaj FutureSearch.

Potrebna električna snaga

Konačno, modelujemo potrebnu električnu snagu za kapacitete vodeće AI kompanije do 2028. na osnovu objavljene i projektovane energetske efikasnosti ključnih Nvidia čipova koje očekujemo u upotrebi. Na osnovu toga izvodimo ukupnu potrebnu snagu vodeće AI kompanije i podrazumevanu ukupnu snagu AI centara podataka globalno (uz pretpostavku da vodeća AI kompanija ima prosečan koeficijent efikasnosti korišćenja električne energije).

Slika 23: Projekcije potrebne električne snage do decembra 2027.