Nimeni nu voia să salveze cele 12 miliarde

Însemnări despre risipa de tokeni, inboxuri surde și factura care abia începe să vină

Acum doi ani țineam în mână cea mai ieftină idee pe care industria AI a refuzat vreodată să o privească. Era o metodă care tăia cel puțin șase mii de tokeni din fiecare sesiune de utilizator, un rezultat confirmat în teste pe care le puteam repeta ori de câte ori voiam. La scara unei companii AI de top, cifra aceasta înseamnă, pe an, aproximativ douăsprezece miliarde de dolari de costuri care nu trebuiau să existe. Știu cum sună. A sunat exact la fel și pentru sutele de companii cărora le-am scris, iar răspunsurile lor se încadrează în două categorii: tăcere și o singură scrisoare la care mă voi întoarce.

Aceasta este povestea acelei idei - de unde a venit, cât valora, de ce nimeni n-a vrut-o și ce începe să se întâmple acum, când banii ușori au încetat să mai fie ușori. Nu scriu ca să-mi iau revanșa. Scriu pentru că tiparul merită consemnat: o industrie capabilă de lucruri uimitoare este, în același timp, o industrie care poate auzi o întrebare de douăsprezece miliarde de dolari și îi poate răspunde cu nimic.

Lipsa de resurse e un bun inginer

Mai întâi, cine vă vorbește. Sunt un cercetător independent, ceea ce este o formulă politicoasă pentru: niciun laborator nu mă plătește, niciun ecuson nu mă lasă să intru în clădirile în care se iau deciziile, niciun nume pe o lucrare nu îmi deschide uși. Resursele mi-au fost întotdeauna limitate. Mult timp am tratat asta ca pe obstacol. Abia mai târziu am înțeles că a fost, de fapt, școala.

Când nu te poți cumpăra afară dintr-o problemă, înveți să numeri. Barosanii - cei cu flote de acceleratoare și contracte de energie de mărimea unor țări mici - rezolvă aproape orice adăugând mai mult: mai multe GPU-uri, mai multe rulări paralele, mai mulți tokeni, mai mult de toate. Din afara lumii aceleia îți dezvolți alt instinct: înveți cât costă, de fapt, o sesiune, unde se ascunde balastul și de ce același răspuns poate fi obținut cu o fracțiune din tokenii pe care industria îi cheltuiește de rutină.

Oamenii cărora le-am trimis în cele din urmă metoda aveau, fără excepție, mai multe resurse decât mine; unii aveau mai multe decât universități întregi. Ce nu aveau - și ce nicio abundență nu oferă - era obiceiul de a se întreba cât costă ceva. Abundența ascunde aritmetica. Când răspunsul la orice blocaj este „cumpărăm mai mult”, nu mai întrebi dacă munca respectivă mai trebuie făcută, iar mușchiul acesta al întrebării se atrofiază. Constrângerea l-a ținut pe al meu în formă. Asimetria aceasta, mai mult decât orice truc tehnic, a produs cifra cu care se deschide materialul de față: cine nu își permite să nu numere, numără.

Cei care nu stau pe partea servirii văd rar din ce este făcut balastul acesta. Este preambulul care pleacă la drum cu fiecare cerere pentru că a fost mai ușor să îl retrimiți decât să îl gestionezi. Este contextul recitit în întregime la fiecare tură al unei conversații care rulează de un ceas. Este partea de la mijloc, verbose, a unui model care se gândește cu voce tare; sunt reîncercările pe care nimeni nu le numără; sunt schelele din jurul răspunsurilor pe care nimeni nu le-a cerut. Niciunul nu este chiar un bug; fiecare a fost o decizie rezonabilă luată undeva de cineva care nu plătea pentru ea. Împachetează câteva dintre ele peste câteva sute de milioane de sesiuni și deciziile rezonabile devin o centrală electrică.

Din instinctul acela s-a născut metoda. Nu o descriu aici; detaliile au încetat să existe de ceva vreme, iar materialul acesta nu este despre mecanism. Contează ce a arătat ea. În testele mele, cel puțin șase mii de tokeni pe utilizator, per sesiune, puteau fi eliminați fără nicio pierdere pe care utilizatorul să o simtă. Iar un token nu este niciodată doar un token. Fiecare token dintr-o sesiune se plătește de mai multe ori: o dată în computație, o dată în energie, o dată în siliciu și răcire care există doar ca să țină computația în viață - și, pentru că contextul este reprocesat de la tură la tură, uneori încă o dată mult după ce utilizatorul a încetat să scrie. Șase mii de tokeni pe sesiune nu este o eroare de rotunjit. Este un plan de capacitate.

Aritmetica pe care nimeni n-a cerut-o

Iată aritmetica pe care am pus-o în fața oamenilor; o puteți verifica și puteți schimba orice intrare. Luați o companie AI de top, de consum, și presupuneți trei sute de milioane de utilizatori săptămânali - o cifră conservatoare pentru anii la care mă refer. Presupuneți cinci sesiuni per utilizator pe săptămână, și aceasta mai conservatoare. Înmulțiți cu șase mii de tokeni salvați per sesiune și ajungeți la aproximativ nouă trilioane de tokeni pe săptămână - cam 470 de trilioane pe an.

Acum prețuiți tokenul. Nu prețul afișat în API: costul integral al menținerii în viață a unui model de frontieră, adică siliciul amortizat, energia și răcirea, oamenii și rezerva pe care o ții inactivă pentru vârfuri. La prețurile epocii, 20-30 de dolari per milion de tokeni, calculați integral, nu era o presupunere exotică pentru servirea cu modele de vârf. 470 de trilioane de tokeni în acel interval înseamnă între 9 și 15 miliarde de dolari pe an. Spuneți 12. Înjumătățiți orice premisă și descrieți în continuare miliarde pe care nimeni nu le cheltuiește pentru că nimeni nu este obligat.

Iar tokenii sunt doar factura. Banii adevărați stau cu un etaj mai jos. Dacă cererea de vârf scade cu o treime, se taie și următoarea comandă de acceleratoare; clădirea pe care urma să o ridicați nu se mai ridică; substația, transformatoarele, contractul de energie - nimic din toate acestea nu mai trebuie să existe. Exact asta a făcut cifra greu de dat la o parte și ușor de ignorat în același timp: prea mare ca să fie o cerință de produs, prea departe de orice fișă de post ca să fie urgența cuiva.

Cifra este ușor de atacat, pentru că orice premisă din ea este atacabilă, și le-am invitat pe oameni să o atace. Aici era partea ciudată: intrările nu erau ale mele. Numărul de utilizatori era cel pe care companiile îl publicau și îl sărbătoreau. Frecvența sesiunilor era a lor de corectat, și nimeni n-a corectat-o. Prețurile tokenilor erau listele de preț ale industriei, publice, pe un site. Nu am inventat nicio intrare. Am doar înmulțit industria cu ea însăși - și apoi i-am înapoiat rezultatul, în scris, la prețul unui test.

Un singur răspuns din sute

Când m-am convins că testele nu mă flatau, am început să scriu. Nu listă de distribuție, nu trimitere în masă - scriam scrisori una câte una, adresate pe nume, fiecare construită în jurul unor cifre pe care credeam că destinatarul le va recunoaște. Scrisori scurte. Fără pretenții, fără dramatism: iată ce am găsit, iată aritmetica, iată cât v-ar costa un test. Am scris la sute de companii din domeniu.

Răspunsurile se numără fără să rămână degete ridicate. Nu „nu, mulțumesc”. Nu „cine sunteți”. Nimic. Tăcerea avea o textură pe care la început nu o înțelegeam; era prea uniformă ca să fie o întâmplare. Sute de organizații, un mesaj, zero răspunsuri - asta nu este o coincidență. Este o politică pe care nimeni n-a mai avut nevoie să o scrie undeva.

Și apoi, un răspuns. De la un CEO - sau, eventual, de la cine îi răspundea la mail; nu am aflat niciodată care, și aproape că nu contează. Era un răspuns amabil, tocmai de aceea a usturat. Reprodus din memorie, spunea cam așa:

Atât timp cât există bani de cheltuit, nimeni nu îți va accepta ideea. Și presupune că cineva ar accepta-o: acel cineva ar trebui apoi să își asume responsabilitatea pentru toți banii care se puteau salva. Cu alte cuvinte, să recunoască că a greșit. Într-o lume în care se învârt miliarde de dolari, nimeni nu vrea asta.

M-am gândit la scrisoarea aceea mai mult decât la orice altceva pe care mi-au ferit-o de la mine. Mi-a aranjat întreaga industrie într-un singur paragraf. Obstacolul nu a fost niciodată tehnic. Nimeni nu mi-a scris că testele erau greșite, că aritmetica era naivă, că economiile erau o iluzie. Nu a existat contraargument pentru că nu exista contraargument. Ce exista era un stimulent: acceptarea ideii însemna să îți pui semnătura sub o mărturisire - că am fost risipitori, că economiile erau la îndemână, că le-am lăsat pe masă. Într-o piață în creștere, veștile bune care îți incriminează trecutul sunt mai rele decât veștile rele care îți promit viitorul. Cel mai scump obiect din industria asta nu este un GPU. Este o recunoaștere.

Sub stimulentul acela stă o economie organizațională care merită două rânduri ale ei. Într-o companie purtată de boom, oamenii care ar putea accepta o economie nu sunt plătiți să salveze bani deja bugetați pentru cheltuire. O echipă al cărei mandat este creșterea nu își poate consuma capitalul politic pe un rezultat care taie tocmai bugetul din care trăiește. O economie introdusă cinstit în registru anulează alocarea cuiva - iar intrările cinstite sunt exact cele care se amână. Nimic din toate acestea nu cere oameni răi. Cere doar ca contabilitatea să recompenseze cheltuirea și să taxeze discret zgârcenia, ceea ce, într-o piață de boom, este setarea din fabrică a aproape oricărei organizații construite să crească.

Anul în care a sosit factura

Am luat sfatul din scrisoare în sens propriu și am tăcut. Documentația a dispărut prima, apoi metoda, apoi formula - ajung și la asta. Doi ani am privit industria făcând exact ce făcea când i-am scris: cumpără, construiește, scalează, repetă. Apoi, încet, atmosfera s-a schimbat. Fără un titlu de ziar, cu o textură: felul în care se vorbește despre cost în domeniu este altfel acum decât era când am trimis scrisorile.

Astăzi, aceeași industrie care nu voia să numere tokenii îi numără obsesiv. Văd companii încercând să scape de hardware cumpărat pe credit - mașini care acum doar consumă bani și nu produc nimic în schimb. Văd piața secundară umplându-se, în surdină, cu siliciu comandat pentru o cerere care n-a sosit niciodată. Și am privit, recent, o firmă pe care orice cititor al acestui material ar recunoaște-o imediat cum punea la licitație pe eBay un lot însemnat de GPU-uri. Stați puțin cu imaginea: mașini construite ca să se gândească, vândute la paleti ca mobilierul de birou rămas în plus. Când lucrul acesta începe să se întâmple, se închide un capitol, iar toți cei implicați știu care.

Nu voi pretinde că aritmetica respectivă îmi este acum de mângâiere; este exact opusul. Doi ani din economiile acelea, rulând din ziua în care au fost oferite prima dată: comenzi de acceleratoare mai mici, angajamente energetice mai mici, mai puțin credit luat pentru un siliciu care acum așteaptă un cumpărător. Lovitura care se desfășoară acum ar fi căzut pe o podea mai moale. Nu este fantezie. Este același calcul, cu aceleași intrări, care a fost refuzat. Industria taie costuri astăzi pe drumul cel scump - retroactiv - pentru că a refuzat să le taie pe drumul cel ieftin, dinainte.

Redescoperirea de acum are un ritm pe care industriile mai vechi l-ar recunoaște pe loc. Eficiența nu este niciodată la modă când banii sunt ieftini; devine la modă exact când banii devin scumpi, ceea ce este și momentul în care nu ți-o mai poți permite. Disciplina pe care o descrieam acum doi ani - să pricezi o sesiune, să privești tokenii precum o fabrică privește rebuturile - se asamblează acum de la zero, sub presiune, cu prime. Așa merg lucrurile. Piețele plătesc aceeași lecție de două ori: o dată ca școlarizare în anii buni și o dată ca daune în anii răi.

Credibilitatea e o monedă

Când povestesc lucrurile acestea, oamenii mă întreabă de ce nu am persistat pur și simplu: să public, să vorbesc, să îmi construiesc un nume, să forțez subiectul. Răspunsul este cealaltă jumătate a lecției din scrisoare. În spatele stimulentelor stă o problemă de acces, iar problema de acces este structurală. Ideile nu sunt ascultate în industria asta după merit; sunt ascultate după credibilitatea celui care le duce. Cu numele potrivit, afilierea potrivită, legăturile potrivite, o idee mediocră primește o ședință. Fără ele, o întrebare de douăsprezece miliarde primește tăcere.

Ce ar fi putut schimba deznodământul? Nu banii și nu o prezentare mai bună. Un test. Cel mai ieftin instrument din toată trusa, singura acțiune care desparte o idee de o declarație, era exact lucrul pe care nimeni nu era dispus să îl facă. L-am oferit repetat la prețul acela. Industria, la prețul acela, nu cumpăra - iar refuzul nu a fost niciodată obligat să se explice, pentru că a refuza să privești este singura poziție care nu datorează nicio apărare.

Sunt exact ceea ce industria, cu politețe, ar numi un neică nimeni - un simplu cercetător al cărui nume nu deschide nicio ușă. Nu mă plâng; descriu o piață. Credibilitatea este o monedă și, ca orice monedă, este cea mai ieftină pentru cei care o dețin deja și cea mai scumpă pentru cei care au cea mai mare nevoie de ea. Orice sistem care filtrează ideile după statutul expeditorului este, de fapt, un sistem care își eșantionează viitorul dintr-o cameră foarte îngustă - și îi percepe taxă de intrare tuturor celor din afară.

Costul acestui aranjament nu îl plătesc cei excluși; îl plătește domeniul însuși. Ideile sunt perisabile. O metodă eficientă care sosește în timpul unui boom și este ignorată nu așteaptă politicos venirea crizei; putrezește, se risipește, este ștearsă de propriul autor. Filtrarea există ca să țină zgomotul afară și face asta bine. Tace însă și atunci când, din când în când, ține afară viitorul - și nici asta nu se consemnează nicăieri.

De ce metoda nu mai există

Unii cititori vor vedea deja oportunitatea: criza a sosit, industria are nevoie de ceea ce a refuzat, poate că acum ar testa metoda - sau chiar ar adopta-o. Este un gând legitim. Este, de obicei, momentul la care visează orice autor: momentul validării. Așa că închid ușa aceasta curat. Documentația, metoda, formula: șterse de mult, de peste tot unde le țineam.

Nu este răzbunare - sau nu doar - și mă aștept ca unii cititori să mă judece oricum pentru asta. Este o chestiune de simetrie. Când metoda era ieftină, când un test ar fi costat o după-amiază, iar economiile erau o ipoteză îndepărtată, nu valora nimic pentru cei cărora le fusese oferită. Acum că economiile sunt singura discuție din oraș, aceeași metodă ar fi de neînlocuit. S-o predai în termenii aceștia ar învăța exact lecția greșită: că plătește răbdarea, nu ascultarea. Refuz să fiu materialul didactic din acel program.

Nu am nicio iluzie că industria avea nevoie de mine în parte. Eficiența va fi găsită, pentru că eficiența se găsește întotdeauna - cererea pentru ea apare exact în momentul în care devine mai ieftin să o cauți decât să o irosești. Va fi redescoperită pe încet, la orice preț costă drumul lung, de oameni a căror acreditație îi face auzibili. Nu este profeție. Este doar felul în care piețele digeră o idee al cărei purtător nu deținea moneda potrivită.

Există o versiune a mea care publica totul acum ani, într-un preprint pe care nimeni nu l-ar fi citit, și o numește integritate. Înțeleg versiunea aceasta și o simpatizez. Dar o metodă eliberată în tăcere nu este o contribuție; este o repetiție. Îți aduce o dată calendaristică și un fel singuratic de satisfacție, în timp ce decidenții reali continuă exact ca înainte, nezbatuți de neplăcerea de fi citit ceva. Am ales o altă întrebuințare pentru aceeași tăcere și îmi asum consecințele.

Ce le-aș spune celor care ascultă acum

În primul rând: eficiența este contraciclică și tocmai de aceea trebuie construită în vremuri bune. Nimeni nu bugetează economii în timpul unui boom, iar toți cer ajutor în timpul crizei. Proiectează costul în produs cât timp banii sunt ieftini, pentru că nu poți instala ulterior disciplină într-o flotă pe care o finanțezi deja.

În al doilea rând: tratează costul unei sesiuni ca pe o metrică de produs, nu ca pe o notă de subsol operațională. Tokeni per sesiune, energie per interogare, siliciu per utilizator activ - pune-le pe același panou cu engagementul. Un token este cea mai mică unitate a unei facturi foarte mari, iar facturile de această mărime nu se plătesc o singură dată; se plătesc în fiecare zi, la fiecare cerere, la nesfârșit.

În al treilea rând: construiește un canal real pentru ideile de afară, pentru că nu costă aproape nimic și este singurul instrument care mi-a dat vreodată un răspuns sincer. Un răspuns costă o după-amiază. Cel pe care l-am primit a valutat mai mult decât ar fi valutat orice acceptare, și a existat doar din întâmplare. O industrie care răspunde doar propriilor CV-uri nu ar trebui să se miră de ce nu aude anumite lucruri.

În al patrulea rând: fii atent la stimulentul de a nu ști. Organizațiile evită informațiile care le creează obligații, iar o economie este o obligație - implică faptul că tot ce a fost înainte a fost risipă. Cel mai ieftin lucru pe care îl poate face o companie cu un număr incomod este să nu-l audă niciodată. Doar că tăcerea compune și ea dobânzi, exact ca factura, pe același calendar.

Undeva, în noaptea aceasta, rackuri zumzăie la capacitate maximă, generând tokeni pe care nimeni nu i-a cerut, pe siliciu pentru care cineva plătește încă rate. Am renunțat demult să mai număr tokenii altora. Pe ai mei îi țin minte cu o claritate perfectă: șase mii, per sesiune, minim. Cifra m-a costat doi ani de tăcere. După cum arată lucrurile din jur, este pe cale să îi coste industria cu mult mai mult decât atât.