Ideea de token va redefini, destul de repede, piața muncii, economia globală și modul în…

Ideea de token va redefini, destul de repede, piața muncii, economia globală și modul în care companiile cumpără și construiesc servicii. Sunt sigur de asta și m-am gândit să las, într-o serie de 3 sau 4 postări, explicația motivului pentru care am ajuns să gândesc așa.

// Context:
Un token e cea mai mică bucată în care AI-ul taie ceva (text, imagini, audio, cod, secvențe genetice) pentru a-l procesa. Melodie vs. note muzicale, dacă e să simplificăm mult.

Când e vorba despre text, modelele AI folosesc, de obicei, tokenizere (aplicații care împart cuvintele în tokens) care sunt antrenate preponderent pe text în engleză. De asta, cuvintele din engleză se sparg, de regulă, în 1, 2, 3, poate 4 tokens, în timp ce diacriticele noastre nu sunt la fel de frecvente în datele de antrenament, deci tokenizer-ul le tratează, adesea, altfel. „Înțelegere" e mai scump, în tokens, decât „intelegere" (fără diacritice).

De asta, un text de 100 de cuvinte în română consumă, în medie, cam 30-50% mai mulți tokens decât același text în engleză. Plătești mai mult pe API (accesul în flux la capacitățile AI), ai mai puțin spațiu în context window (conversația cu un chatbot care, de regulă, e sute de mii, maxim 1 mil tokens) etc.

// Intră ceva, iese ceva:
Token-urile sunt, deci, un echivalent al atomilor din lumea noastră reală. Modelul gândește în tokens. Textul e oferit lumii, token după token.e.

În acest context ar trebui înțeles un alt concept util, acela de inference (folosesc termenii în engleză pentru că așa îi întâlnim mai des). Inference e momentul în care modelul chiar lucrează, adică primește tokens, îi procesează token cu token și generează răspunsul, consumând putere de calcul (și bani) pentru fiecare token produs.

Inference-ul devine, deci, în zilele noastre, un cost real și vizibil. Atât de real încât unele companii de tehnologie încep, deja, să adauge costurile de inference ca a patra componentă a bugetului alocat angajaților, alături de salariu, bonus și acțiuni.

Lucrezi cu AI-ul? Folosești tokens în munca ta? Atunci munca ta generează un cost de inference pe care compania ar trebui să îl reflecte în buget. Jocul se mută, deci, în zona discuției legate de cât de productiv ești per dolar de inference consumat. Sau, și mai interesant, dacă o companie îți oferă x spațiu de inference, de ce nu l-ai folosit integral?

Și invers, unii oameni își întreabă angajatorii ce buget de inference au, ca să știe ce pot face, cu adevărat, în acel job, folosind tool-uri precum Claude Code, OpenAI Codex, Cursor etc.

// În episodul următor
Vom discuta despre modul în care China tehnologică își reconfigurează oferta comercială în jurul ideii de token, apoi va urma un episod în care vorbim despre munca în era token-ilor, pentru ca la final să închidem discuția cu o analiză agenților AI și a tokenizării economiei, care va avea implicații interesante.

Pentru că, nu-i așa, nimeni nu vorbește încă despre lucrurile astea. Deși sunt mai importante decât credem.

Ne auzim.