Nvidia pregătește un nou procesor. Va face inteligența artificială de zece ori mai rapidă

Nvidia dezvoltă un cip dedicat procesării de tip „inference”, conceput pentru a permite modelelor de inteligență artificială să răspundă mai rapid la solicitări. Noua platformă urmează să fie prezentată la conferința dezvoltatorilor GTC din San Jose, programată luna viitoare, potrivit informațiilor apărute în presa internațională, informează Wall Street Journal. Sistemul ar urma să includă un cip proiectat de startup-ul Groq, într-o mișcare care marchează o schimbare importantă de strategie pentru gigantul american al cipurilor.

Nvidia pregătește o nouă generație de procesor

Nvidia, cunoscută pentru dominația sa în zona GPU-urilor utilizate la antrenarea modelelor AI, își orientează atenția către „inference computing” – etapa în care un model deja antrenat răspunde efectiv la întrebări sau generează conținut. Surse citate de Reuters arată că noul procesor ar putea contribui la acoperirea a aproximativ 10% din necesarul de calcul inferențial al OpenAI.

Interesul pentru astfel de cipuri a crescut pe fondul extinderii aplicațiilor de codare autonomă și al utilizării agenților AI în mediul enterprise. Companii precum Google și Amazon au dezvoltat la rândul lor soluții alternative care concurează cu sistemele Nvidia.

OpenAI, unul dintre cei mai mari clienți ai Nvidia, ar urma să devină și unul dintre principalii utilizatori ai noului procesor. Producătorul ChatGPT a explorat în ultimele luni opțiuni alternative pentru a obține soluții mai rapide și mai eficiente energetic.

Iranul a cumpărat în secret un satelit spion chinezesc. Îl folosesc pentru a ținti avioanele SUA

Arestarea directorului ARR, contestată de apărare. E contestată imparțialitatea judecătorului și preluarea argumentelor DNA

Vineri, OpenAI a făcut referire la noul sistem când a anunțat că va semna pentru o achiziție majoră de „capacitate dedicată de inference” de la Nvidia, în paralel cu o investiție de 30 de miliarde de dolari din partea companiei. Totodată, OpenAI a încheiat un acord important pentru utilizarea cipurilor Trainium dezvoltate de Amazon.

OpenAI / sursa foto: dreamstime.com

Groq a dezvoltat o arhitectură diferită de cea tradițională a Nvidia

La sfârșitul anului trecut, Nvidia a încheiat un acord de licențiere evaluat la 20 de miliarde de dolari cu Groq, preluând tehnologii-cheie și angajând conducerea companiei, inclusiv pe fondatorul Jonathan Ross. Tranzacția a fost descrisă drept una dintre cele mai mari operațiuni de tip „acqui-hire” din Silicon Valley.

Groq a dezvoltat o arhitectură diferită de cea tradițională a Nvidia, bazată pe „language processing units”, optimizate pentru sarcinile de inference. Până în prezent, Nvidia nu a oferit detalii clare despre modul în care va integra această tehnologie în noua platformă.

Pe fondul acestei competiții, OpenAI a semnat recent un parteneriat de calcul de miliarde de dolari cu Cerebras, companie care susține că oferă un cip de inference mai rapid decât GPU-urile Nvidia. De asemenea, Anthropic utilizează în principal cipuri dezvoltate de Amazon Web Services și Google Cloud pentru aplicațiile sale.

Ce planuri de viitor are compania

În ultimii ani, Nvidia a dominat piața GPU-urilor, considerate esențiale pentru antrenarea modelelor AI de mari dimensiuni. Seriile Hopper, Blackwell și Rubin sunt văzute drept printre cele mai performante soluții disponibile, iar analiștii estimează că Nvidia controlează peste 90% din piața GPU-urilor. Totuși, pe măsură ce industria se orientează către implementarea agenților AI și a aplicațiilor comerciale, accentul s-a mutat de la antrenare la inference. Multe companii consideră că GPU-urile sunt costisitoare și consumă prea multă energie pentru rularea continuă a aplicațiilor.

Calculul de tip inference implică două etape principale: „pre-fill”, în care modelul interpretează solicitarea utilizatorului, și „decode”, prin care generează răspunsul, cuvânt cu cuvânt. În mod obișnuit, faza de „decode” este cea care necesită mai mult timp și resurse, mai ales în cazul modelelor mari.

Nvidia explorează inclusiv utilizarea mai extinsă a procesoarelor sale centrale (CPU), precum seria Vera, în combinație sau chiar separat de GPU-uri, pentru anumite sarcini agentice. Recent, compania a anunțat extinderea colaborării cu Meta Platforms, incluzând implementări semnificative bazate exclusiv pe CPU pentru susținerea agenților AI utilizați în targetarea reclamelor.

Noua platformă pe care Nvidia o pregătește ar putea reprezenta un pas important în adaptarea la noua fază a pieței AI, unde viteza de răspuns și eficiența energetică devin la fel de importante ca puterea brută de antrenare.