Nvidia predstavlja H200, svoj najnoviji vrhunski čip za AI modele

Novi GPU je nadogradnja H100, čipa koji je OpenAI koristio za treniranje svog najnaprednijeg modela velikog jezika, GPT-4. Velike tvrtke, startupi i vladine agencije natječu se za ograničenu ponudu čipova.

Čipovi H100 koštaju između 25.000 i 40.000 dolara, prema procjeni Raymonda Jamesa, a tisuće njih potrebno je raditi zajedno kako bi se stvorili najveći modeli u procesu koji se zove "obuka".

Uzbuđenje oko Nvidijinih AI GPU-a dodatno je povećalo dionice tvrtke, koje su do sada porasle za više od 230% u 2023. Nvidia očekuje oko 16 milijardi dolara prihoda za svoje treće fiskalno tromjesečje, što je 170% više nego prije godinu dana.

Ključno poboljšanje kod H200 je to što uključuje 141 GB "HBM3" memorije sljedeće generacije koja će pomoći čipu da izvede "zaključivanje" ili korištenje velikog modela nakon što se osposobi za generiranje teksta, slika ili predviđanja.

Nvidia je rekla da će H200 generirati izlaz gotovo dvostruko brže od H100. To se temelji na testu koji koristi Meta's Llama 2 LLM.

H200, čija se isporuka očekuje u drugom kvartalu 2024., natjecat će se s AMD-ovim MI300X GPU-om. AMD-ov čip, sličan H200, ima dodatnu memoriju u odnosu na svoje prethodnike, što pomaže u uklapanju velikih modela na hardver za izvođenje zaključaka.