GPU dünyasının bir numarası NVIDIA, düzenlediği bir etkinlikte yeni çipini duyurdu. Yapay zekâ odaklı bu çip, NVIDIA'nın multitrilyonluk bir firma olmasını sağlayan H100'den çok daha iyi. Hatta NVIDIA, "dünyanın en iyi yapay zekâ odaklı çipini" ürettiğini tüm dünyaya ilan etmiş durumda. Peki NVIDIA'nın yeni çipleri, yapay zekâ geliştiricilerine neler vadediyor?
NVIDIA tarafından yapılan açıklamaya göre Blackwell B200 GPU isimli çip, tam 208 milyar adet transistör ile donatıldı. Bu da çipin 20 petaflop güç üretmesini sağlıyor. Şirkete göre bu çipte kullanılan yeni nesil transistör motoru, her nöron için 4 bitlik sistem kullanıyor. Bu da bilgi işlem, bant genişliği ve model boyutunun ikiye katlandığı anlamına geliyor.
NVIDIA H100'den 25 kat verimli!
*Solda Blackwell B200 GPU, sağda ise H100.
NVIDIA tarafından yapılan açıklamaya göre iki adet Blackwell B200 GPU'yu bir Grace CPU ile birleştirdiği, "GB200" isimli bir yonga kümesi oluşturdu. Şirketin açıklamasına göre bu yonga kümesi, H100'den 30 kat daha performanslı. Üstelik bir o kadar da verimli. NVIDIA'ya göre maliyet ve enerji tüketimi, H100'e kıyasla 25 kata kadar azalacak.
Diyelim ki elimizde 18 trilyon parametreli (GPT-4'ün yaklaşık 1,7 trilyon parametreli) bir yapay zekâ modeli var. NVIDIA'ya göre bu yapay zekâ modelini eğitmek için 8.000 adet Hopper GPU ve 15 megawatt'lık enerji tüketimine ihtiyaç duyuluyor. Aynı eğitim, 2.000 adet Blackwell B200 GPU ve 4 megawatt enerji tüketimi ile de verilebilecek. Yeni çipin ne kadar verimli olduğunu buradan da anlayabilirsiniz.
*NVIDIA G200 yonga kümesi.
NVIDIA'ya göre geçmişte üretilen 16 GPU'lu yapay zekâ yonga kümesi, zamanının yüzde 60'ını iletişim kurmak, yüzde 40'ını da bilgi işlem yapmak için harcıyordu. Yeni yonga kümesi, bunu da ortadan kaldırıyor. Şirket; GB200'de birbirine bağlanan 576 GPU'nun, saniyede 1,8 terabayt çift yönlü bant genişliğine sahip yeni bir bağlantı sistemi oluşturdu.
*NVIDIA GB200 NVL72.
NVIDIA'nın düşüncesine göre yapay zekâ geliştiren büyük şirketler, tek bir Blackwell B200 GPU satın almayacaklar. Hâl böyle olunca 36 CPU ve 72 GPU'luk farklı seçeneklere sahip olan paketler oluşturuldu. Bu bağlamda; NVIDIA GB200 NVL72 de onlardan bir tanesi. Kendinden sıvı soğutmalı paket, toplamda 720 petaflop güç üretebiliyor. Yukarıda gördüğünüz sistemin içinde 5.000 ayrı kablo bulunuyor. Bu kabloların toplam uzunluğu, 3,22 kilometre. Geliştiriciler, bu sistemi 27 trilyon parametreli bir model için kullanabilecekler.