Yapay zeka uygulamalarında ekran kartı performansını yakından izleyen kullanıcıların gündemine, NVIDIA GeForce RTX 30 serisine yönelik yeni bir açık kaynak aracı girdi. GitHub’da paylaşılan Zagitta adlı Linux çekirdek modülünün, bazı Ampere tabanlı kartlarda FP16 ve BF16 hesaplama performansını ciddi ölçüde artırdığı belirtiliyor.
Aktarılan bilgilere göre araç, vBIOS flaşlama ya da kart üzerinde fiziksel bir işlem gerektirmeden çalışıyor. NVIDIA sürücüsü devreye girmeden önce donanım seviyesindeki hız seçicilerine müdahale eden modülün, GA102, GA103, GA104 ve GA106 grafik yongalarında FP/BF16 FMA komut işleme hızını yükselttiği ifade ediliyor.
Sosyal medyada ve geliştirici çevrelerinde paylaşılan testler özellikle RTX 30 serisine işaret ediyor. Buna göre RTX 3090 Ti modelinde BF16 işlem gücünün 87,5 TFLOPS seviyesinden 157,4 TFLOPS’a, TF32 performansının ise 42,5 TFLOPS’tan 82,6 TFLOPS’a çıktığı öne sürüldü. RTX 3080 10 GB için de stok 320W güç sınırında FP16/BF16 performansının yaklaşık 65 TFLOPS’tan 110-113 TFLOPS aralığına yükseldiği aktarıldı.
LLM TESTLERİNDE GECİKME AZALDI
Paylaşılan sonuçlarda yalnızca ham işlem gücü değil, büyük dil modeli senaryoları da öne çıkıyor. Uzun bağlamlı sorgularda ön yükleme süresinin yaklaşık yüzde 33-36 hızlandığı, ilk yanıta ulaşma gecikmesinin ise yüzde 25 civarında azaldığı bildirildi. Buna karşılık metin üretiminin devam ettiği “decode” aşamasında belirgin bir değişim olmadığı ifade ediliyor.
Zagitta’nın mevcut durumda Linux üzerinde ve ağırlıklı olarak RTX 30 serisi Ampere yongalarda kullanıldığı belirtiliyor. Bazı paylaşımlarda RTX 40 serisi de tartışmaya dahil edilse de aktarılan teknik notlarda 40 serisi için destek bulunmadığı, ayrıca Secure Boot’un kapatılması gerektiği bilgisi yer alıyor. Bu nedenle aracın yaygın kullanıcılar için risksiz ve standart bir çözüm olarak değerlendirilmemesi gerekiyor.
Gelişme ikinci el ekran kartı pazarına da yansımış durumda. Yapay zeka modeli çalıştıran veya model ince ayarı yapan kullanıcıların özellikle 24 GB VRAM’e sahip RTX 3090 ve RTX 3090 Ti modellerine yöneldiği belirtiliyor. Daha önce yurt dışı ikinci el platformlarında 1.000 dolar bandında görülen RTX 3090 ilanlarının 2.000 dolar eşiğini aştığı, RTX 3090 Ti için ise 2.650-3.000 dolar seviyelerinin konuşulduğu aktarılıyor.
Bu tablo, yapay zeka geliştiricileri için daha düşük maliyetli bilgi işlem seçeneği yaratırken, oyuncular açısından yeniden fiyat baskısı anlamına geliyor. Talebin kalıcı olup olmayacağı ise aracın teknik güvenilirliği, sürücü güncellemeleri karşısındaki durumu ve kullanıcıların risk iştahına bağlı olacak.
Haber Kaynağı : 12punto
