AMD, Moonshot AI’ın Kimi K3.1 Pro modeli için ilk günden çalıştırma desteği sunduğunu duyurdu. 4 Kasım tarihli teknik açıklamaya göre model, sekiz AMD Instinct MI355X grafik işlemcisi üzerinde ATOM ve vLLM yazılımlarıyla kullanılabiliyor.
Uzun belgeler ve görseller aynı modelde
Açıklamada modelin yaklaşık bir milyon tokenlik bağlam penceresi, metin ve görsel girdi desteği ile araç çağırma özellikleri öne çıkarılıyor. Token, modelin metni işlerken kullandığı parçalara verilen ad; bir milyon token, bir milyon kelimeyle aynı ölçü değil.
Model toplam 2,8 trilyon parametre içeriyor. Bunun yaklaşık 104 milyarı her işlemde etkinleşiyor. Uzman karışımı mimarisi, bütün parametrelerin her adımda aynı anda kullanılmasını gerektirmiyor.
Duyuru sunucu altyapısını hedefliyor
AMD’nin yayımladığı kurulum, tek bilgisayarda sıradan bir ekran kartıyla kullanım örneği değil; sekiz güçlü GPU içeren bir sunucu düğümüne dayanıyor. Şirket, ATOM kurulumunda bir milyon tokenlik tek isteğin bu düğüme sığabildiğini belirtiyor.
Paylaşılan doğruluk ve çalışma sonuçları AMD’nin belirttiği donanım, yazılım ve test ayarlarına ait. Farklı sistemlerde aynı sonuçların alınacağına dair bir garanti sunulmuyor.
