gpt-oss-120b Blog
GPT-OSS dağıtımı için ne kadar bilgi işlem gücü gereklidir?
OpenAI'nin son gpt-oss ailesi (özellikle gpt-oss-20B ve gpt-oss-120B sürümleri), iki farklı dağıtım sınıfını açıkça hedef alıyor: hafif yerel çıkarım (tüketici/uç) ve büyük ölçekli veri merkezi çıkarımı. Bu sürüm ve niceleme, düşük seviyeli adaptörler ve seyrek/Uzman Karışımı (MoE) tasarım kalıpları etrafında gelişen topluluk araçları, şu soruyu sormaya değer kılıyor: Bu modelleri üretimde çalıştırmak, ince ayar yapmak ve sunmak için aslında ne kadar işlem gücüne ihtiyacınız var?
OpenAI GPT-OSS: Bulutta Yerel Olarak veya Kendi Kendine Barındırma Yöntemi, Donanım Gereksinimleri
GPT-OSS, erişilebilirlik açısından alışılmadık derecede iyi tasarlanmıştır: gpt-oss-20B çeşidi, tek bir tüketici GPU'sunda (~16 GB VRAM) veya son zamanlardaki üst düzey
GPT-OSS Yerel Yapay Zeka Dağıtımının Geleceği Olabilir mi?
OpenAI, izin verici Apache 120 lisansı altında iki açık ağırlıklı dil modeli ailesi olan gpt-oss-20b ve gpt-oss-2.0b'nin yayınlandığını duyurdu.
GPT-OSS-120B API
OpenAI'nin gpt-oss-120b sürümü, GPT-2'den bu yana kuruluşun ilk açık kaynaklı sürümü olup, geliştiricilere şeffaf, özelleştirilebilir ve yüksek performanslı yapay zeka sunuyor