Blog gpt-oss-120b
Berapa banyak daya komputasi yang diperlukan untuk penerapan GPT-OSS?
Keluarga gpt-oss terbaru OpenAI (terutama rilis gpt-oss-20B dan gpt-oss-120B) secara eksplisit menargetkan dua kelas penerapan yang berbeda: inferensi lokal ringan (konsumen/tepi) dan inferensi pusat data skala besar. Rilis tersebut โ dan banyaknya perangkat komunitas seputar kuantisasi, adaptor peringkat rendah, dan pola desain sparse/Mixture-of-Experts (MoE) โ membuat kita bertanya-tanya: berapa banyak komputasi yang sebenarnya Anda butuhkan untuk menjalankan, menyempurnakan, dan menyajikan model-model ini dalam produksi?
OpenAI GPT-OSS: Cara Menjalankannya Secara Lokal atau Hosting Sendiri di Cloud, Persyaratan Perangkat Keras
GPT-OSS dirancang dengan sangat baik untuk aksesibilitas: varian gpt-oss-20B dirancang untuk berjalan pada satu GPU konsumen (~16 GB VRAM) atau GPU kelas atas terbaru.
Mungkinkah GPT-OSS Menjadi Masa Depan Penerapan AI Lokal?
OpenAI telah mengumumkan rilis GPT-OSS, keluarga dua model bahasa bobot terbukaโgpt-oss-120b dan gpt-oss-20bโdi bawah lisensi Apache 2.0 yang permisif,
API GPT-OSS-120B
gpt-oss-120b OpenAI menandai rilis open-weight pertama organisasi tersebut sejak GPT-2, menawarkan pengembang AI yang transparan, dapat disesuaikan, dan berkinerja tinggi