Blog gpt-oss-120b
Berapakah kuasa pengkomputeran yang diperlukan untuk penggunaan GPT-OSS?
Keluarga gpt-oss OpenAI baru-baru ini (terutamanya keluaran gpt-oss-20B dan gpt-oss-120B) secara eksplisit menyasarkan dua kelas penggunaan yang berbeza: inferens tempatan ringan (pengguna/tepi) dan inferens pusat data berskala besar. Keluaran itu — dan kesibukan peralatan komuniti di sekitar pengkuantitian, penyesuai peringkat rendah dan corak reka bentuk jarang/Campuran Pakar (MoE) — menjadikannya wajar untuk ditanya: berapa banyak pengiraan yang anda perlukan untuk menjalankan, memperhalusi dan menyediakan model ini dalam pengeluaran?
OpenAI GPT-OSS: Cara Menjalankannya Secara Tempatan atau hos sendiri pada Awan, Keperluan Perkakasan
GPT-OSS direka bentuk dengan baik untuk kebolehaksesan: varian gpt-oss-20B direka bentuk untuk dijalankan pada GPU pengguna tunggal (~16 GB VRAM) atau mewah terkini
Bolehkah GPT-OSS Menjadi Masa Depan Penerapan AI Tempatan?
OpenAI telah mengumumkan keluaran GPT-OSS, keluarga dua model bahasa berat terbuka—gpt-oss-120b dan gpt-oss-20b—di bawah lesen Apache 2.0 yang permisif,
API GPT-OSS-120B
gpt-oss-120b OpenAI menandakan keluaran berat terbuka pertama organisasi sejak GPT-2, menawarkan AI yang telus, boleh disesuaikan dan berprestasi tinggi kepada pembangun