Блог gpt-oss-120b
Какая вычислительная мощность требуется для развертывания GPT-OSS?
Недавнее семейство OpenAI gpt-oss (в частности, версии gpt-oss-20B и gpt-oss-120B) чётко ориентировано на два разных класса развёртываний: лёгкий локальный вывод (потребитель/периферия) и вывод в крупных центрах обработки данных. Этот выпуск, а также поток инструментов сообщества, связанных с квантизацией, низкоранговыми адаптерами и шаблонами проектирования разреженных/смешанных экспертов (MoE), заставляют задаться вопросом: сколько вычислительных ресурсов вам действительно нужно для запуска, настройки и обслуживания этих моделей в рабочей среде?
OpenAI GPT-OSS: как запустить локально или разместить в облаке, требования к оборудованию
GPT-OSS необычайно хорошо спроектирован для обеспечения доступности: вариант gpt-oss-20B предназначен для работы на одном потребительском графическом процессоре (~16 ГБ видеопамяти) или на современных высокопроизводительных графических процессорах
Может ли GPT-OSS стать будущим локального развертывания ИИ?
Компания OpenAI объявила о выпуске GPT-OSS, семейства из двух моделей открытого языка — gpt-oss-120b и gpt-oss-20b — под разрешительной лицензией Apache 2.0.
API GPT-OSS-120B
Gpt-oss-120b от OpenAI — это первый релиз организации с открытым исходным кодом после GPT-2, предлагающий разработчикам прозрачный, настраиваемый и высокопроизводительный ИИ.