gpt-oss-20b Блог
GPT-OSS қолдану үшін қанша есептеу қуаты қажет?
OpenAI-дің соңғы gpt-oss тобы (әсіресе gpt-oss-20B және gpt-oss-120B шығарылымдары) қолданудың екі түрлі сыныбына нақты бағытталған: жеңіл жергілікті қорытынды (тұтынушы/жиек) және ауқымды деректер орталығының қорытындысы. Бұл шығарылым – және кванттау, төмен дәрежелі адаптерлер және сирек/Сарапшылар қоспасы (ТМ) дизайн үлгілері төңірегінде қауымдастық құралдарының толқуы – мынаны сұрауға тұрарлық: осы үлгілерді өндірісте іске қосу, дәл келтіру және қызмет көрсету үшін сізге қанша есептеу қажет?
OpenAI GPT-OSS: оны жергілікті түрде немесе бұлтта өзін-өзі басқару әдісі, аппараттық құралдарға қойылатын талаптар
GPT-OSS қол жетімділік үшін әдеттен тыс жақсы жобаланған: gpt-oss-20B нұсқасы бір тұтынушы GPU (~16 ГБ VRAM) немесе соңғы жоғары деңгейлі компьютерде жұмыс істеуге арналған.
GPT-OSS жергілікті AI қолданудың болашағы бола ала ма?
OpenAI рұқсат етілген Apache 120 лицензиясы бойынша GPT-OSS, екі ашық салмақты тіл үлгілерінің (gpt-oss-20b және gpt-oss-2.0b) шығарылымын жариялады.
GPT-OSS-20B API
gpt-oss-20b - рұқсат етілген лицензия бойынша o3-мини-деңгейдегі өнімділікті, агентке ыңғайлы құралды пайдалануды және толық ой тізбегі қолдауын ұсынатын портативті, ашық салмақты дәлелдеу үлгісі. Ол 120 B аналогы сияқты қуатты болмаса да, ол құрылғыдағы, аз кідіріспен және құпиялылыққа сезімтал орналастырулар үшін ерекше қолайлы. Әзірлеушілер оның белгілі композициялық шектеулерін, әсіресе білімді қажет ететін тапсырмаларда өлшеп, қауіпсіздік шараларын сәйкесінше реттеуі керек.