บล็อก gpt-oss-120b
จำเป็นต้องใช้พลังการประมวลผลเท่าใดสำหรับการใช้งาน GPT-OSS
ตระกูล gpt-oss ล่าสุดของ OpenAI (โดยเฉพาะรุ่น gpt-oss-20B และ gpt-oss-120B) มีเป้าหมายการใช้งานสองประเภทที่แตกต่างกันอย่างชัดเจน ได้แก่ การอนุมานแบบโลคัลน้ำหนักเบา (consumer/edge) และการอนุมานแบบศูนย์ข้อมูลขนาดใหญ่ การเปิดตัวดังกล่าว รวมถึงเครื่องมือต่างๆ ของชุมชนที่แพร่หลายเกี่ยวกับการวัดปริมาณ อะแดปเตอร์ระดับต่ำ และรูปแบบการออกแบบแบบเบาบาง/แบบผสมของผู้เชี่ยวชาญ (MoE) ทำให้ต้องตั้งคำถามว่า จริงๆ แล้วคุณต้องใช้การประมวลผลมากแค่ไหนในการรัน ปรับแต่ง และรองรับโมเดลเหล่านี้ในการใช้งานจริง
OpenAI GPT-OSS: วิธีการรันในเครื่องหรือโฮสต์เองบนคลาวด์ ความต้องการด้านฮาร์ดแวร์
GPT-OSS ได้รับการออกแบบมาเป็นอย่างดีเพื่อการเข้าถึง: เวอร์ชัน gpt-oss-20B ได้รับการออกแบบมาให้ทำงานบน GPU สำหรับผู้บริโภคตัวเดียว (~16 GB VRAM) หรือการ์ดจอระดับไฮเอนด์ล่าสุด
GPT-OSS อาจเป็นอนาคตของการใช้งาน AI ในพื้นที่หรือไม่?
OpenAI ได้ประกาศเปิดตัว GPT-OSS ซึ่งเป็นตระกูลของโมเดลภาษาแบบเปิดสองโมเดล ได้แก่ gpt-oss-120b และ gpt-oss-20b ภายใต้ใบอนุญาต Apache 2.0 ที่อนุญาต
API GPT-OSS-120B
gpt-oss-120b ของ OpenAI ถือเป็นการเปิดตัว open-weight ครั้งแรกขององค์กรนับตั้งแต่ GPT-2 โดยนำเสนอ AI ที่โปร่งใส ปรับแต่งได้ และประสิทธิภาพสูงสำหรับนักพัฒนา