Blog gpt-oss-20b
Cần bao nhiêu sức mạnh tính toán để triển khai GPT-OSS?
Họ gpt-oss gần đây của OpenAI (đáng chú ý là các bản phát hành gpt-oss-20B và gpt-oss-120B) nhắm mục tiêu rõ ràng đến hai lớp triển khai khác nhau: suy luận cục bộ nhẹ (consumer/edge) và suy luận trung tâm dữ liệu quy mô lớn. Bản phát hành đó — cùng với sự bùng nổ của các công cụ cộng đồng xoay quanh lượng tử hóa, bộ điều hợp cấp thấp và các mẫu thiết kế thưa thớt/Hỗn hợp chuyên gia (MoE) — khiến câu hỏi đặt ra là: bạn thực sự cần bao nhiêu tính toán để chạy, tinh chỉnh và phục vụ các mô hình này trong môi trường sản xuất?
OpenAI GPT-OSS: Cách chạy cục bộ hoặc tự lưu trữ trên đám mây, Yêu cầu phần cứng
GPT-OSS được thiết kế đặc biệt tốt cho khả năng truy cập: biến thể gpt-oss-20B được thiết kế để chạy trên một GPU tiêu dùng duy nhất (~ 16 GB VRAM) hoặc cao cấp gần đây
Liệu GPT-OSS có thể là tương lai của việc triển khai AI cục bộ không?
OpenAI đã công bố phát hành GPT-OSS, một họ gồm hai mô hình ngôn ngữ có trọng lượng mở—gpt-oss-120b và gpt-oss-20b—theo giấy phép Apache 2.0 cho phép,
API GPT-OSS-20B
gpt-oss-20b là một mô hình suy luận trọng số mở, di động, cung cấp hiệu năng cấp độ O3-mini, sử dụng công cụ thân thiện với tác nhân và hỗ trợ chuỗi suy nghĩ đầy đủ theo giấy phép cho phép. Mặc dù không mạnh mẽ bằng phiên bản 120B, nhưng nó đặc biệt phù hợp cho các triển khai trên thiết bị, độ trễ thấp và nhạy cảm với quyền riêng tư. Các nhà phát triển nên cân nhắc những hạn chế đã biết về thành phần của nó, đặc biệt là đối với các tác vụ đòi hỏi nhiều kiến thức, và điều chỉnh các biện pháp phòng ngừa an toàn cho phù hợp.