รวมคำขอให้เป็นหนึ่ง
ทำให้การยืนยันตัวตน, โมเดล และสัญญาการตอบกลับเป็นมาตรฐานเดียวกัน
ออกแบบการกำหนดเส้นทางของโมเดล, AI gateway, กลยุทธ์ fallback, load balancing และการควบคุม rate limit สำหรับแอปพลิเคชัน LLM ที่เชื่อถือได้
เริ่มจากการตัดสินใจ ลงมือใช้งาน และจบด้วยการตรวจสอบระบบจริง
ทำให้การยืนยันตัวตน, โมเดล และสัญญาการตอบกลับเป็นมาตรฐานเดียวกัน
เลือกโมเดลตามความสามารถ, ต้นทุน, ความหน่วง และความพร้อมใช้งาน
ใช้ rate limit, คิว, งบประมาณ และ circuit breaker
ติดตามการตัดสินใจของเส้นทาง, เหตุผลของ fallback และความสำเร็จของงาน
เลเยอร์ควบคุมระหว่างแอปพลิเคชันกับผู้ให้บริการโมเดล
เปิดคู่มือนโยบายการกำหนดเส้นทางที่รับรู้ความสามารถสำหรับแอปพลิเคชันหลายโมเดล
เปิดคู่มือสัญญาการขอใช้งานเดียวครอบคลุมหลายผู้ให้บริการและหลายโมเดล
เปิดคู่มือแยก retries, provider failover และ quality fallback ออกจากกัน
เปิดคู่มือปกป้อง throughput โดยไม่ก่อให้เกิดความล้มเหลวแบบลูกโซ่
เปิดคู่มือกำหนดเส้นทางทราฟฟิกปกติไปยังโมเดลเริ่มต้น และ fail over เฉพาะเมื่อคำขอยังอยู่ภายในขีดจำกัดงบประมาณและเงื่อนไขคุณภาพ
LLM gateway รวมการยืนยันตัวตน, การกำหนดเส้นทาง, observability, ขีดจำกัด และการ abstraction ของผู้ให้บริการไว้ส่วนกลางสำหรับคำขอโมเดล
ไม่ใช่ การกำหนดเส้นทางเลือกเส้นทางเริ่มต้นที่ดีที่สุด ส่วน fallback จะเลือกเส้นทางที่เข้ากันได้อื่นหลังจากเกิดความล้มเหลวหรือมีเงื่อนไขด้านคุณภาพตามที่กำหนด