🔐 LiteLLM v1.99.0-dev.2 ไม่ได้มีแค่การเพิ่ม Model หรือ Provi…

🔐 LiteLLM v1.99.0-dev.2 ไม่ได้มีแค่การเพิ่ม Model หรือ Provider แต่กำลังขยับจุดสำคัญของ AI Gateway: ทำให้การ Route, บันทึก Cost และตรวจสอบ Supply Chain อยู่ในเส้นทางเดียวกัน

สำหรับระบบที่ส่ง Request ไปหลาย Model ปัญหาไม่ได้จบที่เลือก Model ให้ถูก แต่ต้องรู้ด้วยว่า Request ถูกส่งไปไหน ใช้สิทธิ์อะไร ต้นทุนถูกบันทึกหรือไม่ และ Image ที่กำลังรันมาจาก Release จริงหรือเปล่า

Release นี้มีประเด็นที่น่าสนใจสำหรับคนดูแล AI Infrastructure:

• Docker Image ของ LiteLLM ระบุว่ามี Cosign signature และแนะนำให้ Verify ด้วย key ที่ผูกกับ pinned commit hash • MCP OpenAPI tool calls ส่ง per-server authentication header ต่อไปได้ถูกต้องขึ้น • Spend logs บันทึก estimated input tokens สำหรับ Request ที่ Dispatch ไม่สำเร็จ และเพิ่ม lifecycle timestamps • lite login --config-claude ช่วยต่อ LiteLLM เข้ากับ Claude Code ตอน Login • มีการแก้จุดเสี่ยงด้าน Credential เช่นเก็บ PKCE refresh token ใน OS keychain แทน token.json

ความหมายเชิงปฏิบัติคือ AI Gateway ไม่ควรถูกมองเป็นเพียง Proxy สำหรับสลับ Model แต่เป็น Control Plane ที่ต้องตรวจสอบได้ตั้งแต่ก่อน Deploy จนถึงตอนคิดต้นทุนและเรียก Tool

อย่างไรก็ตาม นี่คือ dev.2 ไม่ใช่ Stable release จึงควรทดลองใน Staging, ตรวจ Signature ของ Image และทดสอบ MCP auth กับ Spend log ก่อนนำไปแทน Production path เดิม

เหมาะกับทีมที่ทำ Multi-Provider routing, MCP integration หรือกำลังสร้าง Cost/Audit layer รอบ LLM และยังต้องการควบคุมสิทธิ์แบบแยก Server

ลิงก์อยู่ในคอมเมนต์แรก คุณมองว่า AI Gateway ควรให้ความสำคัญกับ Routing, Cost หรือ Credential Control ก่อน? ติดตาม SynapTech AI เพื่อเปลี่ยน Feature ใหม่ให้เป็น Workflow ที่ใช้งานได้จริง

#LiteLLM #AIGateway #MCP #DevOps #SynapTechAI

---

📖 อ่านบทความเต็มบน Facebook | 🔔 ติดตาม SynapTech