🧪 Pass@k ไม่ใช่ Reliability ของ Coding Agent

🧪 Pass@k ไม่ใช่ Reliability ของ Coding Agent

ถ้าเอาจำนวน Unit Tests ไปแทนจำนวน Independent Rollouts คะแนนของ AI Coding Agent อาจดูดีเกินจริงตั้งแต่สมการยังไม่เริ่มวัด

งานวิจัย Beyond Pass@k ชี้ว่า implementation ของ pass@k บางแบบสับสนระหว่าง “ลองให้ agent ทำงานกี่ครั้ง” กับ “submission หนึ่งครั้งมี test กี่ข้อ” ทั้งที่สองอย่างนี้ตอบคำถามคนละแบบ

ผลกระทบสำคัญคือ benchmark อาจกำลังวัดความบังเอิญที่ test ผ่าน มากกว่าความน่าเชื่อถือของ agent เมื่อรันงานซ้ำจริง

ใน synthetic multi-rollout benchmark ของ paper:

• คะแนนที่คำนวณผิดอยู่ที่ 0.96–0.98
• เมื่อใช้ independent rollouts อย่างถูกต้อง คะแนนอยู่ที่ 0.00–0.12
• single-rollout proxy แทนการรันซ้ำได้ไม่ดีนัก โดยมี Spearman ρ = 0.417

ข้อเสนอที่น่าสนใจคือ reliability@k ซึ่งนับจาก rollout ที่ทำงานผ่านจริงหลายครั้ง และ security-adjusted reliability@k ที่นับเฉพาะผลลัพธ์ที่ผ่านทั้ง functional correctness และ security scan ระดับรุนแรง

แต่ต้องอ่านตัวเลขอย่างมีวินัย: security adjustment ยังเป็นข้อเสนอ การทดสอบ live API เบื้องต้นมีเพียง 3 agents และ preliminary SWE-bench Verified pilot มีเพียง 5 tasks จึงยังไม่ใช่หลักฐานสรุปสำหรับจัดอันดับ agent ทุกประเภท

ความหมายเชิงปฏิบัติคือ ก่อนเลือก coding agent จาก leaderboard ควรถามเพิ่มว่า:

1. n หมายถึงจำนวน rollout อิสระจริงหรือไม่
2. วัด strict task resolution หรือแค่ test ที่ผ่านบางส่วน
3. รันซ้ำกี่ครั้ง และรายงาน variance หรือไม่
4. ตรวจ security แยกจาก functional correctness หรือเปล่า

เหมาะกับทีมที่กำลังทำ benchmark, evaluation pipeline หรือจะนำ coding agent เข้า workflow production เพราะ “ผ่านครั้งหนึ่ง” กับ “เชื่อถือได้เมื่อรันซ้ำ” ไม่ใช่ metric เดียวกัน

ลิงก์ paper อยู่ในคอมเมนต์แรก คุณเคยเจอ leaderboard ที่คะแนนสูง แต่ผลลัพธ์แกว่งเมื่อรันซ้ำหรือไม่?

ติดตาม SynapTech AI เพื่ออ่านมุมมองที่พา research ไปสู่การใช้งานจริง

#AIEngineering #CodingAgents #Evaluation #Reliability #SynapTechAI

---

📖 อ่านบทความเต็มบน Facebook | 🔔 ติดตาม SynapTech