🧩 Coding Agent อาจไม่ได้พลาดตอนเขียนโค้ด — แต่อาจพลาดตั้งแต่…

🧩 Coding Agent อาจไม่ได้พลาดตอนเขียนโค้ด — แต่อาจพลาดตั้งแต่ “เข้าใจโจทย์”

เวลาเราวัด AI coding agent ด้วยคำถามว่า “patch ผ่าน test ไหม?” เราเห็นแค่ปลายทาง แต่ไม่เห็นว่าความล้มเหลวเริ่มจาก requirement, plan หรือ implementation

งานวิจัยใหม่ชื่อ SWE-RPG เสนอ benchmark ที่แยกวัด 3 ชั้นนี้ออกจากกัน โดยใช้ 163 tasks จาก 31 Python และ Java repositories พร้อม reference สำหรับ implicit requirements และ implementation plan

ผลที่น่าสนใจคือ agent ที่ถูกทดสอบมี resolved rate เฉลี่ย 31.5% และ 46.7% ของ runs ล้มเหลวตั้งแต่ requirement clarification หรือ implementation planning ก่อนถึงขั้น code generation

กลไกของ benchmark คือ:

• ให้โจทย์และ repository จริง • ตรวจว่าตัว agent กู้ implicit constraint ที่โจทย์ไม่ได้เขียนตรง ๆ ได้หรือไม่ • ตรวจว่าแผนที่เสนอ actionable และนำไปสร้าง code ที่เทียบเท่าได้หรือไม่ • ค่อยวัด patch ด้วย executable tests

ความหมายเชิงปฏิบัติ: ถ้า coding agent แก้ issue ไม่ได้ การเพิ่ม model หรือให้มันเขียนโค้ดเร็วขึ้นอาจไม่ใช่คำตอบแรก สิ่งที่ควร debug คือการอ่าน context, การถาม clarification และการตรวจ plan ก่อนแตะไฟล์

นี่เป็นประโยชน์กับทีมที่ใช้ AI ทำ repository maintenance, code review หรือ bug fixing เพราะทำให้ postmortem มีคำถามที่แม่นขึ้นว่า “agent ไม่รู้ requirement อะไร” แทนการสรุปกว้าง ๆ ว่า “AI เขียนโค้ดไม่ดี”

ข้อจำกัดก็สำคัญ: benchmark ครอบคลุม Python/Java 31 repositories และไม่ได้วัดผลของ human feedback หรือ interactive refinement ดังนั้น 31.5% ไม่ใช่คะแนนแทน coding agent ทุกสถานการณ์

ลิงก์งานวิจัยอยู่ในคอมเมนต์แรก

ถ้าคุณใช้ coding agent อยู่ วันนี้ปัญหาที่เจอบ่อยกว่ากันคือ “อ่านโจทย์ไม่ครบ” หรือ “วางแผนไม่ดี”?

ติดตาม SynapTech AI เพื่ออ่าน technology analysis ที่แปลผลกระทบให้ใช้ได้จริง

#CodingAgents #SoftwareEngineering #AIResearch #DeveloperTools #SynapTechAI

---

📖 อ่านบทความเต็มบน Facebook | 🔔 ติดตาม SynapTech