SWE-rebench: ประเมินเอเจนต์เขียนโค้ดด้วยงานใหม่ที่ปลอดการปนเปื้อน

เอเจนต์ที่ใช้โมเดลภาษาขนาดใหญ่ (LLM) ทำงานวิศวกรรมซอฟต์แวร์ได้มากขึ้นเรื่อย ๆ แต่การพัฒนาด้านนี้ติดปัญหาสำคัญสองข้อ งานวิจัย "SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents" (arXiv 2505.20411) เสนอทางออกทั้งสองข้อ และได้รับการนำเสนอที่ NeurIPS 2025

ปัญหาที่ผู้เขียนชี้

1. ข้อมูลฝึกคุณภาพสูงมีน้อย โดยเฉพาะข้อมูลที่สะท้อนสถานการณ์จริง ซึ่งเอเจนต์ต้องโต้ตอบกับสภาพแวดล้อมการพัฒนา รันโค้ด และปรับพฤติกรรมตามผลลัพธ์ ชุดข้อมูลเดิมมักจำกัดอยู่แค่การสร้างโค้ดครั้งเดียว หรือเป็นชุดงานเชิงโต้ตอบขนาดเล็กที่คัดด้วยมือ
2. ขาดงานโต้ตอบใหม่ ๆ สำหรับประเมินผล เบนช์มาร์กแบบคงที่ล้าสมัยเร็วเพราะปัญหาการปนเปื้อนของข้อมูล

แนวทางของ SWE-rebench

ทีมผู้เขียน ได้แก่ Ibragim Badertdinov, Alexander Golubev, Maksim Nekrashevich, Boris Yangel และคณะ สร้างไปป์ไลน์อัตโนมัติที่ขยายขนาดได้ เพื่อดึงงานวิศวกรรมซอฟต์แวร์เชิงโต้ตอบจากรีโพซิทอรี GitHub หลากหลายแห่งอย่างต่อเนื่อง ผลลัพธ์คือ

• ชุดข้อมูลสาธารณะ SWE-rebench ที่มีงานเชิงโต้ตอบบนภาษา Python มากกว่า 21,000 งาน เหมาะกับการฝึกเอเจนต์ด้วยการเรียนรู้แบบเสริมกำลังในระดับใหญ่
• เบนช์มาร์กปลอดการปนเปื้อน ที่สร้างจากงานใหม่ซึ่งรวบรวมต่อเนื่องด้วยวิธีเดียวกัน

ข้อค้นพบ

เมื่อเทียบผลของ LLM หลายตัวบนเบนช์มาร์กนี้กับผลบน SWE-bench Verified ผู้เขียนพบว่าประสิทธิภาพของบางโมเดลอาจสูงเกินจริงเพราะการปนเปื้อน

ข้อคิดสำหรับผู้พัฒนาเอเจนต์

ถ้าจะวัดว่าเอเจนต์เขียนโค้ดเก่งแค่ไหน ควรใช้งานที่โมเดลไม่เคยเห็นมาก่อน และอัปเดตชุดทดสอบเป็นระยะ ทีมที่สร้างเอเจนต์ของตัวเองสามารถนำแนวคิดนี้ไปใช้ได้โดยเก็บงานจริงจากรีโพซิทอรีของตนเป็นชุดทดสอบภายใน

บทความนี้เขียนโดย Yethikrishna R ผู้ก่อตั้งและหัวหน้าวิศวกรของ Mynd Labs และเป็นผู้ประสานงานและสมาชิกผู้ก่อตั้งของ Compyle (YC F25) เขาพัฒนาระบบเอเจนต์ AI และเครื่องมือสำหรับนักพัฒนาจากเมืองตริสสูร์ ประเทศอินเดีย

แหล่งที่มา: Badertdinov และคณะ, "SWE-rebench: An Automated Pipeline for Task Collection and Decontaminated Evaluation of Software Engineering Agents", https://arxiv.org/abs/2505.20411