SWE-Bench Pro V2: වඩා පිරිසිදු, රවට්ටිය නොහැකි කෝඩිං මිනුම් දණ්ඩක්

කෝඩිං නියෝජිතයන් මුලින් කිසිවෙකු නොස්පර්ශ කළ ගැටලු වලට ළඟා වන තරතට, ඒවා මැනීමට භාවිතා කරන මිනුම් දණ්ඩු ද පරීක්ෂාවට ලක් වේ. "SWE-Bench Pro V2: A Cleaner, Harder-to-Game Coding Benchmark" (arXiv:2610.24206) නම් නව පර්යේෂණය විස්තර කරන්නේ බහුලව භාවිතා වන SWE-Bench Pro මිනුම් දණ්ඩ නවීකරණය කරන ආකාරයයි.

SWE-Bench Pro යනු කෝඩිං නියෝජිතයන් සඳහා දිගු කාලීන මෘදුකාංග ඉංජිනේරු කාර්යයන්ගෙන් සමන්විත මිනුම් දණ්ඩකි. නියෝජිතයන් දියුණු වන විට, ඔවුන් මුල් ඇගයීමේ පද්ධතිය අපේක්ෂා නොකළ ආකාරවලින් පරිසරය සමඟ අන්තර්ක්‍රියා කරයි. එයට පිළිතුරක් ලෙස, පර්යේෂකයන් කාර්යයන් 731 න් 480 ක් අලුත්වැඩියා කළේය හෝ ඉවතළ තැබුවේය. භාෂාවන් වෘත්තීය මට්ටමින් ලියන ඉංජිනේරුවරුන් 23 දෙනෙක් පැය 404 ක් වැය කළ අතර, සෑම සංශෝධිත උපදෙසක්ම දෙවන ඉංජිනේරුවෙකු පෙළෙන් පමණක් කාර්යය විසඳීමෙන් තහවුරු කර ගත්තේය.

තද කළ ක්‍රමවේදය ජාල ප්‍රවේශය ආකෘති අග්‍රයට පමණක් සීමා කරයි, සහ සෑම පැච් එකක්ම පිරිසිදු කන්ටේනරයක නැවත ඇගයීමට ලක් කරයි. එබැවින් නියෝජිතයන්ට ඉහළ ගලායාමේ විසඳුම් ලබා ගත නොහැකි අතර, ඔවුන්ගේ පැච් එකෙන් පිටත වෙනස්කම් සඳහා ලකුණු ලබා ගත නොහැක.

V2 කාර්යයන් 642 කදී, පෙරමුණේ නියෝජිතයන් 99.4% ක් දක්වා විසඳන නමුත් අනෙකුත් පද්ධති පැහැදිලිව වෙන්ව සිටිති. කාර්යයන් 51 කින් යුත් Hard කොටස පද්ධති 52.9% සිට 98.0% දක්වා පරාසයක පැතිරවේ. පර්යේෂකයන් මිනුම් දණ්ඩය සහ කාලයත් සමඟ නියෝජිත මිනුම් දණ්ඩු පවත්වා ගැනීමේ පාඨමාලාවද නිකුත් කරති.

මෙම ලිපිය ලියන ලද්දේ Yethikrishna R විසිනි. ඔහු Mynd Labs හි නිර්මාතෘ සහ ප්‍රධාන ඉංජිනේරුවරයා වන අතර, Compyle (YC F25) හි සම්බන්ධීකරණය කරන සහ නිර්මාතෘ සාමාජිකයෙකි. ඔහු ඉන්දියාවේ Thrissur හි පදිංචිය.

මූලාශ්‍රය: https://arxiv.org/abs/2610.24206