ຈະປະເມີນແນວໃດ ເມື່ອບໍ່ຮູ້ວ່າຈະປະເມີນແນວໃດ: ການເລືອກຮູບແບບການປະເມີນ LLM ທີ່ເຊື່ອຖືໄດ້

ການປະເມີນຜົນໂມເດລພາສາຂະໜາດໃຫຍ່ (LLM) ຍັງຄົງຢູ່ໃນຂັ້ນກ່ອນວິທະຍາສາດ: ມັນກ່ຽວຂ້ອງກັບການຕັດສິນໃຈດ້ານການອອກແບບຫຼາຍຢ່າງ ໂດຍມີຄຳແນະນຳໜ້ອຍຫຼາຍວ່າຄວນເຮັດແນວໃດ. ການເລືອກເຫຼົ່ານີ້ສາມາດມີຜົນຕໍ່ຜົນການວັດແທກຢ່າງຫຼວງຫຼາຍ ແລະ ຕາມມາດ້ວຍການຕັດສິນໃຈກ່ຽວກັບການຝຶກອົບຮົມຂັ້ນຕົ້ນຕໍ່ໄປ. ງານຄົ້ນຄວ້າໃໝ່ສະເໜີກອບແນວຄິດສຳລັບເລືອກຮູບແບບການປະເມີນທີ່ເຊື່ອຖືໄດ້.

ຜູ້ຂຽນກວດສອບ 8 ດ້ານຂອງການຕັ້ງຄ່າການປະເມີນ, ເຊັ່ນ ຮູບແບບການສ້າງໜ້າວຽກ (task formulation) ຫຼື ຈຳນວນຕົວຢ່າງໃນບໍລິບົດ (in-context examples). ພວກເຂົາປຽບທຽບຮູບແບບຕ່າງໆ ໂດຍໃຊ້ສາມເກນທີ່ນິຍົມໃຊ້ກັນ, ປັບໃຫ້ເປັນຕົວວັດລະດັບ meta: ຄວາມເປັນແບບຂະຫວາຍຂຶ້ນ (monotonicity), ຄວາມບໍ່ສຸ່ມ (non-randomness), ແລະ ຄວາມສອດຄ່ອງຂອງອັນດັບ (ranking consistency) ຂອງຄະແນນປະເມີນຂ້າມ checkpoints ລະຫວ່າງການຝຶກ.

ໃນສະຖານະການຝຶກຂັ້ນຕົ້ນ, ພວກເຂົາປະເມີນຮູບແບບເຫຼົ່ານີ້ກັບ 26 ໂມເດລພາສາດຽວຂະໜາດ 2B ພາລາມິເຕີ ທີ່ຝຶກກັບຂໍ້ມູນປະເພດຕ່າງໆ, ໂດຍໃຊ້ 80 ໜ້າວຽກໃນສີ່ພາສາ. ພວກເຂົາຍັງກວດສອບກັບ LLM ຂະໜາດໃຫຍ່ກວ່າສາມຕົວ (ຕັ້ງແຕ່ 7B ຂຶ້ນໄປ) ໃນສີ່ພາສາດຽວກັນ ແລະ ສຳຫຼວດວ່າຮູບແບບທີ່ເໝາະສົມປ່ຽນແປງແນວໃດຕາມຂະໜາດຂອງໂມເດລ.

ຜົນໄດ້ຮັບໃຫ້ຄຳແນະນຳທີ່ເປັນຮູບປະທຳ: ບາງທາງເລືອກ, ເຊັ່ນ ການໃຊ້ຫຼາຍ prompts, ມີປະໂຫຍດຢ່າງສະໝ່ຳສະເໝີ, ໃນຂະນະທີ່ບາງຢ່າງ, ເຊັ່ນ ຮູບແບບການສ້າງໜ້າວຽກ, ຂຶ້ນກັບຂະໜາດຂອງໂມເດລ. ໂດຍທົ່ວໄປ, ກອບແນວຄິດນີ້ເປັນສູດສຳເລັດສຳລັບການເລືອກຮູບແບບການປະເມີນໃນສະຖານະການໃໝ່ໆ - ເປັນຄຳຕອບທີ່ເປັນປະຕິບັດໄດ້ຕໍ່ຄຳຖາມທີ່ວ່າ "ຈະປະເມີນແນວໃດ ເມື່ອເຮົາບໍ່ຮູ້ວ່າຈະປະເມີນແນວໃດ".

ບົດຂຽນນີ້ຂຽນໂດຍ Yethikrishna R, ຜູ້ກໍ່ຕັ້ງ ແລະ ວິສະວະກອນຫຼັກຂອງ Mynd Labs ແລະ ເປັນຜູ້ປະສານງານ ແລະ ສະມາຊິກກໍ່ຕັ້ງຂອງ Compyle (YC F25), ຈາກ Thrissur, ອິນເດຍ.

ແຫຼ່ງ: https://arxiv.org/abs/2610.19185