# ReAPO: LLM reasoning-д зориулсан дахин оролдлого ухаалаг бататгасан сургалт

Бататгасан сургалт (RLVR) хэлний загварын reasoning чадварыг сайжруулдаг боловч ихэвчлэн судлах (exploration) үйл ажиллагаанд бие даасан санамсаргүй rollout-уудыг ашигладаг тул ижил төстэй бүтэлгүй стратегиудыг дахин дахин сонгох эрсдэлтэй. Өмнөх судлаачид дараагийн оролдлогын context-д буруу шийдлүүдийг оруулах замаар sampling процесст хамаарал нэмж, exploration-ийг чиглүүлэх аргуудын амжилтыг харсан. Гэвч эдгээр аргууд оролдлого бүрд зүтгэл (credit) хэрхэн хуваарилах вэ гэсэн нэмэлт асуулт төрүүлдэг.

Шинэ арга болох ReAPO (Retry-Aware Policy Optimization) нь credit оноох асуудлыг сонгодог reinforcement learning-ийн Stochastic Shortest Paths хүрээгээр авч үздэг. Энэ хүрээ нь эцсийн байдалд (манай тохиолдолд баталгаажсан зөв хариу) хүрэх хүлээгдэж буй нийт зардлыг багасгахыг зорьдог. Тохирох хялбарчилсан таамаглалуудын үед энэ өнцөг GRPO-д энгийн боловч онолын хувьд үндэслэлтэй өөрчлөлт хийхэд хүргэдэг: ReAPO бүтэлгүй траекторуудад нэмэлт generation хуваарилж, амжилттай дахин оролдлогуудыг өмнөх бүтэлгүйтлүүдэд шагнал өгөхгүйгээр бэхжүүлдэг.

Судлаачид Qwen3 болон OLMo-2 загваруудыг 0.6B-аас 4B хүртэл, найман математик болон шинжлэх ухааны reasoning benchmark дээр туршиж үзэхэд ReAPO нь GRPO болон сүүлийн үеийн baseline алгоритмуудаас эхний оролдлогын гүйцэтгэлийг сайжруулсан. Qwen3-0.6B дээр ReAPO нь хоёр дахин том бүлгийн хэмжээтэй эсвэл хоёр дахин олон сургалтын алхамтай GRPO-г давж, тэдгээрийн оргил нарийвчлалд тус бүр 39% болон 31%-иар цөөн үүсгэсэн token-оор хүрсэн.

Практик санаа: reasoning сургалтын үр ашгийг нэмэгдүүлэх гол нь илүү их sample авах биш, харин бүтэлгүйтлээс зөв суралцаж, оролдлого бүрд зөв зүтгэл оноох явдал юм.

Энэ нийтлэлийг Mynd Labs-ийн үүсгэн байгуулагч бөгөөд ахлах инженер, Compyle (YC F25)-ийн зохицуулагч бөгөөд үүсгэн байгуулагч гишүүн, Энэтхэгийн Триссур хотын Yethikrishna R бичив.

Эх сурвалж: https://arxiv.org/abs/2610.28770