LLM-ები კოდს აბსტრაქტული წარმოდგენებით წერენ

ერთი და იგივე გამოთვლა კოდის წერისას სხვადასხვა პროგრამირების ენით და სხვადასხვა იმპლემენტაციის სტრატეგიით შეიძლება გამოისახოს. ახალი კვლევა აჩვენებს, რომ LLM-ების აქტივაციები კოდის გენერაციისას ამ საერთო სტრუქტურას ინახავენ მრავალჯერ გამოყენებადი და კომპოზიციური აბსტრაქტული წარმოდგენების სახით.

ეს წარმოდგენები მოდელის შუა ფენებში ჩნდება და სხვადასხვა პროგრამირების ენაზე გადატანადია. activation steering-ის გამოყენებით კვლევის ავტორებმა აჩვენეს, რომ ფუნქცია, პროგრამირების ენა და იმპლემენტაციის სტრატეგია ერთმანეთისგან დამოუკიდებლად შეიძლება შეიცვალოს. ენაზე და ფუნქციაზე დამოუკიდებელი ჩარევები თავისუფლად ერთდება კოდის გენერაციის სამართავად, მაშინაც კი, როდესაც prompt-ში ამ ენისა და ფუნქციის შესახებ არანაირი ინფორმაცია არ არის.

ამასთან, ერთ პროგრამირების ენაზე შემთხვევით განსაზღვრული ფუნქციების მაგალითებზე fine-tuning სხვა ენებზეც გადადის. ეს შეესაბამება იმას, რომ მოდელები კოდის გენერაციის აბსტრაქტულ ნიშნებს მრავალჯერ იყენებენ სხვადასხვა მაგალითებში. ბოლოს, ავტორებმა სინთეტიკურ გარემოში განახორციელეს მინიმალური მოდელი საერთო, მრავალჯერ გამოყენებადი და კომპოზიციური სტრუქტურისა და დაადასტურეს, რომ ასეთ მონაცემებზე ნაწვრთნი transformer-ები სწავლობენ წარმოდგენებს, რომლებიც ამ ნაწილებს კონტექსტებში მოქნილად აერთიანებენ.

პრაქტიკული დასკვნა: LLM-ები კოდს არა როგორც ენაზე დაბმულ ტექსტს, არამედ როგორც აბსტრაქტული კონცეფციების კომბინაციას წერენ. ეს ხსნის, თუ რატომ გადადის კოდის ცოდნა ენებს შორის და რატომ შეიძლება მისი მიზანმიმართული მართვა შუა ფენებში.

ეს სტატია დაწერა Yethikrishna R-ის მიერ, Mynd Labs-ის დამფუძნებლისა და მთავარი ინჟინრის, Compyle (YC F25)-ის კოორდინატორისა და დამფუძნებელი წევრის, ინდოეთის ტრისურიდან.

წყარო: https://arxiv.org/abs/2610.19238