# CSWBench: ацэнка пераключэння моў у творчым пісьме

Вялікія моўныя мадэлі ўжо дэманструюць шматмоўныя здольнасці ў задачах генерацыі і разумення тэксту. Але сапраўднае пераключэнне моў патрабуе больш, чем проста валоданне некалькімі мовамі: мадэль павінна вырашаць, калі, дзе і чаму пераключацца, каб гэта адпавядала кантэксту. Да гэтага часу такая кантэкстна-адчувальная здольнасць ацэньвалася недастаткова.

Новы бэнчмарк CSWBench правярае кантэкстна-адчувальнае пераключэнне моў у творчым пісьме праз дзве ўзаемадапаўняльныя ўстаноўкі: Focused Narrative і Extended Narrative. Разам з ім прапанаваны CSWEval, тэарэтычна абгрунтаваны фреймворк з двумя ўзроўнямі ацэнкі: на ўзроўні падзеі (ліцэнзаванне, кантэкстная дарэчнасць і функцыянальны выйгрыш) і на ўзроўні ўсяго тэксту (агульная літаратурная і наратыўная якасць, а таксама якасць шматмоўнай арганізацыі).

Даследчыкі праверылі дванаццаць мадэлей. Вынікі паказваюць значную, але няроўную кампетэнтнасць у пераключэнні моў у розных наратыўных кантэкстах. Розніцы паміж мадэлямі асабліва прыкметныя ў шматмоўнай літаратурнай інтэграцыі. Шматмоўна-арыентаваныя вымярэнні аказваюцца ў цэлым цяжэйшымі, чым агульныя наратыўныя, а наратыўна важныя пераключэнні звязаны з лепшай кантэкстнай і функцыянальнай рэалізацыяй.

Практычны высновак: агульная шматмоўнасць мадэлі не гарантуе, што яна ўмее натуральна і дарэчна змешваць мовы ў творчым тэксце, і гэтую здольнасць трэба вымяраць асобна.

Гэты артыкул напісаў Yethikrishna R, заснавальнік і галоўны інжынер Mynd Labs, каардынатар і член-заснавальнік Compyle (YC F25), з горада Трысур у Індыі.

Крыніца: https://arxiv.org/abs/2610.20272