Omnilingual-MsASR: բազմալեզու բենչմարկ երկարաժամկետ բազմախոս խոսքի ճանաչման համար
Օմնի-մոդալ մեծ լեզվական մոդելները նշանակալի առաջընթաց են գրանցել աուդիո և վիդեո ըմբռնման ոլորտում։ Սակայն առկա մոդելները դժվարանում են երկար, բազմախոս վիդեոների դեպքում, հատկապես երբ պետք է հասկանալ ամբողջ վիդեոն և ճանաչել, թե ով, ինչ և երբ է ասում։
Ներկայիս օմնի LLM-ների հնարավորությունների սահմանը բնութագրելու և ապագա մոդելների զարգացումը ուղղորդելու համար ստեղծվել է Omnilingual-MsASR-ը՝ բազմալեզու, բազմամոդալ բենչմարկ երկարաժամկետ բազմախոս խոսքի ավտոմատ ճանաչման (MsASR) համար։ Այն ընդգրկում է վեց լեզու, մինչև 30 րոպե ձայնագրություններ և մինչև 20 խոսացող պարունակող սցենարներ։ Բենչմարկը միաժամանակ տրամադրում է աուդիո և վիդեո մուտքեր՝ գնահատելու մոդելների միջմոդալ հետևողականությունը և լրահույց մոդալությունների հարցերից օգտվելու ունակությունը։
Առաջատար օմնի-մոդալ LLM-ների լայնածավալ գնահատումը բացահայտում է էական խնդիրներ. դրանց tcpWER-ը հաճախ գերազանցում է 100%-ը։ Արդյունքները ցույց են տալիս, որ ժամանակային ճշգրիտ լոկալիզացիան, խոսացողների տարբերակումը և միջմոդալ սիներգիան ապագա օմնի-մոդալ հիմնարար մոդելների հիմնական մարտահրավերներն են։
Գործնական դաս. աուդիո-վիզուալ մոդելների իրական սահմանը երևում է ոչ թե կարճ հոլովակներում, այլ երկար, բազմախոս իրավիճակներում։ Առանց ժամանակի, խոսացողի և մոդալությունների համատեղ մոդելավորման՝ «ոմնի» պիտակը դեռ ավելի շատ նպատակ է, քան իրողություն։
Այս հոդվածը գրել է Yethikrishna R-ը՝ Mynd Labs-ի հիմնադիրը և գլխավոր ինժեներն ու Compyle-ի (YC F25) համակարգողը և հիմնադիր անդամը, Հնդկաստանի Թրիսսուր քաղաքից։
Աղբյուր՝ https://arxiv.org/abs/2610.29455
Comments
Join the discussionNo comments yet. Be the first to comment.