DialFork: የውይይት ወኪሎች የሂደት ሀሉሲኔሽንን መለካት

እንደ ውይይት ወኪሎች የሚሰሩ ታላላቅ የቋንቋ ሞዴሎች ከእውነተኛ መረጃ መስጠት ባሻገር የሂደት ሎጂክ መከተል ይጠበቅባቸዋል። "DialFork: Going Beyond Factuality to Evaluate Procedural Hallucination in Conversational Agents" (arXiv:2610.21561) የሚሰኘ አዲስ ምርምር እስካሁን ትንሽ ትኩረት የተሰጠውን የተለየ የውድቀት ዓይነት ይለካል፦ የሂደት ሀሉሲኔሽን።

የሂደት ሀሉሲኔሽን ማለት ወኪሉ እያንዳንዱን ሐረግ በትክክል እና በተፈጥሮ የሚመስል ቢናገርም፣ ከታሰበው የውይይት ሂደት ውጪ መሆኑ ነው። ለምሳሌ፣ የባንክ አገልግሎት ወኪል ከማረጋገጥ በፊት መለያ መረጃ መጠየቅ ያለበትን ደረጃ መዝለል ይችላል።

DialFork ይህንን ለመለካት የተሰራ የመጀመሪያው ውሂብ ስብስብ ነው። አሰራሩ በተከተሉ ውይይቶች ላይ በተቆጣጠረ መንገድ የማባዛት ዘዴን ይጠቀማል፤ በውይይቱ መካከል አራት ዓይነት የሂደት ማዛዞሪያዎችን ያስገባል። በድምሩ በ12 መስኮች እና በ24 ተግባራት ላይ 36,278 ውይይቶችን ይዟል፤ 30 የሰው ገምጋሚዎች ግንባታውን አረጋግጠዋል።

ምርምሩ ሶስት የግምገማ ተግባራትን ይገኛል፦ አንድ ቡድን ውይይቶች ከመደበኛው ሂደት ምን ያህል እንደወጣ መለካት (ለተሰማሩ ወኪሎች ክትትል)፣ አንድ ውይይት ምን ያህል እንደወጣ መለካት፣ እና ውይይቱ በየትኛው ዙር ከመስመር ውጪ እንደሆነ መለየት (ለቀጥታ ጥበቃ)።

የምርምሩ አስተዋጽኦዎች መካከል FlowKL እና FlowScore የተሰኙ አዳዲስ መለኪያዎች ናቸው። እነዚህ ውይይቶችን በይዘታቸው ሳይሆን በሚፈስሱበት መንገድ ያወዳድራሉ። FlowScore በሰባት ኢንኮደሮች ላይ ሁሉንም ቀደም ያሉ ዘዴዎች በከፍተኛ ልዩነት አሸንፏል፤ ይህም የስነ-ስርዓት ተመሳሳይነትን መለካት ለሂደት ተመሳሳይነት በቂ እንዳልሆነ ያሳያል።

ምርጫው ክፍት ፍቃድ ስር ተለቋል። ምሁራኑ የውይይት ሞዴሎችን እየገመገሙ ሲሆን፣ ይዘትን ብቻ ሳይሆን የውይይት ሂደትንም መለካት እንዳለባቸው ይጠቁማል።

ይህ ጽሑፍ በYethikrishna R ተጽፏል። እሱ የMynd Labs መስራች እና ዋና መሐንዲስ ሲሆን፣ የCompyle (YC F25) ማቀናጀት ሰው እና መስራች አባል ነው። እሱ በህንድ Thrissur ይኖራል።

ምንጭ፦ https://arxiv.org/abs/2610.21561