Προφίλ προσβασιμότητας: τι κρύβουν οι βαθμολογίες των benchmarks για τα LLM

Τα benchmarks γλωσσικών μοντέλων αποδίδουν σε κάθε ερώτηση ένα μόνο αποτέλεσμα από μία σταθερή διατύπωση, αν και το ίδιο αίτημα μπορεί να εκφραστεί με πολλούς ισοδύναμους τρόπους. Μια πρόσφατη εργασία υποστηρίζει ότι το μέγεθος ενδιαφέροντος δεν πρέπει να είναι η ορθότητα σε μία διατύπωση, αλλά η «προσβασιμότητα» (accessibility) ενός ερωτήματος: η πιθανότητα ένα μοντέλο να πετύχει σε διατυπώσεις που διατηρούν το νόημα.

Η κατανομή της προσβασιμότητας ανάμεσα στα ερωτήματα αποκαλύπτει μια δομή που η ακρίβεια και οι υπάρχουσες βαθμολογίες καλύτερης, χειρότερης ή μέσης περίπτωσης συρρικνώνουν: πόσο ευρέως εκτείνονται οι ικανότητες ενός μοντέλου και πόσο αξιόπιστα μπορούν να ανακληθούν. Δύο μοντέλα μπορεί να έχουν την ίδια μέση απόδοση, ενώ το ένα πετυχαίνει σε περισσότερα ερωτήματα αλλά ασταθώς και το άλλο σε λιγότερα αλλά πιο συνεπώς. Αυτό οδηγεί σε αντίθετες προτιμήσεις, ανάλογα με το αν η εργασία επιτρέπει πολλαπλές προσπάθειες μέχρι μια επιτυχία ή απαιτεί επαναλαμβανόμενη συνεπή επιτυχία.

Σε έξι benchmarks και περισσότερα από είκοσι μοντέλα, ο συμβιβασμός αυτός είναι συνηθισμένος: για περίπου τα μισά ζεύγη μοντέλων με σχεδόν ίση μέση προσβασιμότητα, ποιο μοντέλο φαίνεται καλύτερο εξαρτάται από το αν αρκεί μία επιτυχία σε πέντε διατυπώσεις ή πρέπει και οι πέντε να πετύχουν - ποσότητες που οι συγγραφείς ονομάζουν Access@5 και Reliable@5 αντίστοιχα. Σε ορισμένα ζεύγη τα δύο μέτρα αποκλίνουν σημαντικά, έως και 10 μονάδες προς αντίθετες κατευθύνσεις.

Η προσβασιμότητα αποκαλύπτει επίσης ότι η κλιμάκωση, το συλλογιστικό (reasoning) και η βελτιστοποίηση προτροπών μπορούν να ανακατανείμουν την ικανότητα ανάμεσα στα ερωτήματα με τρόπους που η συνολική ακρίβεια κρύβει: μερικές φορές διευρύνεται το σύνολο των ερωτημάτων στα οποία ένα μοντέλο μπορεί να πετύχει, ενώ η επιτυχία γίνεται λιγότερο επαναλήψιμη. Έτσι, η ευαισθησία στη διατύπωση παύει να είναι απλώς ενόχληση και γίνεται μετρήσιμη ιδιότητα της ικανότητας - διαχωρίζοντας αυτό στο οποίο ένα μοντέλο μπορεί μερικές φορές να πετύχει από αυτό στο οποίο οι χρήστες μπορούν πραγματικά να βασιστούν.

Αυτό το άρθρο έγραψε ο Yethikrishna R, ιδρυτής και επικεφαλής μηχανικός της Mynd Labs και συντονιστής και ιδρυτικό μέλος του Compyle (YC F25), από το Thrissur της Ινδίας.

Πηγή: https://arxiv.org/abs/2610.24957