Cine este cu adevărat cel mai bun jucător din baseball? Dacă întrebați cinci publicații sportive, este posibil să primiți cinci răspunsuri diferite. Clasamentele pot varia dramatic de la o sursă la alta, se pot schimba de la an la an și pot omite jucători diferiți, făcând dificilă determinarea unde există un consens real și unde opiniile diverg.
Acum, statisticieni de la Rice University, în colaborare cu Cornell University, au dezvoltat o nouă metodă menită să găsească răspunsuri mai clare în datele complexe ale clasamentelor. Cercetarea a fost publicată recent în Journal of Quantitative Analysis of Sports.
Abordarea, numită Regresie Multivariată Bayesiană a Rangurilor, sau BMRR, combină clasamentele din multiple surse și pe parcursul mai multor perioade de timp, luând în considerare dezacordurile dintre cei care fac clasamentele, listele incomplete și factorii care ar putea influența clasamentele. La fel de important, metoda măsoară cât de siguri sau nesiguri sunt rezultatele consensuale.
„Clasamentele par simple la suprafață, dar statistic vorbind, sunt de fapt foarte complicate”, a declarat Rose Graves, studentă la doctorat în statistică la Rice și autorul corespondent al studiului. „Doi experți pot clasifica un număr diferit de elemente, pot fi în dezacord cu privire la ordine sau chiar își pot schimba opiniile în timp. Am vrut să creăm o modalitate de a aduce toate aceste informații împreună, luând în considerare incertitudinea.”
Transformarea dezbaterilor din baseball în date
Pentru testul lor din lumea reală, cercetătorii s-au îndreptat către unul dintre cele mai atent analizate sisteme de clasificare din sport: listele anuale ale celor mai buni jucători din Major League Baseball. Au analizat clasamentele pre-sezon publicate de ESPN, CBS, Bleacher Report, Yahoo Sports și MLB din 2021 până în 2024. Fiecare publicație a clasat top 100 de jucători, dar listele au variat atât în ceea ce privește cine a fost inclus, cât și unde au fost clasați jucătorii. Pentru a crea un grup consistent pentru comparație, cercetătorii s-au concentrat pe 55 de jucători care au apărut în cel puțin o listă publicată de o sursă în fiecare dintre cei patru ani.
Aceste diferențe ilustrează exact ce face datele de clasificare dificil de analizat. Simplul calcul al mediei poziției unui jucător pe mai multe liste poate masca informații semnificative, în special atunci când un jucător este omis de pe o listă sau când evaluările se schimbă substanțial de la an la an. BMRR tratează, în schimb, clasamentele ca dovezi despre o valoare subiacentă și utilizează un cadru Bayesian ierarhic pentru a combina acele dovezi. Modelul poate încorpora clasamente incomplete și egalități, poate împrumuta informații din ani diferiți și poate estima cât de strâns se aliniază fiecare sursă cu consensul general. Spre deosebire de o singură listă definitivă, rezultatul include și o măsură a incertitudinii, arătând când datele favorizează puternic un jucător și când doi jucători sunt efectiv prea apropiați pentru a fi separați.
Această distincție contează, deoarece clasamentele pot avea consecințe economice reale. În baseballul profesionist, de exemplu, percepțiile despre valoarea unui jucător pot influența tranzacțiile, negocierile salariale, arbitrajul și deciziile de draft.
„În loc să întrebăm doar cine ocupă primul loc, acest cadru ne permite să întrebăm cât de încrezători suntem în acea concluzie, de ce cineva ar putea fi clasat sus și cât de mult acord există de fapt între persoanele care fac clasamentul”, a declarat Marina Vannucci, profesor de statistică la Rice și unul dintre autorii lucrării. „Acest tip de cuantificare a incertitudinii poate fi extrem de important atunci când clasamentele sunt utilizate pentru a informa deciziile.”
Ce face ca un jucător să fie clasat mai sus?
Modelul a permis, de asemenea, cercetătorilor să investigheze ce caracteristici au fost asociate cu clasamente mai înalte. Ei au inclus trei variabile la nivel de jucător: vârsta, salariul de bază și „wins above replacement” (WAR), o statistică utilizată pe scară largă care estimează contribuția generală a unui jucător la echipa sa. Toate cele trei au fost asociate cu clasamentele. WAR mai mare a avut cel mai puternic efect pozitiv, urmat îndeaproape ca magnitudine de vârstă, jucătorii mai tineri tindând să fie clasați mai favorabil. Salariile mai mari au fost, de asemenea, asociate cu clasamente mai înalte. Rezultatele sugerează că clasamentele media reflectă nu doar performanța recentă pe teren, ci și așteptările privind potențialul și valoarea viitoare a unui jucător.
Analiza statisticienilor a produs, de asemenea, câteva rezultate recunoscute. Pentru sezonul 2023, cei patru jucători cel mai bine clasați de model au fost Shohei Ohtani, Aaron Judge, Mike Trout și Mookie Betts. Toți patru au fost selectați ca titulari All-Star în acel sezon, iar Ohtani a câștigat ulterior premiul MVP al Ligii Americane.
Analiza pe mai mulți ani a permis cercetătorilor să surprindă ceva ce un clasament de un sezon nu poate: diferența dintre excelența susținută și o ascensiune sau o cădere rapidă. Ohtani, de exemplu, a prezentat o variabilitate neobișnuit de mare pe parcursul perioadei de patru ani. După ce accidentările i-au afectat sezoanele anterioare, doar una dintre cele cinci publicații l-a inclus în top 100 pentru 2021. Până în 2022, două l-au clasat pe locul 1, iar până în 2024, toate cele cinci l-au plasat în top 10. Modelul a capturat atât clasamentul său final aproape de vârf, cât și traiectoria dramatică care l-a adus acolo.
Această metodă poate calcula, de asemenea, probabilitatea ca un jucător să fie clasat mai sus decât altul, făcând-o potențial utilă pentru deciziile directe. Printre patru jucători de bază care au devenit agenți liberi după sezonul 2024, de exemplu, analiza a arătat un consens puternic că Alex Bregman, Pete Alonso și Paul Goldschmidt se clasează peste Willy Adames.
Evaluarea și a celor care fac clasamentele
BMRR nu evaluează doar jucătorii clasați – poate dezvălui și cum se comportă clasificatorii individuali. În analiza baseballului, propriile clasamente ale MLB s-au aliniat cel mai strâns cu consensul general al modelului, urmate îndeaproape de ESPN. Bleacher Report și Yahoo s-au abătut mai substanțial de la clasamentele agregate, iar autorii au notat că listele Yahoo, de exemplu, păreau mai înclinate să promoveze jucătorii mai tineri și în ascensiune în detrimentul veteranilor consacrați. Acest lucru nu face neapărat un clasament „corect” și altul „greșit”. În schimb, modelul oferă o modalitate cantitativă de a vedea care surse tind să urmărească consensul mai larg și care aduc o perspectivă diferită.
Când cercetătorii au testat BMRR pe date simulate, acesta a performat în mod constant bine în comparație cu metodele existente de agregare a rangurilor. În mod notabil, avantajul său a fost deosebit de pronunțat atunci când clasamentele erau incomplete, un scenariu frecvent în lumea reală în care persoane diferite clasifică doar un subset preferat dintr-un grup mult mai mare.
Dincolo de terenul de baseball
Deși MLB a oferit un teren de testare convingător, cercetătorii au proiectat BMRR pentru o problemă mult mai largă. Clasamentele apar aproape peste tot: motoarele de căutare ordonează site-urile web, alegătorii clasează candidații, experții prioritizează informațiile de inteligență și clinicienii pot clasifica preferințele de tratament. Abordările statistice existente se confruntă adesea cu dificultăți atunci când diferiți evaluatori evaluează elemente diferite, când clasamentele sunt repetate pe mai multe criterii sau puncte în timp sau când analiștii doresc să incorporeze informații suplimentare despre ceea ce este clasat.
„Cele mai mari provocări atunci când lucrezi cu date de clasificare sunt remarcabil de similare în diferite domenii și industrii”, a declarat Dan Kowal, fost membru al facultății de statistică de la Rice, acum la Cornell University și al doilea autor al lucrării. „Credem că BMRR poate fi un impact în multe dintre aceste zone, dincolo de Major League Baseball.”
Autorii încurajează aplicarea mai largă a metodei lor și au pus codul pentru BMRR la dispoziție pe GitHub, astfel încât alți statisticieni să îl poată aplica propriilor date.
„Oriunde multiple surse nu sunt de acord cu privire la ceea ce aparține în partea de sus, cadrul nostru oferă o modalitate de a identifica un consens, măsurând în același timp cât de încrezători ar trebui să fim în acel consens”, a adăugat Graves.