Score de Brier

Le score de Brier est une mesure destinée à évaluer la fiabilité d’une prédiction.

Elle présente une formulation simple dans le cas d’un résultat binaire (qui ne peut prendre que 2 valeurs), elle m’a donc paru intéressante à utiliser.

Dans le cas qui nous occupe, les pronostics de tennis, le résultat  d’un joueur à l’issue du match ne peut en effet prendre que 2 valeurs : il gagne ou il perd le match (jusque là c’est simple !)

Je donne la formule utilisée pour calculer le score de Brier BS, mais les allergiques aux mathématiques peuvent comme d’habitude aller directement à l’interprétation en français et aux exemples.

Pour un match donné :

BS = (ECV – R)²

Où :

ECV = évaluation des chances de victoire du joueur en %

R = Résultat, qui peut prendre 2 valeurs : 1 si le joueur gagne, 0 s’il perd

Exemples :

Australian open 2019, Halep contre kanepi. Les bookmakers attribuent en moyenne 74% de chances de victoire à Halep, qui gagne effectivement.

Le score de Brier de Halep est de (0.74-1)² = 0.0676

Australian open 2019, Isner contre Opelka. Les bookmakers attribuent en moyenne 69% de chances de victoire à Isner, qui perd.

 Le score de Brier d’Isner est de (0.69-0)² = 0.4761

S’agissant de statistiques, ce n’est pas le score sur un match donné qui est intéressant, mais le score moyen sur un ensemble de matches du joueur. La formule devient alors :

BS = (1/N) *∑_i=1^N (ECV _i – R _i)²

Où N est le nombre de matches du joueur.

En d’autres termes, on vient juste de faire la moyenne des scores de chaque match pour calculer le score global du joueur …

On peut alors calculer son score sur l’ensemble de sa carrière, sur une période, sur une surface, voir son évolution année par année, etc …

Ce qu’i faut retenir est qu’au plus le score de Brier est faible, au plus la prévision est fiable.

Par construction, le score de Brier varie entre 0 (prédiction toujours réalisée) à 1 (prédiction toujours fausse).

Grandeur intéressante à se rappeler : si le score de Brier est de 0.25, cela veut dire en pratique que le résultat est complètement imprévisible par le système d’évaluation ! Petite démonstration rapide ; si BS = 0.25, cela veut dire que ECV –R = + 0.5 ou -0.5, et donc que ECV = 50%. Cela veut dire que le système d’évaluation attribue 50% de chances de victoire au joueur. C’est exactement ce qu’on obtient si on joue à pile ou face… Un joueur présentant un score de Brier autour de 0.25 est donc complètement imprévisible (oui, il y en a !)

Intéressant également : si le score de Brier est supérieur à 0.25, la victoire de l’outsider du match est l’issue la plus probable !

______

Dans la base de données que je gère, on peut identifier 4 types d’évaluation des chances de victoire d’un joueur :

-          Le pourcentage de chances que lui attribuent les bookmakers

-          Le pourcentage de chances que lui attribuent les parieurs dans les sites de betting exchange,

-          Le pourcentage de chances issu des statistiques compte tenu des rangs officiels du joueur et de son adversaire,

-          Le pourcentage de chances issu des statistiques compte tenu des niveaux Elo du joueur et de son adversaire.

Je publierai régulièrement des articles comparant les mérites de ces 4 systèmes.

En termes de méthodologie, les critères suivants seront adoptés sauf mention contraire :

-          Je ne gère que les matches pour lesquels il y a un favori identifié (comprenez que ses chances estimées de victoire sont supérieures ou égales à 55%), les autres étant par nature « imprévisibles »,

-          on ne tient pas compte des matches se terminant par un abandon

-          il faut évidemment que des chances de victoire aient été estimées. Cela exclut par exemple les matches antérieurs à 2008 pour les sites de betting exchange.

_____

On n’est pas obligés de se limiter à un joueur individuel. Il est par exemple intéressant  de comparer la fiabilité des prévisions pour une surface donnée, une catégorie de tournois, le sexe des joueurs, etc …

_____

Pour vous perdre un peu :

Le score de Brier appliqué à un joueur donne à première vue une estimation  de la fiabilité de ce joueur. C’est probablement vrai et je ne me priverai pas de publier des statistiques en ce sens. Mais dire qu’un joueur est plus fiable qu’un autre parce que son score est inférieur à celui de l’autre présuppose en fait que le système d’évaluation est parfaitement fiable, ce qui n’est assurément pas le cas. Il ne faudra pas perdre cette vérité de vue en prenant connaissance des statistiques.