Précision des montres GPS : Polar en tête

Encore plus de contenu sur les réseaux sociaux : Youtube pour les vidéos, Facebook pour les échanges, Instagram pour les tests en cours et Twitter pour les nouvelles des marques. Abonnez-vous.

Vous êtes libre de cliquer ICI pour passer commande chez mon partenaire i-Run quel que soit ce que vous voulez commander. Ca ne vous coûtera pas plus cher, c’est livré en 24h et c’est une bonne façon de supporter le blog.

La précision des montres GPS a toujours été un sujet de discussion sur le blog Montre Cardio GPS. Et pour cause, c’est quand même l’élément central d’une montre GPS. C’est pourquoi il y a une partie d’analyse des traces GPS dans tous mes tests. Dans les commentaires, vous confirmez généralement ce que j’ai pu observer lors de mes sorties.

D’autre part, une bonne partie des questions que je reçois touche à ce sujet. Et généralement, les critiques se cristallisent autour du manque de précision GPS par rapport au prix d’achat. Pour vous le démontrer, j’avais fait le test de laisser une montre sans bouger dans mon jardin. Résultat : elle affichait 42,200km ! Conclusion : la précision GPS n’est pas proportionnelle au prix.

Dernièrement, il est devenu plus compliqué de se faire un avis tranché sur la précision relative des montres GPS, parce que toutes les marques sont passées à la même puce GPS de Sony. Vous allez être déçus, ce choix n’est absolument pas motivé par la précision de cette puce GPS, mais simplement parce qu’elle permet de doubler l’autonomie par rapport à une autre puce GPS.

Le Swiss Federal Institute of Sport Magglingen a conduit une étude de précision sur une sélection de 8 montres GPS. Analysons tout ça.

Les montres GPS de l’étude

Le choix des 8 montres GPS peut paraître curieux. Pourquoi ? Parce qu’on y trouve une majorité de montres sorties en 2018, avec une sortie en 2014. Pourquoi ? Aucune idée. Je pense que les chercheurs ont fait avec ce qu’ils avaient sous la main.

Polar : V800, montre sortie en 2014 et qui n’est plus disponible à la vente, mais unanimement reconnue pour sa précision GPS (avec la Suunto Ambit3).

Polar : Vantage M et Vantage V, 2 montres GPS avec puce GPS Sony, de construction similaire et sorties en même temps.

Garmin : Fenix 5X Plus et Forerunner 935 : sorties en 2017, ce n’est pas la dernière génération de montres GPS Garmin. Elles ne sont pas équipées de la puce GPS Sony qui équipe toutes les Garmin depuis 2019.

Suunto : Suunto 9 Baro, puce GPS Sony.

Coros : Apex, puce GPS Sony.

Apple Watch 4.

Les conditions de l’étude

L’étude a été conduite sur 36 sorties de sport avec chacune des montres GPS (sauf la Suunto 9 Baro, qui a subi un bug lors d’un enregistrement), sur des distances allant de 400 à 4300m. On ne peut pas dire que ce soit une étude statistique basée sur de très grands nombres mais c’est déjà pas mal. Chaque itinéraire a été mesuré avec une roue odomètre. C’est important, car pour évaluer la précision de montres GPS à quelques mètres près, on ne peut pas se baser sur une distance de référence mesurée par une autre montre GPS ou sur Google Maps.

Le protocole comprend des sorties de :

• Marche (5,4km/h)
• Course à pied (10,2km/h)
• Vélo (17,6km/h)

Elles ont été réalisées dans des environnements différents (12 séances dans chaque environnement) :

• En ville
• En forêt
• Autour d’une piste d’athlétisme

Le chercheur sportif a porté 4 montres (2 à chaque poignet), à chaque sortie. Ca, ça m’aurait clairement dérangé si leur objectif avait été de comparer la précision des capteurs cardio optique (voir ma critique de la vidéo d’étude de fiabilité du comptage des calories dépensées). Mais ça ne pose pas de problème pour une étude sur la précision GPS des montres.

Le choix des 4 montres (sur les 8), ainsi que leur positionnement (gauche ou droite, poignet ou avant-bras) a été fait à chaque fois au hasard. Les montres n’ont jamais été recouvertes par la manche d’un vêtement.

Les tests ont été conduits d’avril à juillet 2019. Donc les conditions ont changé d’une sortie à l’autre. Or, on sait que la météo est un critère qui influence la qualité du signal GPS reçu sur terre (des nuages suffisent à altérer le signal GPS). Les chercheurs l’ont pris en compte parmi les paramètres étudiés.

Les montres ont systématiquement été synchronisées avant chaque sortie, afin de télécharger les données AGPS à jour.

Les réglages utilisés ont été les suivants :

• Enregistrement à la seconde
• GPS + GLONASS, sauf pour l’Apple Watch 4 et la V800 (qui ne disposent pas de cette option)

Ce choix de ne pas utiliser le même système de géolocalisation pour toutes les montres est discutable. Mon expérience montre que GPS + GLONASS est généralement moins précis que GPS seul. Du coup, on ne place pas les montres GPS sur le même pied d’égalité. Pour le coup, je ne comprends pas pourquoi ils n’ont pas utilisé le GPS seul sur les 8 montres.

Avant de partir courir, un temps d’attente de 5 minutes sans bouger a été respecté, afin d’être sûr que chaque montre avait bien verrouillé son géopositionnement (ce que vous ne faites probablement jamais).

Les résultats : la montre GPS la plus précise

En moyenne, l’erreur dans la mesure de distance va de 3,2 à 6,1%. Ca fait entre 300 et 600m d’erreur sur un 10km. Ca fait surtout du simple au double entre la meilleure et la pire montre GPS.

C’est quand même loin d’être négligeable, non ?  Une erreur de 1200m sur un semi-marathon, j’imagine bien que ça peut planter votre objectif de temps sur la ligne d’arrivée. Parce que la distance est utilisée par votre montre GPS pour calculer l’allure instantanée. Donc une erreur sur la distance va se traduire pendant la course sur une erreur sur l’affichage de l’allure instantanée.

J’ai déjà parlé de ce sujet dans l’article Est-ce que votre montre GPS vous ment pendant les courses ? ».

Quasiment toutes les montres testées ont sous-estimé la distance en forêt et en ville. Par contre, c’est l’inverse sur une piste d’athlé, où la distance est généralement surestimée.

OK, laissez-moi vous expliquer ce graphique :

• La ligne en pointillés verts indique la vraie distance parcourue
• Les 2 lignes verticales rouges délimitent la zone où l’erreur est comprise en +5 et -5%
• Chaque rectangle bleu représente la zone des 25% des meilleurs résultats obtenus par la montre (9 résultats sur les 36 sorties)
• Chaque barre noire qui se termine par un T délimite la zone des 75% des meilleurs résultats obtenus par la montre (27 résultats sur 36 sorties)
• Le petit trait au milieu de chaque rectangle bleu indique la valeur médiane de l’erreur relevée par chaque montre ; 50% des relevés sont inférieurs à cette valeur et 50% des relevés sont supérieurs
• Les ronds et les étoiles représentent les pires mesures

Maintenant, il faut que je fasse un petit détour mathématique pour vous expliquer la différence entre précision et justesse :

Précision : les impacts ne sont certes pas au centre de la cible, mais la carabine tire à peu près tout le temps au même endroit.

La montre GPS en question fait donc toujours une erreur dans la mesure de la distance, mais c’est toujours la même erreur (disons 3%). Ainsi, avec l’expérience, vous pouvez vous rendre compte que votre montre GPS mesure toujours une distance un peu plus courte que la réalité. Maintenant vous le savez et ce sera toujours comme ça.

Justesse : on peut dire que les tirs visent en moyenne au centre de la cible. Mais il y en a à gauche, à droite, en haut, en bas. Au prochain tir, vous ne pouvez pas savoir où la balle va tomber.

La montre GPS en question mesure tantôt 100m de trop et tantôt 100m de moins. En moyenne elle tombe sur la bonne valeur mais à chaque sortie, vous ne pouvez pas dire si cette fois-là elle a surestimé ou sous-estimé la distance.

A partir de là, il faut combiner les 2 pour évaluer une montre GPS :

• Précise et juste : c’est la montre GPS idéale, forcément
• Précise mais pas juste : elle fera toujours une erreur, mais toujours la même erreur
• Juste mais pas précise : un coup trop long, un coup trop court, mais pas trop mal en moyenne
• Pas précise et pas juste : vous avez gaspillé votre argent

Sur le graphique de cette étude de précision des montres GPS :

• La justesse est représentée par la position de la médiane (le petit trait noir vertical) le plus près possible du pointillé vert. Sur ce critère, la V800 est largement meilleure que toutes les autres.
• La précision peut être déduite de la largeur du rectangle bleu et du trait noir horizontal de chaque montre. Plus ils sont petits et plus la montre est précise. Sur ce critère, la Forerunner 935 et la Vantage V sont les meilleures.

Dans l’étude, les chercheurs ont relevé que la précision en course à pied était moins bonne qu’à vélo. Une observation que je fais aussi dans l’analyse des traces GPS de tous mes tests de montres GPS. Selon les chercheurs, ça peut s’expliquer par le fait que lorsque vous balancez le bras, votre corps agit comme un masque et blogue de signal de certains satellites positionnés à gauche si vous portez votre montre sur le poignet droit ou inversement. Et comme en plus vous n’arrêtez pas de balancer le bras…

Selon moi, il y a aussi le fait que l’erreur intrinsèque du géopositionnement devient proportionnellement plus petite lorsque la vitesse augmente. En courant, à 10km/h, vous parcourez 2,77m par seconde. Or, l’erreur intrinsèque du GPS est 3.35m. Donc l’erreur est potentiellement plus grande que la distance que vous parcourez entre 2 enregistrements GPS de la montre. A vélo, à 20km/h, vous parcourez 5, 55m. Donc l’impact relatif de l’erreur est plus faible.

Ce qui est surprenant (mais aussi intéressant), c’est la grosse différence de précision et de justesse entre la Forerunner 935 et la Fenix 5X Plus. Elles utilisent la même puce GPS et sont sorties à peu près en même temps (1 an d’écart). Je vois 2 éléments qui peuvent les différencier :

• L’antenne GPS et sa position
• La composition du boitier (composite pour la Forerunner 935 et composite/métal pour la Fenix 5X Plus) qui peut avoir un impact sur la réception du signal

L’impact de l’environnement

Sans surprise, les résultats sont meilleurs en environnement dégagé. Mais la forêt et la ville rendent le travail de géolocalisation plus compliqué pour la montre GPS. Je l’ai déjà expliqué dans l’article Les 7 erreurs que fait votre montre GPS.

En ville, 4 montres GPS s’en sortent mieux que les autres :

• V800 : 3,9% d’erreur
• Apple Watch 4 : 5,1%
• Vantage V et Vantage M : 5,4 et 5,3%
• Fenix 5X Plus : 5,9%

En forêt, il n’y a plus que 3 montres GPS qui obtiennent des performances dans les 5% d’erreur :

• V800 : 3,5% d’erreur
• Vantage V ; 5,0%
• Vantage M : 5,6%

La piste d’athlé étant située dans un environnement complètement dégagé, les résultats sont bien meilleurs :

• Apex : 0,9%
• Forerunner 935 : 1,3%
• Vantage M : 2,1%
• Vantage V et V800 : 2,3%

L’étude a aussi mis en avant d’autres facteurs qui ont affecté les performances des montres GPS. La pluie a ainsi un impact de plus de 10% sur les erreurs mesurées sur 4 des 8 montres. Les températures basses (c’est plus surprenant) ont aussi eu un impact sur les performances des Suunto 9 Baro et Forerunner 935.

GPS ou GPS+GLONASS ?

Si vous êtes un habitué du blog, vous savez que je préconise depuis des années d’utiliser le GPS seul plutôt que GPS+GLONASS ou GPS+Galiléo. Je me base simplement sur mon expérience accumulée par des centaines de tests depuis que j’ai lancé le blog Montre Cardio GPS.

Cette étude n’a pas mesuré l’impact d’une configuration plutôt qu’une autre pour une montre donnée. Mais au vu des résultats, les chercheurs se posent la question, comme moi, de l’utilité d’utiliser GPS+GLONASS puisque les 2 montres GPS les plus précises parmi celles étudiées ont produit leurs résultats en utilisant le GPS seul.

GPS+Galiléo n’a pas été étudié.

Mon avis

Cette étude a été financée par Polar. Elle a toutefois été réalisée par un organisme indépendant et Polar n’est intervenu ni dans la collecte ni dans l’analyse des données.

Ce n’est pas encore l’étude complète et parfaitement impartiale dont on rêve tous. Mais c’est une étude de plus. Elle tend à confirmer ce que je dis sur ce blog depuis longtemps :

• Une montre GPS est un objet grand-public et n’atteindra jamais la précision d’un capteur de la NASA
• Dans les réglages, GPS est plus précis que GPS+GLONASS
• Les montres GPS sont plus précises à vélo qu’en course à pied (pas de bol, parce que c’est plutôt prévu à la base pour la course à pied)

Après, est-ce qu’elle permet de mettre en avant la meilleure montre GPS en termes de précisions ?

Oui, la V800 et les Vantage ont clairement obtenu de meilleurs résutlats. Mais, il faut rester prudent.

OK, les Vantage V et M ont obtenu de meilleurs résultats que la Fenix 5X Plus. Et mes tests vont aussi dans ce sens (j’ai déjà souvent pointé du doigt les mauvaises traces GPS des montres GPS Garmin dans mes tests). Donc oui, on peut dire que les Vantage sont plus précises que les autres (bravo Polar, qui a considéré que c’était un domaine important du développement d’une montre GPS).

Mais il faut rester prudent car les tests ont été réalisés durant l’été 2019. Or, depuis, il s’est passé beaucoup de choses :

• Il y a eu des mises à jour, chaque marque essayant en permanence d’améliorer la précision GPS de ses montres en affinant les algorithmes de traitement des données brutes reçues des satellites
• Garmin a changé de puce GPS pour intégrer la puce GPS Sony, comme le faisaient déjà Suunto, Polar et Coros à l’époque
• Coros a sorti un mode spécifique pour piste d’athlétisme qui fait que maintenant ils atomiseraient tous les autres avec une erreur de 0,1% voire moins
• A l’époque, le nombre de satellites de chaque constellation de géopositionnement était de 31 GPS, 27 GLONASS, 22 Galiléo, 19 Beidou ; aujourd’hui, les données ont changé : 31 GPS, 24 GLONASS, 26 Galiléo, 35 Beidou. Si ça se trouve les montres GPS les plus précises en 2020 sont celles qui proposent la compatibilité avec Beidou : c’est-à-dire les Suunto et les Coros…

Et puis il ne faut pas oublier toutes les montres GPS qui n’ont pas été testées… et qui sont peut-être meilleures que les Vantage.

Pourquoi je ne fais pas ma propre étude ?

Il y a tant de paramètres qui entrent en compte, que c’est une tâche titanesque.

Pour que les résultats de l’étude de précision soient fiables, il faut :

• Courir avec les mêmes montres GPS pendant longtemps (pour accumuler suffisamment de données afin que les résultats soient statistiquement significatifs)
• Mesurer très précisément la longueur des parcours de référence

OK, on s’arrête là.

Je ne suis pas capable d’assurer ces 2 premiers points. Je teste entre 10 et 15 montres GPS par an. Comme j’en porte une à chaque poignet, ça veut dire qu’une montre GPS donnée reste à mon poignet entre 1 et 2 mois. Ensuite, j’ai une pratique sportive variée. Je change régulièrement mes parcours d’entrainement, tant sur route qu’en trail. Je ne peux pas systématiquement passer la roulette pour mesurer précisément la longueur de chacun de mes parcours (et comme je l’ai dit, une mesure sur Google Maps n’est pas assez précise, notamment à cause de la prise en compte du dénivelé).

On continue.

Pour comparer la précision des différents systèmes de géopositionnement (GPS, GPS+GLONASS, GPS+Galiléo et GPS+Beidou), il faudrait que je puisse utiliser 2 montres exactement identiques. Si je ne le fais pas, comment savoir si la meilleure précision est due à l’utilisation d’un système par rapport à l’autre ou à cause de l’antenne GPS qui est différente d’une montre à l’autre ?

Bref, c’est compliqué. Et ce serait surtout très long.

Mais je m’efforce quand même dans mes tests de vous donner mon avis quant à la précision d’une montre GPS, en analysant toutes les traces GPS. Depuis 6 ans, ça doit faire plusieurs dizaines de milliers de kilomètres ainsi analysés.