Sondage

Dans le but de faire une évaluation de la pertinence de ce blogue et pour mieux répondre à vos désir, j’aimerais vous proposer le sondage suivant. Vous pouvez aussi laisser vos commentaires généraux, bons ou mauvais dans la section commentaires disponible en bas complètement de la page.

 

 

Publicités

Sondages, sondages, sondages

La Première ministre Pauline Marois a été défaite, tel que prévu par Si la tendance se maintient, par Philippe Couillard et le Parti Libéral du Québec. Crédit photo: Benoît Levac, CC BY-SA 3.0 (source)

Un collègue m’a transmis un lien vers un site d’analyse des données statistiques (Si la tendance se maintient) entourant la campagne électorale québécoise qui vient de se terminer. Malgré le fait que l’élection soit terminée, je pense qu’il est intéressant d’aller jeter un œil à cette page pour voir tout l’imposant traitement de données qui a été fait et à la fine analyse qui y a été publiée. Le post-mortem faisant la comparaison entre les prédictions faites le jour avant l’élection et les résultats de celle-ci est très détaillé et explique bien la raison de plusieurs différences entre les prévisions et la réalité.

Il sera fort intéressant de suivre ce site s’il est de nouveau actif lors de l’élection canadienne de l’an prochain. J’espère que vous avez pu utiliser vos connaissances de méthodes quantitatives pour user de votre droit de vote et que vous avez fait valoir votre voix.

Merci à Vincent pour le lien.

 

Sondage???

Les sites présentant les prévisions météorologiques sont régulièrement visités par des milliers d’internautes. Météomedia.com est un de ceux-là. Régulièrement, le site propose, dans la colonne de droite des pages de prévisions, une question à choix de réponse sur la météo. Le titre de cette section du site est « Sondage », laissant le lecteur supposer qu’on y recueillera l’opinion des personnes qui visitent le site pour en tirer des informations sur la population des lecteurs du site. Or, quand on s’attarde aux questions posées, il est difficile de comprendre quel genre d’information on pourrait tirer de ces questions.

J'ai mis une subtile flèche pour attirer votre attention sur le bon endroit.
J’ai mis une subtile flèche pour attirer votre attention sur le bon endroit.

Par exemple, hier la question était: « Quelles sont les moyennes de neige durant la relâche? ». Les choix de réponses proposaient différentes quantités pour les villes de Québec et Montréal. Pourquoi faire un sondage d’opinion sur un fait météorologique? C’est comme si on faisait un sondage d’opinion en demandant qui a été Premier ministre du Québec entre 2003 et 2012? On ne détermine pas la vérité en faisant des sondages d’opinion…

J’imagine que l’objectif de cette section du site de Météomédia est de proposer une question amusante pour apprendre des choses aux lecteurs. Dans ce cas, la section devrait s’appeler « Question du jour » ou « Quiz ». La nommer « Sondage » donne l’impression qu’on essaie de généraliser les résultats de l’étude à l’ensemble de la population ou que le résultat aura une quelconque valeur scientifique. Ce n’est pas du tout le cas. Tout ce que les résultats de ce sondage permettront de déterminer, c’est la proportion des participants au « sondage » qui ont des connaissances solides dans le domaine des « faits météorologiques québécois ». Et je ne parle même pas de tous les problèmes d’échantillonnage de ce « sondage ».

Sur l’importance de bien choisir sa question

René Lévesque a souvent reçu des critiques sur la formulation de la question référendaire de 1980. Il pourrait certainement témoigner de l’importance de bien choisir sa question… Image : Bouchcl, CC BY-SA 3.0.

En 2009-2010, le gouvernement libéral de Jean Charest était en pleine négrociation de la nouvelle convention collective avec l’ensemble des employés de la fonction publique québécoise. La négociation était à son plus fort et les forces cherchaient des arguments pour justifier leurs demandes et leur position.

Comme le gouvernement provincial est financé par les contribuables québécois, il pouvait être intéressant de savoir quelle était la positions de ceux-ci sur les négociations. Advenant le cas que les syndicats recevaient un fort appui de la population, il aurait été difficile de maintenir la ligne dure pour en venir à une entente avantageuse pour le gouvernement. Inversement, si la population était fortement derrière le gouvernement, il aurait pu se fier sur cet appui pour imposer une convention collective austère, tel qu’il le souhaitait.

C’est dans ce contexte que l’Institut économique de Montréal et Léger Marketing ont publié un sondage fait auprès de 1000 Québécois sur les négociation entre le secteur public et le gouvernement (consulter en ligne : http://www.iedm.org/files/sondage0310_fr_0.pdf ). Sorti le 3 mars 2010, ce rapport de sondage faisait état des résultats de trois questions. On peut lire la méthodologie du sondage dans la seconde page du rapport. On y apprend entre autre qu’il ne s’agit pas d’un sondage probabiliste et qu’il a été mené auprès d’internautes. Dans un autre billet, je pourrai revenir sur la notion de sondage probabiliste.

Ce sur quoi je voudrais attirer votre attention c’est plutôt les conclusions du rapport et les questions sur lesquelles ces affirmations sont basées. En titre de la page consacrée à la première question du sondage, on lit:

La grande majorité des Québécois soutiennent la position du gouvernement Charest dans les négociations avec les syndicats des employés de la fonction publique.

L’affirmation est forte et il convient d’étudier les bases de cette conclusion. Voici la question qui a été posée au internautes pour en arriver à dire que le gouvernement recevait l’appui de 7 Québécois sur 10.

Dans ses négociations avec les syndicats des employés de la fonction publique, le gouvernement Charest devrait-il:

a) accepter intégralement les demandes syndicales (dont une augmentation salariale de 11,25% sur 3 ans), et augmenter les impôts afin de financer ces demandes comme le suggère la CSN ?

b) exiger que les augmentations octroyées soient liées à des gains de productivité des fonctionnaires et à une diminution générale des coûts de fonctionnement du gouvernement ?

c) Ne sait pas.

Hmmm… Je l’avoue, je suis moi-même membre de la fonction publique et, devant cette question, j’ai de la difficulté à choisir raisonnablement la première option plutôt que la seconde. Donc, imaginez le contribuable moyen devant cette question.

Quand on veut savoir l’opinion d’une population sur une question, il faut absolument choisir une formulation la plus neutre possible qui permet au sondé d’exprimer réellement son opinion. Ici, aucun payeur de taxe ne choisira l’option qui aura un effet sur les impôts qu’il paiera. De plus, comment peut-on être contre la vertu qui est présentée dans la deuxième réponse proposée? Comment peut-on refuser qu’une augmentation de salaire des fonctionnaires se traduise par une diminution générale des coût de fonctionnement du gouvernement? Cette question et ces réponses sont tellement réductrices de l’enjeu qu’il n’est pas possible pour le répondant de choisir correctement et la formulation des questions lui indique clairement qu’il devrait choisir la seconde option.

Aussi, il faut que l’ensemble des positions possibles soient proposées dans les choix de réponses d’une question de sondage. Dans le cas qui nous intéresse ici, il n’y a aucune solution mitoyenne proposée. Pour que les choix de réponse soient un peu plus exhaustifs par rapport aux retours possibles. Le sondé qui voudrait répondre quelque chose comme « augmenter un peu le salaire des employés de l’État sans que cela ait un effet sur les impôts des contribuables » ou « trouver une solution qui conviendrait aux deux parties » n’ont aucune catégorie qui leur convient réellement.

Finalement, ces choix de réponse sont en fait ce qu’on appelle un faux dilemme. Aucun des acteurs de la négociation ne souhaitait réellement les résultats nommés par les options qui sont présentées. Les syndicats demandaient une augmentation de leur salaire, le gouvernement souhaitait limiter le plus possible cette augmentation. La partie syndicale ne peut garantir que l’augmentation du salaire de ses membres mènera à une augmentation de la productivité et ne s’opposerait certainement pas à ce que cela se réalise. Inversement, le gouvernement peut accepter une augmentation du salaire de ses employés sans avoir à augmenter les impôts. Il pourrait réduire les dépenses en coupant dans ses programmes pour atteindre ce résultat. Ainsi, les résultats énoncés avec chacune des positions ne sont pas liés avec le choix de solution qui les précèdent.

Au-delà des considérations sur la formulation de la question, la conclusion tirée de l’étude statistique des réponses est assez outrageuse. Avec une question aussi biaisée, il est assez audacieux d’en tirer qu’une majorité des Québécois supportent le gouvernement. Le processus est équivalent, à mon sens, à poser la question « Que préférez-vous : le brocoli ou le gâteau au chocolat? » et d’en tirer la conclusion que les Québécois préfèrent les aliments gras et sucrés par rapport aux légumes. C’est une conclusion sans intérêt qui généralise beaucoup trop la réalité décrite par la question et ses résultats.

Il faut donc réfléchir à une question plus neutre qui permettrait de savoir réellement l’opinion de la population québécoise. Dans le contexte, il est vrai que cela est difficile à faire puisque l’enjeu tient plus de l’idéologie que d’une lecture raisonnée des enjeux de la négociation. Il serait très difficile de mettre en contexte la position de chaque partie de la négociation sans en caricaturer un peu la teneur et revenir à une question qui dirait « Augmenter les salaires des fonctionnaires ou pas? ». La longueur de la question serait aussi problématique à limiter puisqu’il faudrait expliquer de façon neutre la position des deux parties. Simplement, on aurait tout de même pu poser la question suivante:

À la lumière de ce que vous savez sur la négociation qui a lieu entre les syndicats de la fonction publique et le gouvernement, quelle partie obtient votre support?

a) Le gouvernement;

b) la partie syndicale;

c) ne sait pas.

Cette question aurait au moins l’avantage de ne pas orienter la réponse des répondants et permettrait d’affirmer de quel côté va le support des Québécois. Cependant, elle risquerait probablement de recevoir un fort taux de réponses « ne sait pas » puisqu’une infime partie des personnes sondées sont réellement au courant des positions des deux parties.

Bref, la question qui a été posée était biaisée et ne permettait pas de tirer la conclusion qui est énoncée. De plus, il faut savoir que les journaux rapportent généralement les conclusions d’un sondage et non pas les questions et le réponses obtenues dans l’étude. Il est donc très important d’aller consulter les sources des conclusions pour pouvoir poser un regard critique efficace sur ces affirmations. De plus, il est absolument nécessaire de se questionner sur les méthodologies qui ont été utilisées pour réaliser le sondage. Dans un autre billet, j’expliquerai pourquoi, dans ce cas précis et dans bien d’autres cas, il faudrait remettre encore plus en doute les résultats du sondage à cause de la méthodologie utilisée.

Malheureusement, cette publication sera la dernière avant le temps des fêtes. C’est avec plaisir que je reprendrai l’écriture au début de la prochaine session. Sans vous faire de promesses, j’aimerais continuer à expliquer les principaux principes de méthodes quantitatives à l’aide d’exemples concrets. J’explorerai aussi la possibilité de faire des entrevues avec des acteurs du milieu qui nous expliqueront la place des méthodes quantitatives dans leur pratique. Peut-être verrons-nous aussi la publication de billets écrits par des collègues ou de mes étudiants. D’ici là, n’hésitez pas à me faire parvenir vos idées et vos commentaires pour améliorer ce blog. Au plaisir de vous voir en janvier!