Accueil du Trente
Abonnement Édition courante Édition précédante
Nos projets Comité de rédaction Pour nous joindre


Par Charles Côté


Selon l'expression du sondeur Jean-Marc Léger, les sondages sont le «thermomètre plongé dans la bouche de l'électeur». Mais les médias savent-ils bien lire la température?

Depuis que Gallup a étonné le monde en prédisant l'élection de Franklin D. Roosevelt, en 1936, les sondages ont pris d'assaut les médias et sont devenus un élément essentiel de notre vie politique. Aux dernières élections fédérales, il y en a eu 52 - et encore, c'est sans compter ceux qui n'ont jamais été publiés. Mais depuis leur apparition, les sondages suscitent un débat qui n'est toujours pas résolu.

«Les sondages ont une grande valeur, s'ils sont bien faits, rigoureux et bien interprétés par les médias, estime Richard Nadeau, professeur au département de science politique à l'Université de Montréal. Ils donnent le même poids à toutes les personnes. C'est un instrument qui permet d'avoir un lien entre gouvernants et gouvernés, à l'extérieur des rendez-vous électoraux.»

Sa collègue de l'Université Laval, Anne-Marie Gingras, est moins enthousiaste. «Même si techniquement les sondages sont valides, notre plus grosse erreur est de les considérer tous de la même façon. Ils sont très valables quand on fait référence à des sentiments, parce que les gens répondent avec leurs tripes.»

Avec cette émotion, dit-elle, les sondeurs et les médias «fabriquent» de l'opinion.

Une remarque qui n'étonne pas le sondeur Jean-Marc Léger, de Léger et Léger, au contraire. «Tu mesures de l'émotion», dit-il. Alors, convient-il encore de parler de sondages d'opinion? Les résultats nous autorisent-ils vraiment à parler au nom de l'opinion publique, de faire peser la tyrannie de la majorité sur l'espace public?

«Il y a beaucoup d'opinions qui reposent sur des perceptions, estime Richard Nadeau. On sait que toutes les perceptions ne sont pas fondées. (...) Dans la théorie classique de l'opinion publique, on postulait que chaque personne avait une opinion définie sur chaque sujet dans un petit tiroir. Mais les gens sont ambivalents. Sur l'aide sociale, par exemple, cohabitent des sentiments de solidarité sociale et de hantise du gaspillage et des abus.»

Y a-t-il trop de sondages? Gilbert Lavoie, rédacteur en chef du Soleil, ne le pense pas. Au contraire : «Je préfère en avoir plus parce que ça permet, en les comparant, de détecter les erreurs.»

Les sondages ne sont pas une nouvelle comme une autre, convient Jean Thivierge, journaliste à la radio de Radio-Canada affecté à la politique québécoise. C'est le média qui prend l'initiative du sondage et c'est lui qui en contrôle les principaux paramètres.

Boule de cristal ou instantané? Le sondage, et surtout son interprétation, tient un peu des deux. «On aime ça prévoir l'avenir, c'est quelque chose qui se vend bien, dit Claude Gauthier, de CROP. La prévision en soi, c'est de la nouvelle.»
Jean-Marc Léger est plus modeste : «On est très bons pour dire ce qui s'est passé hier, un peu moins pour dire ce qui se passe aujourd'hui, et pour dire ce qui va se passer demain, on a un peu de misère.»

«Le rôle du commentateur n'est pas de prévoir l'avenir», estime pour sa part Richard Nadeau. Cependant, dit Gilbert Lavoie, «quand une tendance est très forte, pendant plusieurs mois, on est porté à tirer certaines conclusions».

De l'idée à la manchette

Les médias ne sont pas les seuls à commander des sondages, mais ils en font l'usage le plus bruyant. «Le sujet d'un sondage est toujours guidé par l'actualité, affirme Philippe Dubuisson, responsable des sections politique et économique à La Presse. On établit des questions, on les soumet au sondeur qui va souvent les reformuler, décider d'un ordre.»

Qui, des journalistes ou des sondeurs, sont les meilleurs pour poser les questions? «Les journalistes! répond Gilbert Lavoie. On soumet nos questions au sondeur.»

Mais même bon questionneur, il est arrivé au journaliste André Pratte, de La Presse, d'avoir de mauvaises surprises : «On sait ce qu'on cherche, mais souvent, quand on reçoit les résultats, on n'est pas sûr de la façon dont les gens ont compris la question, et alors on n'est pas plus avancé.»

Dans le cas de sondages portant sur des sujets nouveaux, la formulation de la question est peut-être l'étape la plus cruciale du processus (voir encadré p. 25).

«Par exemple, se rappelle André Pratte, on a voulu faire un sondage sur le système d'éducation, à l'époque où cette question intéressait autant que les soins de santé aujourd'hui. On avait le choix entre poser la question "Êtes-vous satisfait des écoles?" ou encore "Êtes-vous satisfait de l'école de votre enfant?". On voyait tout de suite quelle allure ça allait prendre avec chaque question.»

Épineux problème, surtout que chaque question coûte des sous - 1000 $ la question, grosso modo -. «Les coûts ne sont pas un problème depuis l'apparition des sondages omnibus», remarque cependant Gilbert Lavoie.

Chez CROP, le sondage omnibus, ainsi nommé parce que plusieurs «passagers» peuvent y monter pour y poser leurs propres questions, dure de 10 à 15 minutes par répondant et peut compter de 40 à 50 questions.

Parmi les questions prévues à l'omnibus de septembre : un client veut connaître la fréquentation des parcs; un autre, les habitudes de recyclage; un service public vérifie la satisfaction de sa clientèle; une question concerne l'usage d'Internet à la maison; et un lobby politique pose une question sur l'éternel problème national.

À travers ce questionnaire, on glisse chaque mois les questions de politique. Un tel pot-pourri de questions n'inquiète pas Richard Nadeau : «Les questions sans implication politique ne posent pas de problèmes. Ce qui est plus délicat, c'est l'agencement entre elles des questions politiques.»

Habituellement, l'ordre est le suivant : 1. Satisfaction à l'égard du gouvernement. 2.Les chefs. 3.L'intention de vote électoral. 4.L'intention de vote référendaire.

«Je juge d'après le contenu où placer les questions politiques, explique Claude Gauthier. Les gens sont avertis au début de l'interview qu'il sera question de divers sujets.»

À moins d'un sondage-éclair auprès de quelques centaines de personnes, on doit attendre une semaine avant de recevoir les résultats. «Au moment de commander le sondage, on a une date de publication en tête, explique Philippe Dubuisson. Par exemple, on va vouloir arriver un samedi.»

Les résultats sont confiés à un journaliste qui va interviewer le sondeur. Deux ou trois papiers seront faits, illustrés avec des tableaux. C'est là un passage délicat pour le journaliste moins familier avec la technique des sondages. «Il faut être armé pour comprendre les sondages et on n'est pas assez équipé pour confronter le sondeur, affirme André Pratte. On devrait avoir toutes les données brutes, l'ordre des questions. En théorie, on devrait pouvoir demander à un sondeur : "Fais-moi tel ou tel croisement." Mais c'est rarement le cas.»
Jean Thivierge s'est déjà trouvé dans la délicate situation de se voir remettre un sondage commandé par la direction de Radio-Canada qui, selon lui, ne répondait pas aux critères méthodologiques minimaux.

«Il y avait plusieurs problèmes. L'échantillonnage était canadien, et la portion québécoise était en-deça de 500 personnes. Ce n'étaient pas les questions habituelles sur la question nationale, alors l'analyse des réponses n'allait pas de soi. Les réponses allaient à l'encontre de ce qu'on obtenait avec des enquêtes plus larges.»

Le sondage n'est pas traité de la même façon que les autres «matières à nouvelles» dans certains médias. «Habituellement, on ne met pas de sondage en manchette, mais on va l'annoncer et le jouer très haut, comme deuxième ou troisième nouvelle», affirme Jean Thivierge.

La Presse s'est donné il y a quelques années une politique très stricte sur les sondages portant sur les intentions de vote. «On ne fait pas de manchette avec un sondage politique, indique Philippe Dubuisson. On va seulement faire un bandeau à la une, et les articles seront dans les pages intérieures, pour ne pas faire de nouvelle, pour garder un maximum d'objectivité. Pour éviter des titres où on doit utiliser un qualificatif, du genre "Forte remontée du PQ". Peu importe le résultat du sondage, le traitement est toujours le même.»

«Tu veux éviter que la journée où, par exemple, le PQ fait une forte remontée, il n'y a pas de nouvelle, ça se retrouve en une, et deux mois après c'est au tour des libéraux, mais ce jour-là, il y a un crash à Wall Street et ça ne fait pas la une.»

Sur cette question, Anne-Marie Gingras va beaucoup plus loin : «On ne devrait jamais faire de titre avec un sondage, il y en a un sur 20 qui est faux!»

Pour Gilbert Lavoie, le sondage n'a pas droit à un traitement spécial : «C'est une information comme une autre. Il faut y aller avec l'importance de la nouvelle, comme pour le reste. Si c'est la nouvelle la plus importante, on peut la mettre en une.»

Reste à digérer l'information, à la mettre en contexte... avec prudence. «Si un sondage indique un renversement de tendance ou s'écarte de résultats récents, la prudence commande d'attendre le prochain avant de se prononcer», conseille Richard Nadeau. Facile à dire, quand on travaille au quotidien!

Même les sondeurs sont nerveux quand ils mettent au jour un changement de tendance. «On a été les premiers à annoncer le recul du Bloc québécois lors de la dernière campagne fédérale, relate Claude Gauthier. Quand on est les premiers à annoncer quelque chose, on fait doublement attention.»
Après la venue de Jean Charest, «certains commentateurs sont allés jusqu'à faire un projection du nombre de sièges. C'est aller beaucoup trop loin, à plusieurs mois des élections», critique Richard Nadeau.

Surveiller les sondeurs

On discute depuis une quinzaine d'années de la création d'un organisme indépendant qui exercerait une surveillance sur les sondages et leur publication dans les médias. Le projet n'a jamais pris forme, bien qu'un groupe d'universitaires québécois se soit proposé pour remplir cette fonction, et qu'au niveau fédéral la commission Lortie, chargée de la réforme électorale, ait évoqué la question au début de la décennie.

Les contrôles de qualité sont donc laissés aux journalistes et aux divers experts indépendants, surtout les universitaires, bien que les premiers comme les seconds fassent parfois preuve d'imprudence dans l'interprétation des résultats de sondages. Au point que Jean-Marc Léger souhaite l'avènement d'un organisme de surveillance. «Ce serait profitable. Un sondage, une fois les résultats sortis, c'est comme un ballon de football qu'on peut prendre pour aller dans n'importe quelle direction.»

Identité du commanditaire, période de «terrain», échantillonnage, nombre de répondants, énoncé de la question, taux de réponse, répartition des indécis, voilà les principaux paramètres à surveiller pour vérifier la validité d'un sondage. Mais au premier chef, la réputation de la maison joue un grand rôle. «Aussitôt qu'on s'écarte des trois ou quatre bonnes firmes, là, ça devient moins fiable», estime Jean Thivierge.

Voici en bref les enseignements méthodologiques du «prof» Richard Nadeau:
Taux de réponse : «Il faut surveiller le respect des normes professionnellement reconnues. À moins de 50 %, il faut s'armer d'un sain scepticisme. Il risque d'y avoir un biais en faveur des gens qui s'intéressent plus à la politique.»

Durée du sondage : «Il faut que les firmes se donnent 4 à 5 jours pour faire de nombreux rappels, pour rejoindre leur échantillon.» (Cependant, un sondage qui s'étale trop dans le temps peut aussi être critiqué, l'humeur du public pouvant évoluer au cours de la période, surtout pendant une campagne électorale.)

Moment du sondage : «L'entreprise de sondage devrait être disposée à fournir ses heures de terrain, pour prouver qu'elle a bien couvert toutes les périodes possibles : jour, soir, fin de semaine.»

Énoncé de la question : «Il arrive que des questions laissent à désirer. Par exemple, quand on associe une option constitutionnelle à un parti politique, ou quand il y a une très longue question à caractère hypothétique. Cependant, les questions à scénario donnent des résultats instructifs, si on s'est assuré au préalable, en faisant des tests, que les gens comprennent les concepts.»

Répartition des indécis : «Le journaliste doit toujours savoir quelle est la proportion des indécis et comment ils sont répartis. Dans le cas d'élections municipales, avec un taux de participation de 30 ou 40 %, les personnes sondées ne sont pas représentatives de celles qui vont voter.» (Le problème se pose aussi, mais dans une moindre mesure, en politique provinciale ou fédérale.)

Sonder l'insondable

Le mode de répartition des indécis en politique québécoise a fait l'objet de nombreuses polémiques au cours des dernières années. Aujourd'hui, les maisons sérieuses se sont donné des méthodes pour mieux refléter le comportement électoral des indécis et discrets.

Les méthodes reposent soit sur des proportions, soit sur des caractéristiques sociodémographiques des répondants ou encore sur les réponses données à d'autres questions. Selon la méthode employée, selon aussi qu'il s'agit de l'intention de vote électoral ou référendaire, on donne entre 60 et 75 % des indécis aux fédéralistes ou à leur option, et 25 à 40 % aux souverainistes ou à leur option.

Léger et Léger a raffiné sa méthode. On pose des questions aux indécis ou discrets qui permettent, selon toute probabilité, de classer presque chacun dans l'un ou l'autre camp : langue d'usage, intention de vote référendaire, satisfaction. Au bout du compte, il peut rester aussi peu que 5 % de «vrais» indécis inclassables.

Le mode de répartition des indécis est un élément crucial d'un sondage. «Les journalistes se montrent moins rigoureux ces jours-ci sur la répartition des répondants indécis, déplore Richard Nadeau. Ce qui me frappe c'est qu'il y a une espèce de paresse. L'intérêt est de créer un suspense autour d'une course en la montrant plus serrée qu'elle ne l'est.»

La marge d'erreur

La marge d'erreur, c'est en fait la zone dans laquelle l'opinion a 19 chances sur 20 de se retrouver dans la population étudiée. Dans les sondages où 1000 répondants sont interrogés, la marge d'erreur varie entre 2 et 3 points. Une marge d'erreur de 3 points signifie qu'un résultat de 40 % pourrait aussi bien vouloir dire 37 que 43. Une marge d'erreur trop élevée, de 4 points ou plus, rend difficile l'interprétation d'un sondage en politique québécoise, où tout peut basculer avec quelques dizaines de milliers de votes.

Dans ce contexte, dire que tel ou tel parti a gagné un ou deux points, soit moins que la marge d'erreur, c'est aller au-delà de ce qu'on peut faire dire à un sondage, affirme Claude Gauthier. «Mais c'est bien tentant! Si tu dis qu'il n'y a pas de changement, où est la nouvelle?»

La solution? S'en tenir aux tendances à plus long terme. «Les chiffres ne sont pas importants, ce sont les tendances qui comptent», lance Jean Thivierge. «Les déplacements à l'intérieur de la marge d'erreur, on peut les présenter comme tels, tout en les replaçant à l'intérieur des tendances», affirme Richard Nadeau.

Le journaliste ou l'analyste doit aussi avoir à l'esprit les difficultés inhérentes à la réalisation d'un sondage. Ces contraintes peuvent induire un biais. «C'est plus difficile maintenant d'obtenir collaboration, affirme Claude Gauthier. Les gens sont moins disponibles. On les rappelle jusqu'à cinq fois. Les répondants vont être des gens qui sont facilement accessibles, dont, de façon disproportionnée, des chômeurs, des retraités. Les 18-24 ans ne sont pas souvent chez eux, ils sont durs à rejoindre, ceux-là.»

Numéros confidentiels, répondeurs et boîtes vocales, autant d'obstacles que la maison de sondage ne réussit pas toujours à franchir. «Pour un sondage de 1000 répondants, on fait tirer 2000 numéros de téléphone, à même une banque de données. On en fait aussi générer un certain nombre au hasard, dans l'espoir de joindre des personnes qui ont demandé que leur numéro soit confidentiel», explique Claude Gauthier.

Influence des sondages

On spécule encore sur l'influence des sondages. Les universitaires s'entendent au moins sur les dangers. «L'influence des sondages a toujours été une crainte, reconnaît Richard Nadeau. Surtout dans le cas de ceux réalisés par les groupes de pression ou les partis politiques. L'opinion est une ressource politique importante.»

Il rappelle l'exemple de la question du sang contaminé, où des sondages de groupes de pression semblaient démontrer qu'un proportion écrasante de Canadiens étaient d'accord avec une indemnisation de toutes les victimes, peu importe le prix.

«Il faut toujours que les journalistes soient très conscients des risques quand c'est un parti politique qui rend un sondage public ou qui organise une fuite, estime Claude Gauthier. Combien de sondages qui ne sont pas à son avantage sont restés secrets?»

«Souvent on va en parler mais il ne faudrait même pas, dit André Pratte. C'est étonnant comment ceux qui commandent des sondages arrivent toujours à leur résultat.»

«Mais ça arrive moins souvent. Maintenant, les médias qui se font envoyer des sondages décident de passer outre», assure Jean Thivierge. Pourtant, la même semaine, rappelle Richard Nadeau, on a beaucoup parlé d'un sondage du PQ sur la majorité référendaire requise, dont la question prenait soin de rappeler le précédent de l'entrée de Terre-Neuve dans la fédération canadienne.
«L'effet le plus pervers des sondages, c'est quand on les utilise abusivement pour légitimer une action, un projet. Ce n'est pas difficile de faire dire des choses aux gens, ils n'aiment pas la chicane, ils cherchent le juste milieu», souligne Anne-Marie Gingras.

La question de l'influence des sondages dans le bureau de vote était au coeur d'un jugement de la Cour suprême qui annulé, en octobre 1997, la disposition de la loi fédérale qui interdisait la publication de sondages dans les derniers jours d'une campagne électorale.

Les experts entendus par la Cour n'ont jamais pu prouver qu'une telle influence existait. «Quand on demande aux gens s'ils sont influencés par les sondages, ils répondent non, mais quand on leur demande si les sondages influencent les autres, ils répondent que oui», affirme non sans ironie Claude Gauthier.

«L'influence, il ne faut pas la nier, ajoute-t-il cependant. Il y a des gens qui pourraient utiliser les sondages seulement à ces fins-là. Est-ce que c'est moral ou immoral? Les gouvernements seraient bien fous de se priver d'un tel instrument.»

Le sondeur se range bien sûr du côté de la majorité de la Cour, qui estimait qu'il n'y avait pas de raison de priver les électeurs d'une information aussi pertinente. «Un sondage, c'est comme un miroir. On se regarde dedans avant d'aller voter. Ça fait partie des éléments qui permettent de voter en connaissance de cause. Et au moins, c'est un outil rigoureux.»

Le printemps nous a donné le spectacle d'une opération largement alimentée par les sondages : la venue de Jean Charest à la tête du Parti libéral du Québec.

«Les sondages ont beaucoup aidé dans ce cas-là, dit Claude Gauthier. Les sondages disent : si tu cherches le gars le plus populaire en ville, c'est Charest. Ça n'enlève pas la responsabilité au parti politique de choisir un chef selon d'autres critères.

- Dans ce cas-ci, pourtant, on pourrait penser qu'il s'agissait du seul critère?
- Ça ressemble à ça... Mais il avait un capital de confiance, et ça, c'est très important, pour établir un lien avec le public.»

Pour Richard Nadeau, les médias ont mal caché leur enthousiasme devant la venue de Jean Charest en politique québécoise, à la place d'un Daniel Johnson que d'aucuns jugeaient terne. «M. Charest est venu sauver le spectacle, il est devenu un allié objectif des médias, qui préfèrent couvrir une campagne colorée et serrée. Dans ce contexte, il n'était pas étonnant que les médias aient insisté sur les sondages qui démontraient sa popularité.»


                                                -30-


Charles Côté est journaliste surnuméraire à La Presse.



Encadré 1 : That is the question (...is it?)

Le problème de l'énoncé d'une question de sondage se pose particulièrement dans le cas de sujets nouveaux. Il faut alors éviter que la formulation de la question influence la réponse. «Le répondant est comme un naufragé, il s'agrippe à ce qu'on lui lance», aime à dire Richard Nadeau.

Dans les jours où ont été réalisées les entrevues qui ont servi à la rédaction de cet article, on a vu la publication de trois sondages sur la majorité requise dans un futur référendum : un de CROP pour La Presse et TVA, un de Léger et Léger pour Le Journal de Montréal, et un d'Angus Reid pour Radio-Canada.

Dans la foulée du jugement de la Cour suprême sur le droit du Québec à la sécession, la question était d'une actualité brûlante. Le sujet n'était pas entièrement nouveau, bien sûr, mais le contexte l'était. Dans le cas de CROP, on a posé la même question que par le passé. «Une majorité de 50 % plus un est-elle suffisante?» Chez Léger et Léger, on a plutôt choisi d'emprunter au vocabulaire de la Cour, en demandant quelle serait une «majorité claire».

Dans tous les cas, on est arrivé à dire que, dans l'ensemble, les Québécois désiraient que la barre soit fixée plus haut que la majorité simple. Ce qui n'a rien de surprenant, puisque cette règle est la barre minimale, personne n'allant prétendre qu'une minorité de votes pourrait ouvrir la voie à la sécession.

L'expression «suffisante» utilisée par CROP a suscité des critiques. «Tout le monde souhaite qu'il y ait une majorité suffisante pour qu'il n'y ait pas de chicane», avoue Claude Gauthier. Cependant, c'est dans ces termes que CROP avait posé la question par le passé, depuis 1990 au moins.

La formulation «donne des résultats ambigus», opine Richard Nadeau. «Mais il y a un mérite à reposer la même question, ça permet de suivre l'évolution de l'opinion. Il y a toujours une tension entre le changement et la continuité. Il vaut parfois mieux continuer à poser la même question même si elle est perfectible.»

Léger et Léger a choisi d'utiliser les termes du jugement de la Cour suprême : 50 % plus un, est-ce une majorité claire? La firme est allée jusqu'à calculer le pourcentage qui serait acceptable : à 60 %, au moins la moitié des répondants - ceux qui disent 50 % plus ceux qui disent entre 50 et 60 - sont d'avis que la majorité serait claire. En statistique, c'est ce qu'on appelle la médiane. On obtient le même chiffre de 60 % en faisant une moyenne pondérée des réponses de tous les répondants, y compris, précise Jean-Marc Léger, ceux qui ont répondu : «Ça prend 100 % et ça passera pas, parce que moi, je suis contre». Le Journal de Montréal titrait : «Une majorité claire à 60 %».

Qu'est-ce que ça prouve? «Absolument rien. Ça ne montre que l'état de l'opinion», répond Jean-Marc Léger.

L'exercice est-il utile? «Il est illusoire de vouloir trancher, répond Richard Nadeau. Il faudrait poser la question de plusieurs façons. Les gens sont ambivalents. Il faut mesurer cette ambivalence dans toute sa complexité. Il s'agit d'une question fondamentale.» (C. C.)



Encadré 2 : Histoire

Pionnière des sondages d'opinion au Québec, la maison CROP (Centre de recherche sur l'opinion publique) a été fondée en 1965. «C'étaient des chums, rappelle Claude Gauthier, qui fait partie de la maison depuis la fin de ses études en sociologie, en 1968. L'un était spécialisé en mathématiques (Jean Fortier), un autre était psychologue (Soucy Gagné). Alexis Zynger était aussi mathématicien. Ils sont allés étudier aux États-Unis. Il ont importé la technique ici.» CROP compte maintenant 40 employés à temps plein.

Les maisons SOM et Léger et Léger ont toutes deux vu le jour en 1986. Léger et Léger a aujourd'hui atteint la taille de CROP, avec une quarantaine de permanents et 150 intervieweurs contractuels, la plupart à temps partiel. SOM a connu une croissance moins rapide et compte aujourd'hui une vingtaine d'employés permanents et 80 intervieweurs.

D'autres maisons, surtout ontariennes, comme Angus Reid, Environics et Gallup, tentent de prendre pied au Québec mais leur crédibilité dans le domaine de la politique québécoise n'est pas aussi bien établie auprès des journalistes et des observateurs avertis.

Enfin, des maisons plus petites, comme Sondagem, Créatec et d'autres, tentent de s'établir sur le marché de la politique, qui fait la notoriété d'une maison de sondage. (C. C.)

_________________________
Vol. 22, no 9, octobre 1998