10/10/2016

DOSSIERS

-->



-->LES FRANCAIS, LES SONDAGESET LA SÉCURITÉ

Dans ce dossier : 
- De l'art de la critique et de l'intérêt des sondages / PR2Peer

Et en complément mais pas sur BERSERK :
 - Un dossier réalisé par l’association Pénombre, qui “réfléchit sur les usages du nombre dans le débat public”.
- “L’opinion publique n’existe pas” de Pierre Bourdieu, toujours d’actualité
- Les résultats du sondage IFOP en intégralité (pdf).
- “La fabrique de l’opinion publique“, par Noam Chomsky.

__________
-->

Securité : ce sondage qui fait polémique...
Publié le 7 août 2010 sur La Rage Au ventre



Retour sur un sondage qui interroge : Parue vendredi 6 août dans le Figaro, l'étude commandée par le quotidien à l'institut de sondage Ifop est censée faire office d'évidence: les Français plébisciteraient les annonces estivales de la majorité sur la sécurité.

L'opposition et les syndicats dénoncent l'interprétation opérée par les commanditaires du sondage, et remettent en cause sa crédibilité

Pour le délégué SNJ au Figaro, le journal a manqué de prudence et ajoute :
"Depuis 2002, le Figaro a souvent publié des sondages dans des moments où le gouvernement était en difficulté."

Libération de son côté pose les vrais questions
Pourquoi le choix d'une enquête en ligne?
Une enquête en ligne est-elle fiable?
L'échantillon est-il représentatif?
Sonder pendant l'été, un biais?
Les questions posées sont-elles neutres?



L’IFOP invente le sondage à charge
Publié le 8 août 2010 sur Le Grand Soir

Laurence Parisot, Patronne des Patrons & Patronne de l’IFOP
L’IFOP vient de publier un sondage qui tend à montrer que les françaises et les français seraient extrêmement favorables aux mesures ultra-sécuritaires réclamées dernièrement par Sarkozy de Nagy-Bocsa, mesures pourtant fortement contestées dans l’ensemble de la presse et une bonne partie de l’opinion.

Les scores d’adhésion aux idées du locataire de l’Elysée atteignent, dans ce sondage à point pour lui, des niveaux dignes d’une république bananière. « 80% des sondés se disent favorables au retrait de la nationalité française pour les personnes d’origine étrangère coupables de polygamie ou d’excision, et 70% pour les délinquants d’origine étrangère en cas d’atteinte à la vie d’un policier ou d’un gendarme ».

Ce type de sondage relève de la méthode CAWI (Computer-Assisted Web Interviewing). La CAWI, comme les kebabs, est née avec la conjugaison crise/internet. Plus besoin de téléphones, plus besoin d’enquéteurs à domicile, les questionnaires sont « auto-administré en ligne, ce qui veut dire que chacun le trouve sur un site, ou reçoit un lien pour le remplir. Intérêt : économies et rapidité. De nombreux maillons de la chaîne du sondage sautent et plusieurs dizaines de questionnaires peuvent être remplis en même temps. On comprend un peu que la petite chef du Medef, qui cornaque l’IFOP, l’ait retenue pour ce sondage, et tant d’autres.

Problèmes...On ne peut être sûr de qui remplit les CAWI, vu que l’IFOP travaille avec des centaines de sites partenaires, à qui elle demande de mettre en ligne son questionnaire ou un lien. On peut parfaitement imaginer des personnes décidées qui se relaieraient sur un site, puis feraient une recherche sur l’ensemble des sites où est posé tel questionnaire, pour aller remplir tous les CAWI relatifs au même problème soulevé par un CAWI particulier...Paranoïa ?...Non, possibilités technologiques couplées à une détermination militante.

Sans oublier un élément fondamental. Par définition, l’enquête sur le Net ne peut toucher qu’une moitié et un plus des français, puisque seulement 57,8% des foyers ont le Net. Limites technologiques et sociétales, donc.

Autre possibilité de diverger. Le questionnaire CAWI ne donne que les réponses de ceux qui VEULENT répondre.

Il ne représente pas du tout l’opinion publique même s’il est « remballé » ensuite, à coups de pondération statistiques pour reprendre le profil de la population française. Il a un biais « dynamique ». Les répondants sont positifs ou négatifs, mais très peu non-répondants. Le CAWI accentue sûrement les réponses les plus fortes en termes de sens. Ainsi, les répondants choisiront plutôt « êtes-vous très », « étes-vous plutôt », que « sans opinion » ou « ne se prononce pas ».
Le questionnaire pêcheraient donc, ici, par une tendance « maximaliste ».

Au-delà de ces problèmes structurels des enquêtes CAWI, des biais récurrents et indiscutables émergent dans le sondage IFOP concerné lui-même. Le questionnaire semble très loin de l’équilibre, dans le domaine sémantique/rhétorique.

Il suffit pour s’en apercevoir de reprendre la question initiale et les items – les différentes modalités de réponse possible – au fur et à meusre.

Q 1 : "Vous savez que le gouvernement a annoncé différentes mesures pour lutter contre l’insécurité....Le terme "lutter" est un jugement de valeur. Il aurait fallu l’enlever ou employer des termes neutres comme "à propos de", "relatives à".

Suite de la Q1 : "...très favorable, plutôt favorable, plutôt opposé ou très opposé ?". La formulation induit une préférence pour "favorable" qui vient deux fois en tête de phrase. La présentation plus neutre aurait été : "très favorable, très opposé, plutôt opposé ou plutôt favorable".

Sur l’item 1 : "Le contrôle par bracelet électronique des délinquants multirécidivistes pendant plusieurs années après la fin de leurs peines". On est là encore dans le biais. Le terme "contrôle" est trop valorisant pour l’utilisation du bracelet. Il aurait fallu utiliser "port". Même remarque concernant « délinquants multirécidivistes », qui aurait dû être éliminé au profit, par exemple, de « personnes condamnées plusieurs fois » (lui-même mieux que « plusieurs fois condamnées qui met l’accent sur la multiplication des condamnations). Un questionnaire doit être neutre, c’est un b-a-ba que l’IFOP ne peut ignorer, et a pourtant ignoré.

Item 2 : les "ressortissants d’origine étrangère"...Il ne manque plus qu’une cible peinte dessus. « Les français ayant eu une autre nationalité avant d’être français », aurait été moins discriminant, pour reprendre le genre d’euphémisation en cours chez nos élites.

Item 3 : "L’instauration d’une peine incompressible de 30 ans de prison pour les assassins de policiers et de gendarmes". Flagrante, l’intention de criminaliser les gens de la catégorie visée par cette modalité de réponse..."Assasins" est le terme le plus puissant sûrement, en terme de valeur. Inutilisable pour un enquêteur, semble-t-il dans un questionnaire qui ne doit influencer en aucune manière les répondants. "auteurs d’homicides sur la personne de policiers et gendarmes" paraissaît absolument indiqué, si la firme de Parisot voulait respecter la déontologie. Apparemment, non.

Item 4 : "Le démantèlement des camps illégaux de Roms" . Une vraie caricature..."illegaux" induit automatiquement ou presque la réponse. " Sa suppresssion dans un questionnaire neutre est indispensable, au profit de "camps non autorisés".

Item 5 : "d’atteinte à la vie". Le biais est ici plus fin. L’expression distante, clinique, neutre serait "homicide sur la personne d’un policier ou d’un gendarme". L’expression choisie convoque le respect de la vie en général. Tout le monde le partage. On croit répondre sur l’atteinte à une catégorie de population précise, on respecte en réalité, quasiment religieusement, la Vie.

Item 6 : "délinquants" est un terme superflu dans la modalité de réponse proposée, il connote péjorativement les "mineurs" Il n’aurait jamais dû être retenu.
Ce questionnaire semble vermoulu du sol au plafond.

Plus grave, dans le contexte actuel, après le maximalisme triste d’un président aux abois qui s’enfonce dans cet argent qui compte tant à ses yeux, produire un questionnaire aussi violemment propulsé en dehors des règles du juste, de l’équitable, du neutre, d’une déontologie dont se gargarise pourtant tout ces directeurs directeurs de machines à sondages, montre bien qu’il y a là véritablement intention de manipuler l’opinion.

Pour ceux qui espère en la démocratie, il y a matière là, à saisir dans un premier temps la Commission des sondages et ensuite la Justice. Le syndrome "Opinion Way" semble métastaser un peu trop pour que la Démocratie, la Citoyenneté ressortent sans dommages de la constante manipulation dont nous sommes victimes. Manipulation qui se déroule pendant que nous subissons déjà le rouleau compresseur médiatique dévoué à l’Etat-UMP et les charges des politiques.

Justice exigible egalement parce qu’outre un questionnaire totalement hors des clous, il faut quand même répondre aussi à une question liée, mais pas complètement sans doute...Comment peut arriver à des scores de dictature latino-américaines, après l’unanime ou presque indignation de la gauche et même de certains à droite qu’a suscité les discours lepénistes tout récents de Sarkozy de Nagy-Bocsa ?

La Commission des sondages existe, j’en suis à peu près sûr. J’ai vu son nom quelque part. Quelqu’un aurait-il de ses nouvelles ? Quelqu’un aurait aperçu par hasard un de ses avis, peut-être une sanction infligée à un sondeur ?...

Faute de réalité et d’action de la Commission des sondages, Il restera donc aux citoyens à s’adresser à la Justice, pour stopper la dérive, la République des coquins.

Pour une fois qu’un(e) juge d’instruction pourrait être nommée, ça ne se refuse pas.

TAIMOIN

En tous cas, c’est pas un sondage, c’est un tract. Brun.


Sondage Ifop/Le Figaro sur la sécurité : la méthode en question
Publié le 6 août 2010 par Augustin Scalbert sur Rue 89

Ce sondage controversé est-il « populiste » ? Technologie, choix des questions : enquête sur les conditions de sa réalisation.

On a rarement d'aussi grosses surprises le matin du 6 août : les diverses mesures sécuritaires proposées par Nicolas Sarkozy et l'UMP réaliseraient un « carton plein » chez les Français, même de gauche. C'est Le Figaro qui estime que le Président « cartonne », en commentant le sondage qu'il a commandé à l'institut Ifop.

Ce sondage a tellement « cartonné » dans les médias qu'il en a éclipsé un autre, réalisé en même temps par CSA et paru le même matin dans L'Humanité. Il comprend deux questions comparables, qui suscitent pourtant des réponses différentes.

Aidé par plusieurs spécialistes du secteur, Rue89 a voulu en savoir plus sur ce plébiscite estival, sur sa méthode et sur les questions posées.

Fait-on des sondages en plein été ?
L'étude réalisée par l'Ifop ponctue une séquence politique sécuritaire particulièrement nourrie par les responsables de la majorité. Cette stratégie, « les Français » consultés par l'institut de Laurence Parisot et le quotidien de Serge Dassault viennent la valider massivement : entre 55% et 89% d'opinions favorables aux sept propositions sécuritaires évoquées.

Mais ces 1 003 Français interrogés en août, en pleine trêve des plagistes, sont-ils vraiment représentatifs de leurs 65 millions de compatriotes ? Dans La République des Pyrénées, l'éditorialiste Jean-Michel Helvig relève « qu'un institut déroge à un usage de la profession qui veut que l'on ne réalise pas d'enquêtes d'opinion pendant les vacances en raison des difficultés d'échantillonage ».
En consultant les sites des principaux instituts de sondages politiques en France (Ifop, CSA, BVA, LH2, Ipsos, TNS-Sofres, OpinionWay), on réalise que seuls deux d'entre eux ont publié des études politiques ces derniers jours : Ifop, donc, et CSA (on y reviendra plus bas).

Frédéric Micheau, directeur adjoint du département opinion de l'Ifop, confirme un commandement « traditionnel » du sondeur :

« Tu ne sonderas pas du 14 juillet au 15 août. Mais la société a évolué, et il est aujourd'hui moins difficile de toucher les gens, notamment grâce à l'Internet mobile. Ces derniers jours, l'actualité a continué d'être forte. »

Les sondés de l'été sont une « population atypique »
La trêve des plagistes aurait vécu, donc. Joint pendant ses vacances, le directeur du département politique et opinion de CSA, Jean-Daniel Lévy, confirme :

« C'était plus compliqué il y a quelques années, avec le phénomène des juilletistes et des aoûtiens, qui présentaient des profils trop différents. Mais aujourd'hui, avec les RTT et les portables, ce n'est plus le cas. »

Le Dr Panel, blogueur spécialiste des sondages sur Rue89, considère au contraire que « seuls restent ceux qui ne peuvent pas partir en vacances. Il s'agit donc d'une population atypique ».
Pour le sociologue Richard Brousse, un des animateurs de l'Observatoire des sondages, « les gens restent difficilement joignables quand ils sont en vacances ». Le site Owni relève une contradiction entre l'Ifop et le Credoc sur le nombre de Français ne partant pas en vacances : 60% pour l'institut contre 30% pour le centre de recherche.

Les sondages par Internet sont-ils fiables ?
Le sondage Ifop pour Le Figaro est un Cawi. Késako ? Computer-assisted web interviewing, un système créé dans les années 90 pour les sondages commerciaux (la manne financière des instituts de sondage), et qui gagne peu à peu les sondages politiques.

Quand on lui demande les raisons de ce choix, Frédéric Micheau répond en préambule « qu'il n'y a pas de mode de recueil [de l'opinion, ndlr] idéal ». Il avance ensuite des raisons financières, avec une économie de 30% par rapport à un sondage téléphonique, ce qu'apprécie une presse en crise.

Mais alors pourquoi L'Humanité, journal si affaibli que des groupes comme TF1 ou Lagardère sont entrés dans son capital, a-t-il commandé un sondage par téléphone à CSA ?

Pour un concurrent de l'Ifop, « le téléphone est plus fiable »
Réponse du dirigeant de cet institut, Jean-Daniel Lévy, qui « refuse de commenter l'étude de l'Ifop » et ne se prononce que sur la sienne :

« Le téléphone nous paraît plus fiable qu'Internet pour les sondages à caractère politique, parce qu'Internet ne permet pas de représenter correctement des catégories comme les personnes âgées et les catégories populaires de la population. »

CSA réalise des Cawi en matière politique, mais ils restent pour l'instant confidentiels. « Nous les publierons quand nous serons sûrs de toucher correctement ces catégories », ajoute Jean-Daniel Lévy.

Pour inciter les internautes à répondre, CSA leur offre des cadeaux divers (livres, bons d'achat, week-ends…). Ce n'est pas le cas de l'Ifop, assure Frédéric Micheau.

Autre différence entre les deux instituts : CSA interroge des « panélistes » recrutés à l'avance et consultés en fonction de leur appétence à répondre à des sondages politiques par Internet, là où l'Ifop achète des listings d'adresses e-mail. Frédéric Micheau raconte :

« Nous envoyons environ 10 000 e-mails, sans indiquer le sujet du sondage. Si les gens cliquent sur le lien, ils passent ensuite des filtres sur leur sexe, leur âge, leur région. Puis ils répondent au questionnaire. Environ 1 sur 8 à 10 répondants est sélectionné pour le sondage. »

Il n'y a aucun moyen de vérifier que les gens disent vrai
Car les gens doivent ensuite entrer dans les quotas. Une fois qu'un quota (par exemple, homme de 35 à 49 ans vivant dans une commune de 2 000 à 20 000 habitants) est rempli, les autres personnes répondant aux mêmes critères sont refusées. Tant pis si elles pensent différemment. Les gens disent aussi de quel parti ils se sentent les plus proches. Il n'existe aucun moyen de vérifier que l'homme a vraiment 42 ans et vit dans une commune de cette taille.

Ensuite, pour parvenir à une représentativité de l'opinion des Français dans leur ensemble, les données sont projetées par rapport aux résultats du dernier scrutin national, à savoir la présidentielle de 2007.

Pour le sociologue Richard Brousse, cette méthode introduit plusieurs biais : les personnes n'ayant pas Internet ne sont pas consultées et, surtout, elle « constitue des échantillons spontanés ». En clair, « les échantillons sont constitués a posteriori, en fonction du nombre de répondants. Ces deux biais introduisent un problème de représentativité. »

Dr Panel estime que les gens qui répondent à ces questionnaires peuvent être « des internautes “surfréquentants” ». « Beaucoup de gens vont accepter de répondre parce que le sujet les intéresse », ajoute Richard Brousse.

Les questions sont-elles biaisées ?
Dans L'Humanité-CSA et Le Figaro-Ifop, deux questions portent sur le même sujet : les Roms et l'atteinte à la vie de représentants de l'ordre par des personnes d'origine étrangère.

Pour la seconde, Le Figaro parvient à 70% d'opinions « favorables » au retrait de la nationalité de ces dernières, et 50% chez les sympathisants de gauche. Dans L'Humanité, 57% de l'ensemble « des Français » trouvent que c'est « nécessaire », 37% de gauche et, séparément, 51% d'extrême gauche.
Même phénomène pour le démantèlement des camps de Roms : 79% « des Français » y sont « favorables » dans Le Figaro, et 60% à gauche. Dans L'Humanité, 62% « des Français » jugent cette mesure « nécessaire », 43% à l'extrême gauche et 45% à gauche.

« La réponse est dans la question ! »
Pourquoi ? D'une part, les questions sont libellées très différemment. Elles sont beaucoup plus longues et précises dans L'Humanité, qui ne s'est intéressé qu'à ces deux questions et à plusieurs de leurs implications.

D'autre part, les questions de l'Ifop/Le Figaro sont « biaisées », selon nos deux experts. Ainsi, sur les Roms, « êtes-vous très favorable, plutôt favorable, plutôt opposé ou très opposé [au] démantèlement des camps illégaux des Roms ? »

« La réponse est dans la question ! », remarque Richard Brousse. « Comme les camps sont illégaux, on pourrait être étonné que 100% des sondés n'aient pas répondu favorablement. »

Frédéric Micheau répond que « si on n'avait pas précisé qu'ils sont illégaux, on aurait introduit un biais ». On lui demande pourquoi la question n'était pas, par exemple, de savoir si les gens sont favorables au respect de la loi qui oblige certaines communes à aménager des terrains d'accueil pour les Roms :

« C'est vrai, on aurait pu la poser. Mais on est obligé de faire des choix, et tous les choix sont mutilants [sic]. »

Proposées par l'institut, les questions font ensuite l'objet d'une discussion avec son client, le journal.
Autre curiosité, l'absence de possibilité de ne pas se prononcer. Le fameux « NSP ». Réponse de l'Ifop :

« Par téléphone, nous avons en moyenne 5% de NSP. Sur Internet ou dans les sondages par papier, ce taux est trois ou quatre fois supérieur, car c'est un “item-refuge” [un élément-refuge, ndlr] pour le sondé. Ça équivaut donc à recueillir des opinions faussées, et ce serait une faute professionnelle. »

« Les sondés par Internet sont des gens impliqués »
Jean-Daniel Lévy, de CSA, constate exactement le contraire :

« Il y a un peu moins de NSP que par téléphone, parce que les sondés par Internet sont des gens impliqués, qui portent un regard plus acéré sur la politique. »

Mais les méthodes des deux instituts (e-mails ou panel) sont différentes.
Dr Panel estime que ce sondage est « populiste » :

« A cause de la manière dont les questions sont rédigées, c'est la gravité des problèmes qui est plébiscitée, pas la pertinence des solutions proposées. Evidemment que je suis contre l'excision et l'assassinat de policiers ou de gendarmes, c'est horrible ! »

La méthode pèche, donc. « Mais rien ne prouve que les gens sondés par l'Ifop aient des opinions différentes des autres Français », conclut Dr Panel.
Illustrations : le sondage Ifop/Le Figaro sur la sécurité ; le dessin de Chimulus



Annonces sécuritaires: IFOP a déconné
Publié le 6 août 2010 sur OWNI

Un sondage IFOP révèle qu'une majorité de Français approuve la récente crispation sécuritaire de Nicolas Sarkozy. Mais est-ce vraiment le cas ? Décryptage et retour sur ces sondages qui nous inquiètent.

Ce matin, Le Figaro a dévoilé les résultats d’un sondage IFOP (pdf) dont les résultats n’ont pas fini de surprendre et de susciter la polémique, affirmant qu’une majorité de Français soutiennent le récent virage sécuritaire entrepris par Sarkozy.

La méthodologie du sondage nous a surpris.
En effet, on n’y retrouve pas les habituels ‘ne se prononce pas’ qui permettent de jauger l’intérêt que portent les sondés à une question. Vérification prise auprès de l’Ifop, il s’avère que les sondages auto-administrés de ce type, où les sondés répondent eux-mêmes aux questions, en l’occurrence devant leur ordinateur, ne comportent jamais de case ‘nspp’.

L’Ifop explique sans rire que ça permet d’éviter un trop grand taux d’abstention.
Devant un sondeur, les personnes interrogées ont tendance à donner un avis, même s’ils n’en ont pas vraiment. Parce qu’on a toujours l’air tarte quand on ne sait pas répondre aux questions. Sur internet, le sondé est libéré de cette pression, si bien qu’on l’on y constate une « explosion » du nspp. « Les taux peuvent dépasser les 10, 15, 20 points » contre 3 à 8 sur les autres types d’enquête, explique l’Ifop.

Les mauvaises langues diront que les instituts de sondages forcent des gens sans opinion à en donner une, préférant ainsi fausser les résultats pour économiser les coûts que nécessiterait un élargissement de l’échantillon. Et elles n’auront pas tort.

D’autres biais affaiblissent ce sondage

La méthode, tout d’abord. Tous les français ne sont pas connectés à internet. L’Ifop nous assure que les résultats sont redressés pour les 25% de non-internautes (31% selon l’ITU). La période, ensuite. Comment contacter les estivants ? L’Ifop assure que 60% des Français ne partent pas (30% selon le Credoc, mais passons) et que ceux qui partent restent connectés. Est-ce qu’ils possède des statistiques sur le nombre de personnes ayant répondu de leur iPhone, ou ceux dont l’adresse IP montre une localisation différente de leur ville de résidence? L’Ifop n’en voit pas l’intérêt mais assure que “des vacanciers ont participé à l’enquête”.

Les vacanciers sont souvent plus riches, plus éduqués et plus sensibles aux libertés individuelles, de l’aveu même de l’Ifop. Leurs réponses auraient sans doute détonnées avec celles des autres sondés. Espérons que les 2 biais (les non-connectés d’une part, les vacanciers de l’autre) s’annulent. Mais la chance et les statistiques se marient mal ensemble.

L’Ifop assure enfin que toutes les questions posées ont été publiées.
Ça ne nous empêchera pas de critiquer la manière dont elles ont été rédigées. “Êtes-vous favorables au démantèlement des camps illégaux de Roms?” revient à dire “Voulez-vous que la loi soit appliquée?”. Il aurait pu être intéressant de demander aux sondés si ils étaient favorable à une sanction pour les préfets qui n’ont pas appliqué la loi du 5 juillet 2000 [PDF] qui leur permet d’obliger les maires à construire des aires d’accueil (préfets qui, soit dit en passant, dépendent directement du gouvernement).

Le questionnaire donné au sondé l’installe à chaque nouvelle question dans un climat très anxiogène. On commence dès la première question avec le terme “multirécidiviste” qui permet de faire peur. Mais de qui parle-t-on ? Le terme est très flou. On enchaîne ensuite avec les termes de “polygamie”, “incitation à l’excision”, “assassins de policiers”, ”camps illégaux”, “atteinte à la vie d’un policier”, “délinquants”. Il faut beaucoup de volonté pour ne pas être mal à l’aise à la fin de ce questionnaire…

Ce sondage Ifop est aussi peu fidèle à la réalité que ses multiples cousins qui tentent de construire une opinion publique, le plus souvent à l’image de celle souhaitée par le gouvernement.

Petit historique des manipulations sondagières

Le Pen au second tour ? On n’avait pas prévu !
Lors de la campagne électorale des Présidentielles de 2002, aucun sondage rendu public avant le 1er tour du scrutin ne prévoyait Le Pen au deuxième tour. En effet, souvent la marge d’erreur des sondages ne permet pas d’établir de conclusion définitive. Or beaucoup d’interprétations ne prennent pas en compte cette marge. Cette erreur d’interprétation était d’autant plus à éviter en 2002 que le nombre de sondés qui se déclaraient indécis était toujours très important. C’est comme ça que tout le monde a pris le duel Chirac-Jospin comme acquis.
Un allié (in)attendu dans la bataille Hadopi
En 2008, en pleine bataille HADOPI, un sondage IPSOS proclamait qu’une très large majorité de Français étaient favorables à la riposte graduée prévue par la haute autorité. Un sondage qui avait en fait été commandé par la société civile des producteurs phonographiques (SCPP), organisme extrêmement favorable à la dite loi. Mieux, elle avait même rédigé les questions que l’institut a posé aux sondés, qui devaient peu ou prou répondre à cette question : “voulez-vous faire de la prison et/ou payer une lourde amende pour téléchargement illégal ou écoper d’un avertissement par mail éventuellement assorti d’une coupure de votre accès Internet ?”.

“L’affaire Opinion Way”
En juillet dernier, un rapport de la cour des comptes sur le budget de la présidence de la République avait pointé la position ambigüe de l’Elysée vis-à-vis de l’institut de sondage Opinion Way. En effet, ce dernier avait facturé près de 1,5 millions d’euros d’études à la présidence (en passant outre le code des marchés publics). Problème : les résultats de ces sondages étaient étonnamment proches – voire identiques – à ceux publiés dans les grands médias, notamment dans Le Figaro et LCI. Outre donc l’inutilité de la dépense pour le contribuable, les résultats des dits sondages n’aident pas à lever le soupçon qui pèsent sur leur financement. Le tout posant la question de l’indépendance et de l’objectivité de telles études d’opinions vis-à-vis du pouvoir.

Les Français sont-ils vraiment prêts à travailler plus longtemps ?
Au début de cette année, le JDD publiait le résultat d’un sondage sur l’allongement de la durée de cotisation de retraite et titrait les Français prêts à travailler plus longtemps. L’hebdomadaire se basait sur les réponses à la question « Jusqu’à quel âge seriez-vous prêt à travailler pour avoir une bonne retraite ? ». On pouvait déjà mettre quelque peu en doute les résultats du sondage. En effet la fameuse question était posée logiquement aux seuls actifs du panel mais réduisant l’effectif à 522. Mais comme le démontrait le docteur Panel sur Rue89, les résultats du sondage n’étaient pas tout à fait ce qu’annonçait le JDD. En effet, en comparant les résultats des questions « D’après vous, à quel âge serez-vous contraint de partir à la retraite ? »  (moyenne des réponses 64,7 ans) et  « Jusqu’à quel âge seriez-vous prêt à travailler pour avoir une bonne retraite ? » (moyenne des réponses 62 ans), Rue89 conclue que « les français sont prêts à s’arrêter de travailler 2,7 ans avant l’âge auquel ils pensent devoir partir pour toucher « une bonne retraite » ! »

Et tant d’autres…
La liste des sondages sujets à caution est malheureusement longue. Récemment, un sondage réalisé par BVA affirmait que 6 Français sur 10 défendaient la proposition de loi du sénateur Jean-Louis Masson sur l’anonymat des blogueurs. Outre le fait que, comme le rappelle le journaliste David Abiker, les sondés n’auraient probablement pas répondu si ils n’avaient pas été anonymes, les questions étaient très biaisées et posées à un public ne maîtrisant pas forcément toutes les implications et les enjeux du domaine en question.

Il y a quelques semaines sur Rue89, le blogueur Le Yéti a judicieusement pointé du doigt le pouvoir de “faiseurs d’opinions” détenus par les instituts de sondages, et nous explique comment ils “favorisent” certaines personnalités politiques, faisant fi de l’importance réelles de certaines personnalités dans le paysage politique.

Taper sur la nouvelle politique ultra-sécuritaire du président, un loisir de gauchiste ? Pas forcément, si on en croit le dernier edito du New-York Times, qui dénonce aujourd’hui une véritable “fièvre anti-immigrés“. Y faut pas déconner.
__
Crédit Illustration : T0ad.
Crédits Photo CC Flickr: Dunechaser.




La critique de sondages par OWNI, ou lorsque la soucoupe se plante...
Publié le 9 août 2010 sur Statosphere.fr

Autant lorsque Jean-François Kahn ou Ségolène Royal décide de "se faire" un institut de sondage, l'effet de surprise est quasi nul : après tout, la discréditation des sondages est un fond de commerce et une pratique outrageusement éprouvée. Il faut bien vendre des bouquins, et en faire la promotion chez Ruquier. En revanche, si Owni se prête à son tour à ce jeu simplet, alors j'avoue que la donne n'est plus la même : on ne peut pas se targuer de décrypter l'information tout en s'attaquant à des méthodologies complexes, ne laissant (quoi qu'on en dise et contrairement à la croyance devenue populaire) strictement rien au hasard. Bon nombre de trolleurs qui ont pour passe-temps de s'attaquer aux instituts de sondage s'emploient à les démonter systématiquement, en tirant à boulet rouge sur tout ce qui leur semble, de près ou de loin, "anormal".

Owni n'est pas de cette trempe et m'a toujours habitué à des articles brillants, éclairés et à la valeur ajoutée indiscutable. Le décryptage est une matière compliquée, nécessitant un recul de tous les instants et une excellente maîtrise des sujets traités. Si Owni est incontestablement la référence du journalisme de données au sein de la blogosphère française, force est d'avouer que le magazine s'est copieusement planté dans son article "Annonces sécuritaires : IFOP a déconné", lançant une véritable fronde contre IFOP en particulier et les méthodologies sondagières en général. Ainsi l'article se révèle être une réplique mi-fadasse mi-éclairée de ce qu'on peut déjà trouver sur les très médiocres Opiniongate's Blog et Observatoire des sondages, ou encore dans L'ivresse des Sondages d'Alain Garrigou.

Or, tous ces gens ont au moins un point commun : ils n'ont vraisemblablement effleuré qu'une poignée des enjeux conditionnant le fonctionnement d'un panel d'institut de sondage. Non pas, bien sûr, qu'il soit fondamental de travailler en institut pour être capable d'en parler, mais que certains aspects du propos tiennent trop peu la route pour assurer la crédibilité du reste. Ayant été chargé de traitement statistique pendant huit ans, au sein de deux instituts de sondage, j'ai eu largement l'occasion de travailler sur des panels auto-administrés (essentiellement postaux et internet, mais aussi téléphoniques) où les sélections d'échantillon sur quotas et les redressements en tout genre étaient mon quotidien. J'ai également été programmeur de questionnaires Internet pour un de ces instituts. Par ailleurs, je m'exprime librement à ce sujet, étant actuellement à la recherche d'un emploi dans un autre secteur des statistiques.

La vérité sur les biais des différents modes de recueil
Il existe essentiellement quatre modes de recueil des données : le face à face, le postal, le téléphonique et Internet. Aucun de ces modes ne peut se targuer d'être exempt d'aucun biais : ils présentent tous des avantages et des inconvénients de taille.

  • Le face à face est un mode de recueil très lent, complexe et de nature à déranger le sondé : capté dans la rue ou directement à son domicile, le contexte est rarement propice. Il est donc exclu d'aborder des sujets touchant à son intimité ou à ses convictions politiques. Le taux de remplissage est souvent mauvais, le sondé perdant vite patience.
  • Le courrier est un mode de recueil lent lui aussi, adapté à des questionnaires plus longs ou aux questions ouvertes, auquel les personnes âgés répondent bien mieux que les jeunes générations. Par ailleurs, en cas de mauvais taux de retour, il est souvent trop tard et trop cher pour relancer une vague d'envois visant à combler un éventuel manque sur un quota.
  • Le téléphone est un mode de recueil rapide et offrant une sensation d'anonymat assez sécurisante au sondé : sur des questions sensibles, nécessitant un aveu, il répondra plus spontanément que par courrier et se livrera plus facilement qu'en face à face. Les chômeurs et les personnes âgées sont généralement sur-représentés.
  • Enfin, Internet est un mode de recueil assez pratique car très maléable : à l'instar du téléphone, il est possible de suivre en temps réel l'état d'avancement des quotas de l'étude. Les sous-représentations sont donc instantanément détectées. Si les plus âgés sont beaucoup plus difficiles à sonder, cela reste néanmoins de moins en moins vrai.

Internet, un mode de recueil aussi bon que les autres
Au final, les pondérations sont bien moins conséquentes par Internet que par courrier. C'est aussi pour cette raison que de plus en plus souvent, les instituts de sondage proposent de mener des terrains sur des modes de recueil mixtes, Internet et téléphone, avec des résultats excellents. Mais dans tous les cas, les redressements ne sont pas colossaux et n'induisent pas de problème de représentativité irrémédiable, car les panels d'institut sont régulièrement renouvelés et se voient réinjectés prioritairement des populations déficitaires (il existe des services spécialisés, "fournisseur" de panélistes d'un certain âge ou correspondant à une certaine catégorie socio-professionnelle).

De fait, compte tenu des enjeux, les clients des instituts de sondage souhaitent de plus en plus souvent connaître l'opinion et les habitudes des internautes. Internet, en tant que mode de recueil, devient alors une bénédiction puisqu'on ne cherche plus à être représentatif de la population d'un pays, mais des internautes d'un pays, ce qui n'a plus rien à voir. Ainsi, l'échantillon pourrait pratiquement être construit naturellement puisque sélectionner 1000 internautes en respectant des quotas reviendrait théoriquement à les sélectionner aléatoirement. Mais même dans ces cas là, la sélection aléatoire est proscrite et on applique des quotas afin de maximaliser la précision des résultats.

Une autre problématique d'Internet est qu'il est assez difficile de connaître le véritable profil des internautes d'un pays, puisqu'il n'existe pas à proprement parlé de recensement d'internautes (contrairement au recensement classique de la population réalisée par l'INSEE, lequel, malgré les nouvelles méthodes d'extrapolation, n'a pas d'équivalent en terme d'exhaustivité). Chaque institut de sondage dispose de son propre panel prétendument représentatif et dépassant allègrement la dizaine de milliers d'individus. Or, si on compare les différentes structures de panel d'internautes, d'un institut à l'autre, on constate qu'elles sont très proches. Il n'est donc pas rare que les instituts comparent leur structure : ils savent que cela leur permet d'affiner leur représentativité. On les compare également aux panels "Site-Centric", comme celui de StatCounter Global Stats : sans être parfait, ce type de panel contribue à améliorer la qualité d'un panel d'internautes.

Pour aller plus loin :

Les 10 mauvaises interprétations dans l'article d'OWNI
1 - « La méthodologie du sondage nous a surpris. En effet, on n’y retrouve pas les habituels "ne se prononce pas". »
Les cases NSPP dépendent directement de la demande du client : il n'y a aucune règle absolue là dessus, à moins qu'il s'agisse d'un baromètre, auquel cas on prend soin de ne pas changer la méthode en cours de route. Les NSPP sont simplement introduites ou non aux tris élaborés selon les désidératas du client. Par ailleurs, enfonçons des portes ouvertes : sur Internet, ce sont ceux qui veulent donner leur avis qui le donnent. Ceux qui ne se prononcent pas n'ont tout simplement pas cliqué sur le lien de l'enquête.

2 - « La méthode, tout d’abord. Tous les français ne sont pas connectés à internet. »
Internet ne biaise pas plus les résultats qu'un autre support. Mieux, il reste le meilleur recueil en période estivale puisqu'il fonctionne sur un support nomade. Le téléphone portable, lui aussi parfaitement nomade, induit les mêmes biais qu'Internet (jeunes générations sur-représentés, vieilles générations sous-représentées, localisation géographique compliquée), on en retirerait donc qu'un inconvénient de taille : le coût des communications téléphoniques.

3 - « L’Ifop nous assure que les résultats sont redressés pour les 25% de non-internautes (31% selon l’ITU). »
De fait, aujourd'hui, sauf cas très particulier (tests de produits, études qualitatives), toutes les études quantitatives reposent nécessairement sur des échantillons finaux construits selon la méthode des quotas ! Mettre le doigt sur un écart de 6% entre les chiffres de l'ITU et ceux de l'IFOP ne reviendrait guère qu'à contester un petit dixième de pourcent sur le résultat d'un tri marginal, d'autant que les chiffres de l'ITU ne reposent, eux non plus, sur rien d'exhaustif, ni de parfait.

4 - « Comment contacter les estivants ? L’Ifop assure que 60% des Français ne partent pas (30% selon le Credoc, mais passons) et que ceux qui partent restent connectés. »
Pour le coup, l'argument a de quoi surprendre. Owni frise carrément la mauvaise foi ! De quoi parle-t-on ? Du nombre total de français partant en vacances durant toute l'année (chiffre du CREDOC avancé par Owni), ou du nombre de français en vacances au moment de l'enquête IFOP ? Bien entendu, on est plus prés des 60% selon l'enquête sur les conditions de vie de l'INSEE.

5 - « Est-ce qu’ils possèdent des statistiques sur le nombre de personnes ayant répondu de leur iPhone, ou ceux dont l’adresse IP montre une localisation différente de leur ville de résidence ? »
N'a-t-on pas suffisament marteler en France que l'adresse IP n'est pas une donnée fiable ? Dans le cas présent, d'autant plus sur le réseau 3G des téléphones portables, plusieurs millions d'internautes (au moins tous les clients Orange, et en grande partie des possesseurs d'iPhone justement) se connectent via une IP dynamique. Croyez-vous qu'il soit possible rapidement et sans autorisation spécifique d'analyser des adresses IP quand on est un institut de sondage ? Pour quelle fiabilité et quel résultat ?

6 - « Mais la chance et les statistiques se marient mal ensemble »
En effet ! Il n'a d'ailleurs jamais été question de cèder la moindre parcelle à « la chance » dans le champs du traitement de données statistiques. Je vous rassure, donc : la chance n'est pas une matière dispensée dans les IUT et IUP de statistiques ou même à l'ENSAE. Plus sérieusement, l'aléatoire n'est que très exceptionnellement utilisé comme modèle pour constituer des échantillons.

7 - « Il aurait pu être intéressant de demander aux sondés si ils étaient favorable à... »
Certes, la remarque est pertinente mais le sondeur n'est pas le client ! En l'occurence, le commanditaire étant Le Figaro, on peut imaginer aisément ce que cela implique sur l'orientation politique des questions. 

8 - « ...revient à dire... »
Une question est une question ! On touche du doigt le problème de l'interprétation quand on en vient à dire qu'une question X « revient à » se poser une autre question Y. Restons pragmatique ! Si une question est mal posée ou ambigüe, c'est effectivement un problème auquel il aurait fallu s'attaquer en amont. On n'y peut plus rien une fois le terrain finalisé. Au passage, pourquoi OWNI ou Marianne ne commanderaient-ils pas un sondage en bonne et due forme, en posant les questions qu'ils estiment légitimes et adaptées ? Comme le font d'ailleurs régulièrement le Parti Socialiste, la Mairie de Paris ou Le Monde en s'adressant à... Opinion Way (!).

9 - « Cette erreur d’interprétation était d’autant plus à éviter en 2002 que le nombre de sondés qui se déclaraient indécis était toujours très important. »
Alors on le savait ? Si l'information de cette indécision était connue, alors c'est qu'elle était fournie par les instituts de sondage. Pourquoi donc les journalistes ne se la sont pas appropriée ? Et pourquoi reporter la faute sur les instituts de sondage si les journalistes ont joué l'intox !? Pour information, le problème s'était déjà posé lors des présidentielles de 1974. Si les journalistes s'étaient souvenus que ces sondages ont pour vocation d'être des révélateurs de tendance, alors probablement auraient-ils "démasqué" la nette croissance du vote Front National au cours des dernières semaines précédant le premier tour des présidentielles de 2002.

10 - « Mieux, elle avait même rédigé les questions que l’institut a posé aux sondés, qui devaient peu ou prou répondre à cette question... »
Oui, c'est tout ce qu'il y a de plus classique, et je me répète : les clients posent les questions, ils sont les commanditaires et apportent évidemment toute la matière première du sondage. De plus, compte tenu de la nature de certains sondages (ceux de type Omnibus), il est probable que l'institut n'ait de toute façon pas le temps matériel pour réviser l'intégralité du questionnaire. Puis, généralement, on le prie de ne pas le faire, tout simplement.

Le sempiternel amalgame entre les métiers, les types de données...
Les critiques de sondage tombent systématiquement dans les mêmes travers : on amalgame les méthodologies, les questions, les chiffres (données à priori objectives, fournies en tant que telles), avec les analyses de tout poil qui en sont faites (analyses forcément subjectives). On confond le pragmatisme des questions et des résultats chiffrés, avec l'interprétation sujette à caution qui en est faite en aval : on mélange les métiers (institut de sondage, analyste, journaliste, client, prestataire, commanditaire...), les données à analyser (tantôt on prendra un chiffre dans un tableau, tantôt une interprétation bancale qu'on prendra soin de mettre sur le même plan). Puis, on se contente de pointer l'institut du doigt, responsable sans distinction de tous les maux.

Car, comme d'habitude dans ce type d'incrimination, on voit la paille dans l'oeil du sondeur sans que le journaliste voit la poutre qu'il a dans le sien : un des plus forts biais des sondages est relatif aux erreurs d'interprétation, mais aussi aux partis pris des journalistes politiques, métier sur lequel il y aurait également beaucoup à dire en matière de conflit d'intérêt. La preuve : quand les résultats d'une enquête n'arrangent pas ses commanditaires, ça donne ce fameux sondage IPSOS sur les pratiques de piratage, très très peu relayé.

Pourquoi incriminer l'institut de sondage lorsqu'on évoque le manque de neutralité des questions posées ? C'est comme si vous trouviez logique qu'un publicitaire refuse un slogan qui sonne bien sous prétexte qu'il est ambigu ou mensonger. Les sondages n'ont jamais eu pour vocation d'être non partisan, et s'intègrent désormais naturellement dans les campagnes de communication. Le sondeur n'a pas à juger le bien fondé d'une question. On peut éventuellement le déplorer, mais il me semble malhonnête d'en tenir rigueur à l'institut de sondage qui vend une prestation de conseil et met ses panélistes à la disposition du client. Le commanditaire et l'analyste sont libres d'estimer si les données sont à la hauteur de ce qu'ils essayent de prouver. Les aberrations qui en résultent ne sont pas le fait des instituts.

Conclusion


L'institut de sondage joue certes son rôle de conseil, mais il est avant tout là pour se porter garant de la fiabilité des résultats, quand bien même les questions seraient non pertinentes ou mal posées. L'institut n'est pas tout puissant : il est souvent pieds et poings liés aux désidératas du client, dans un contexte concurrentiel très fort. La super caste des professeurs en science politique, sorte de lobby anti-sondage, use de leur verve outrancière et mène la fronde, refusant catégoriquement d'entrer dans la sphère des considérations techniques. Et se défendre attise systématiquement la suspicion... De trop rares spécialistes (comme le très fiable Dr Panel sur Rue89) aiment encore soulever le capot et comprendre comment ça marche.




De l'art de la critique et de l'intérêt des sondages
Publié le 10 juillet 2010 sur PR2peer.net

Pour Voltaire la politique était un art avant d'être un métier. Sa maxime trouve bien à s'appliquer à l'étude de l'opinion et à son outil le plus connu et répandu : le sondage. Si le résultats d'un sondage réalisé selon les règles de l'art sont souvent acceptés et utilisés, les sondeurs de métier souffrent d'une réputation en dents de scie. La France serait parmi les plus grands producteurs de  sondages d'opinion au monde (près de 300 pour la seule campagne présidentielle de 2007), ce qui a donné naissance à une critique empirique sur leur trop grand rôle dans le traitement de l'actualité par les journalistes et les médias et, de manière plus conceptuelle, sur leur propension à  fabriquer l'opinion plus qu'à la révéler en toute objectivité.

A-t-on raison de critiquer les sondages ? Sont-ils réellement inutiles voire manipulateurs ? Tâchons de distinguer les différentes critiques adressées aux sondages pour mieux réhabiliter leur rôle.

Quand les parties au débat critiquent partialement les sondages
Il est une constante dans le débat public : vous trouverez toujours un acteur de celui-ci pour clouer au pilori sondages et sondeurs. Rares sont ainsi les femmes et hommes politiques, militants ou autres parties au débat public à n'avoir jamais basculé de la revendication des conclusions d'un sondage à la réfutation d'un autre selon que les résultats étaient favorables ou non à leur thèse. Il n'est pas rare d'entendre qu'il faut se méfier des sondages, qu'ils donnent à tort raison à son opposant, comme il n'est pas rare d'entendre que tel sondage établit clairement le soutien des Français à la politique du Gouvernement ou aux propositions de l'opposition, le choix du propos dépendant du moment et bien évidement du bord politique de l'auteur. Filons donc une courte métaphore pour donner plus de poids et plus de clarté à mon propos. Dans le cadre d'un procès on ne laisse pas à l'une des parties le soin de réfuter leur juge ; on leur reconnaît la faculté de le demander, mais on leur refuse le droit de statuer sur cette question pour des raisons évidentes de partialité. On ne saurait être juge et partie à la fois. Et pourtant, ce sont bien les parties au débat, attachées à une thèse plutôt qu'à ses alternatives, qui assènent régulièrement des jugements péremptoires sur la fiabilité des sondages. Que l'on pense par exemple à François Bayrou se satisfaisant silencieusement de l'évolution des sondages avant l'élection présidentielle de 2007 pour accuser ces mêmes sondeurs en 2009. Quand les sondages lui furent favorables, il n'y trouva rien dire. Quand les sondages se firent plus sombres, il accusa les sondeurs. Cette attitude est malheureusement tout sauf isolée. Le récent sondage de l'Ifop sur les retraites l'a encore illustré, s'attirant l'opprobre des opposants au Gouvernement, mêmes opposants qui revendiquent pourtant au même instant les résultas des sondages laissant entrevoir une désapprobation des Français vis-à-vis de la réforme projetée par le Gouvernement.

Il faut reconnaître à Dominique de Villepin d'avoir, à une occasion du moins, ouvert la voie à une attitude sans doute moins hypocrite vis-à-vis des sondages en leur appliquant un dicton corrézien : "Il faut mépriser les hauts et repriser les bas". Cela n'y paraît pas nécessairement au premier regard, mais cette phrase résume parfaitement la prétention des sondages : donner un aperçu de l'opinion d'une population sur un sujet donné à un instant donné. Il ne faut jamais oublier que les sondages ne sont que les instantanés d'un rapport de force ou d'une cristallisation par définition passagère. Dès lors, un sondage n'épuise jamais le débat public, il en donne les bases et permet d'en suivre l'évolution. Il revient à chaque partie, ainsi consciente du chemin que sa thèse doit encore parcourir ou de celui déjà accompli, de  trouver les mots pour convaincre du bien-fondé de sa thèse. Plutôt que de dépenser de l'énergie à combattre les sondages, les acteurs du débat public seraient plus souvent inspirés d'en dépenser à approfondir leurs connaissances sur les objets du débat afin de mieux articuler leurs thèses...

Quand les journalistes déforment les sondages
Si l'on ne reconnaît pas aux parties au débat public la légitimité de critiquer les sondages, à qui échoit ce rôle. Nonobstant l'existence d'organisations professionnelles nationales et internationales ayant édicté des  règles déontologiques extrêmement rigoureuses (notamment pour les  sondages d'opinion rendus public), on ne saurait dire que les sondeurs sont les moins partiaux des juges eu égard à la fiabilité des sondages qu'ils ont eux-mêmes produits. Aussi, c'est tout naturellement que nos regards se tournent vers les journalistes en tant qu'observateurs et qu'analystes du débat public.
A quelques rares exceptions l'on déchante pourtant rapidement, tant les journalistes sont prompts à interpréter grossièrement les sondages et à méconnaître les principes méthodologiques et statistiques de base qui les gouvernent. Peut-être les journalistes se servent-ils trop des sondages comme des supplétifs du travail d'enquête et d'investigation, en venant ainsi à leur faire dire plus qu'ils ne le peuvent en réalité. Ainsi en est-il des commentaires disant que tel personnage, crédité de 53% d'opinions favorables, est devant tel autre crédité de 51% alors que la marge d'erreur de près de 3% qui s'applique le plus souvent situe les deux personnages au même niveau. De même le fait de ne retenir qu'une question dans un sondage plutôt que d'analyser les nuances qui se dessinent en filigrane des questions prises dans leur totalité. En conséquence les journalistes ne jouent-ils que modérément leur rôle de filtre voire de juge de véracité des sondages, préférant s'en servir à dessein pour appuyer eux aussi leurs thèses sinon leurs angles...

Quand les sondeurs sont soupçonnés de partialité
Ce billet ne serait ni équilibré ni même complet s'il faisait l'impasse sur la critique adressée aux sondeurs. Ces derniers sont souvent accusés de partialité à raison de la nature commerciale de leurs activités (qui les conduirait selon certains à vouloir faire plaisir à leurs clients, politiques à l'occasion) voire de leurs liens avec le pouvoir politique et économique.

Certains instituts publieraient ainsi des sondages cherchant à soutenir les pouvoirs publics ou les entreprises qui les auraient commandés plus qu'ils ne chercheraient à refléter de manière neutre et objective l'état de l'opinion sur un sujet donné (voir par exemple la  polémique née de la publication par le Figaro de sondages réalisés par l'institut Opinion Way qui auraient été financés par l'Elysée). Cette critique paraît peu pertinente dans la mesure où tout sondage publié doit être accompagné d'explications claires et transparentes sur la méthodologie utilisée (échantillon, mode de recueil, questionnaire). Dès lors, il est aisé de démasquer toute tentative d'orientation des résultats en scrutant ces éléments de près, ce que beaucoup ne manquent pas de faire et que nous ferons dans quelques lignes.

Par ailleurs certains instituts appartiennent à des personnalités parties prenantes du débat public (l'Ifop avec Laurence Parisot, présidente du MEDEF) ou à des groupes auxquels on prête des connivences avec les pouvoirs politiques (l'institut CSA appartenant à Vincent Bolloré, PDG du groupe éponyme). Sans nier la nécessaire transparence requise de la part de ces entreprises dont les activités sont au coeur de la vie démocratique, ces critiques s'apparentent bien davantage à des procès d'intention qu'à des conclusions vérifiées. D'une part elles font fi de la rigueur professionnelle et l'éthique avec lesquelles la plupart des professionnels des études abordent leur métier. D'autre part, et de manière plus cynique, un grand nombre d'instituts d'études réalisant des sondages d'opinion n'ont aucun lien avec des groupes liés au monde politique (tels Ipsos qui est côté en bourse, Viavoice ou BVA qui sont indépendants) et tous réalisent une partie extrêmement minoritaire de leur chiffre d'affaires (entre 5 et 20% tout au plus) avec les sondages d'opinion. Dans de telles conditions, l'éventuelle emprise du monde politique sur les instituts d'études est à relativiser, ce qui nous conduit à nous intéresser de plus près aux causes réelles et sérieuses qui peuvent faire des sondages des outils de travestissement ou de fabrication de l'opinion.

Quand les sondages induisent les réponses, souffrent de biais et d'aléas
Comme toute méthode scientifique - a fortiori de sciences humaines - les sondages souffrent d'aléas, d'approximations et d'un caractère équivoque. Loin de toute volonté monographique sur les nombreuses imperfections dont souffrent les sondages (voir l'excellent Monde des Etudes pour un décryptage détaillé des techniques d'étude), attachons-nous à celles qui concentrent l'essentiel des critiques.

Des échantillons non représentatifs ?
Avec la montée en puissance des modes de recueil par Internet (également appelés CAWI) en lieu et place des modes téléphoniques (CATI) ou face à face (CAPI) de nombreuses voix se sont élevées pour pointer du doigt l'impossibilité de constituer un échantillon représentatif de la population française en se reposant sur Internet (certaines catégories de population n'y accédant pas). Que ces voix se rassurent, la fracture numérique n'a eu de cesse de se résorber ces dernières années, tant est si bien que la structure de la population internaute (âges, niveaux de revenu, etc.) est aujourd'hui similaire à celle de la population française dans son ensemble. On peut encore supposer que certains profils d'individus sont plus enclins que d'autres (les utilisateurs les moins assidus) à rejoindre des panels online et à participer à des études, ce qui laisserait entier le problème de la représentativité des sondages s'appuyant sur ce mode de recueil. Outre la diversification des techniques de recrutement de participants à des panels online, les instituts d'études ont recours à des techniques dites de redressement consistant à corriger les biais induits par le mode de recueil en donnant plus de poids aux réponses des individus correspondant à des profils sous-représentés (par exemple les agriculteurs). D'autres problèmes liés à la constitution des échantillons existent, comme la baisse constante des taux de réponse (par téléphone, en face à face ou sur Internet lorsqu'il n'y a pas d'incitation financière, sous forme de cadeaux, à le faire) ou la difficulté de joindre les possesseurs de téléphones mobiles qui n'ont pas de ligne fixe. Si tous ces points posent clairement la question du niveau de validité des sondages (de tout à fait valides à plus ou moins valides), ils ne constituent en rien des tentatives de manipulation de l'opinion.

Des questions inductives ?
Venons-en à la question la plus litigieuse, récemment rappelée à l'occasion d'un sondage de l'Ifop sur les retraites auquel certains ont reproché la nature trop positive des affirmations soumises, pour avis, aux sondés. Dans la mesure où  certaines recherches dans le champ de la psychologie tendent à établir que les individus sont enclins à obéir plus qu'à désobéir, il est probable qu'un sondé soit plus enclin à répondre par la positive à une question (posée par un sondeur auquel on peut prêter une certaine expertise voire une forme d'autorité) que par la négative. Dès lors, l'affirmation "Le Gouvernement est déterminé à maintenir le système de répartition français" est susceptible d'entraîner un taux de réponses positives (61% dans le cas du sondage Ifop précité) plus élevé que le taux éventuel de réponses négatives à l'affirmation inverse "Le Gouvernement ne cherche pas à maintenir le système de répartition français". Le choix des mots, l'ordre des questions, les phrases introductives ; tous ces éléments sont porteurs de biais. Autrement dit tous les sondages, sans exceptions, sont porteurs de biais. Le tout est de pouvoir les décoder et les prendre en compte lorsqu'il s'agit d'en interpréter les résultats. D'ailleurs, dès lors qu'un sondage est réalisé de manière barométrique (administration du même questionnaire à intervalles réguliers à des échantillons aux caractéristiques similaires), les biais demeurent mais les tendances observées (hausse ou baisse) sont tout à fait valables. On se doit enfin de relever que tous ces biais n'enlèvent pas leur libre arbitre aux individus interrogés qui sont tout à fait capables de répondre par la négative à des affirmations, comme dans le sondage de l'Ifop sur les retraites où 70% des sondés ont déclaré n'être pas d'accord avec l'affirmation "Le Gouvernement est ouvert au dialogue"...

Les sondages sont tout sauf univoques dans leurs conclusions, ce pourquoi des analyses et interprétations parfois concurrentes sont possibles. Il existe cependant un principe de renforcement mutuel des sondages réalisés par des instituts différents qui à défaut de présenter des résultats identiques (en raison des biais respectifs qu'ils contiennent) permettent de dégager de véritables tendances convergentes.

Quand l'étude de l'opinion n'est pas réductible aux sondages dans leur forme actuelle
Ouvrons cette note sur les horizons actuels ou à venir du monde des études, monde dont les sondages quantitatifs que nous connaissons le plus ne forment qu'une partie. Si les études qualitatives (entretiens individuels, groupes qualitatifs) ou ethnographiques ne représentent que moins de 20% du chiffre d'affaires mondial des instituts d'études dans le monde, celles-ci offrent de creuser davantage les opinions et leurs fondements, de répondre à la question "pourquoi" plutôt que "combien". Toutefois, ces études sont rarement publiques, soit qu'elles n'intéressent pas les journalistes, soit qu'elles sont destinées à leurs seuls commanditaires. Aussi l'éclairage qu'elles apportent, en complément des sondages (famille des études quantitatives) ne bénéficient le plus souvent pas aux citoyens. Cependant de nouvelles formes d'analyse qualitative ou quantitative de l'opinion ont pu apparaître, ces dernières années, sur les fondements d'un corpus plus accessible au grand nombre (le web social) ou d'une méthodologie impliquant d'avantage les citoyens-sondés ( sondages délibératifs mis en place par James Fishkin).

En dépit des réserves émises par les instituts d'études traditionnelles quant à la pertinence des études réalisées sur le web social (blogs, forums, réseaux sociaux, micro-conversations, etc.), celles-ci offrent de nombreux intérêts. Certes, la parole spontanée émise sur le web social ne saurait être qualifiée de représentative de l'opinion publique française. C'est d'ailleurs là que réside sa force. A condition d'appliquer des techniques rigoureuses d'échantillonnage et d'analyse il est tout à fait possible de dégager des espaces du web des tendances d'opinion exprimées par des précurseurs, des personnes à la pointe de l'information dont l'opinion cristallise le mieux les dynamiques à l'œuvre et la diversité des arguments en présence autour d'un débat donné. A titre d'exemple, rappelons-nous du vaste débat ayant précédé le référendum du 29 mai 2005 sur le traité constitutionnel européen. Ce n'est qu'à partir de la mi-mars 2005 (2 mois avant le scrutin) que les sondages commencèrent à montrer le camp du non devant le camp du oui tandis qu'une observation du web social et de la dynamique de débat avait permis de révéler cette dynamique plus en amont. Les organisations professionnelles du monde des études ne s'y trompent d'ailleurs pas en accordant une place toujours plus importante à ce champ.

Les sondages d'opinion, complétés de plus en plus qu'ils le sont par d'autres approches de l'étude de l'opinion, offrent ainsi une représentation plutôt fiable des enjeux du débat public, à condition bien sur de pouvoir en décoder les biais et travers, ce à quoi ce billet contribuera modestement je l'espère.




FIN



 
IDEM VELLE AC IDEM NOLLE AC TANDEM VERA AMICITIA EST