Non, le tirage au sort n’est pas repré­sen­ta­tif

J’avais travaillé les aspects du tirage au sort dans le cadre d’une réflexion sur la démo­cra­tie dans un groupe poli­tique. Je pose ça là quelques temps après, un peu refor­mulé :

On nomme X personnes d’une popu­la­tion donnée par tirage au sort. Ces personnes votent et tombent d’ac­cord à 55% contre 45%. Peut-on consi­dé­rer qu’ils repré­sentent la popu­la­tion d’ori­gine ?

Mathé­ma­tiques

Tout ça sont des mathé­ma­tiques bien connues des insti­tuts de sondage. On y parle de marge d’er­reur et d’in­dice de confiance :

  • Une marge d’er­reur de ±5pt, c’est dire que le vote direct de la popu­la­tion d’ori­gine aurait proba­ble­ment donné un score quelque part entre 50% et 60% et pas forcé­ment de 55%.
  • Un indice de confiance de 95%, c’est dire qu’il y a 95% de chances que la popu­la­tion d’ori­gine serait effec­ti­ve­ment restée dans la marge d’er­reur donnée, et 5% de chances que le résul­tat aurait été tout autre (mais poten­tiel­le­ment *vrai­ment* tout autre).

Je tiens à insis­ter sur le fait qu’une marge d’er­reur de ±5pt ça reste énorme. N’im­porte quelle déci­sion vali­dée ou reje­tée par moins de 55% des tirés au sorts n’au­rait que peu de valeur. Et des déci­sions qui arrivent avec moins de 55%, c’est quand même fréquent…

Idem, un indice de confiance de 95% c’est plutôt bon, mais ça laisse quand même 1 chance sur 20 de dire n’im­porte quoi. C’est loin d’être négli­geable : Vous joue­riez des déci­sions impor­tantes sur un dé à 20 faces vous ?

Des exemples

Répondre à la ques­tion d’ori­gine demande de connaitre le nombre de personnes tirées au sort et la taille de la popu­la­tion d’ori­gine.

Je vous propose de fonc­tion­ner à l’in­verse : En fonc­tion de la taille de la popu­la­tion d’ori­gine et de la préci­sion souhai­tée, combien de personnes devrions-nous tirer au sort ? Atten­tion ça pique…

Popu­la­tion d’ori­gine Préci­sion de ±5pt à 95% Préci­sion de ±2pt à 95% Préci­sion de ±2pt à 99%
100 79 96 98
500 217 414 446
1000 277 706 806
5000 384 1622 2271
10000 384 1936 2938
100000 et + 384 2401 4160

Autant dire que le tirage au sort au sein d’un groupe de moins de 100 person­nes… autant réunir tout le monde ou tirer les déci­sions à pile ou face, ça revien­dra au même. Même au sein de groupe de 1000 personnes, il faut en réunir plus du quart pour avoir un semblant de préci­sion.

Si vous voulez tran­cher des ques­tions qui divisent à presque égalité avec un bon indice de confiance, là vous pouvez oublier tout de suite, sauf à réunir 10 000 personnes dans une très grande salle.

Si vous ne prévoyez pas au moins quelque chose de simi­laire, votre tirage au sort n’a pas beau­coup de chances d’être repré­sen­ta­tif. Si vos déci­sions ne sont pas binaires, si les avis doivent être nuan­cés, s’il y a un biais parce que certains accep­te­ront d’être nommé et d’autres décli­ne­ront, ou si certains tirés au sort ne votent pas, alors c’est encore pire.

Alors ?

L’his­toire ne dit pas si le tirage au sort est une bonne idée ou pas. Tout dépend des tâches qui sont dévo­lues aux personnes nommées ainsi, s’il y a une étape de vali­da­tion externe, s’il y a des contre-pouvoirs, s’il y a une censure possible, etc.

Ce qui est certain c’est que sauf à faire des réels parle­ments de grande taille au sein de groupes eux aussi impor­tants, le tirage au sort a peu de chances d’être la solu­tion à un manque de repré­sen­ta­ti­vité.

Le tirage au sort est aléa­toire, il ne crée pas une répar­ti­tion homo­gène, et n’a même que très peu de chances de le faire.


Publié

dans

par

Étiquettes :

Commentaires

10 réponses à “Non, le tirage au sort n’est pas repré­sen­ta­tif”

  1. Avatar de Éric
    Éric

    Un petit PDF avec des graphiques pour ceux qui veulent en savoir plus : http://www.heralis.com/newsletters.php?fid=bmV3c2xldHRlcnMvNzAucGRm&readers=0

  2. Avatar de perrick

    Le tirage au sort n’est certes pas la panacée pour aboutir à la représentativité mais il permet quand même une chose quand c’est bien fait : laisser le temps aux jurés de se faire une opinion éclairée, d’en changer, de revoir leur choix initial et d’arriver à une solution consensuel. C’est dans ce cadre-là qu’il a le plus de sens. Et c’est pour cela qu’il est si intéressant pour auditionner des candidats et choisir le « meilleur ». Et c’est surtout pour cela qu’il est encore utilisé dans le cadre des jurys d’assises.

  3. Avatar de jefaispeuralafoule

    La grande différence entre le tirage au sort des jurés pour un tribunal, et celui des élus, c’est qu’aux assises ce principe est instauré pour éviter qu’une sélection politique, ethnique, sociale ou religieuse entre en ligne de compte. De cette manière, ni l’accusation ni la défense n’a de moyen direct d’obtenir un jury « favorable ».
    De plus, les jurés étant encadrés par des juristes, cela donne une meilleure gestion des jugements, que les jurés soient compétents ou non.
    Pour ce qui est d’une élection par tirage au sort, cela sous-entend s’en remettre au hasard pour se choisir des dirigeants, ce qui me paraît plus que douteux. De plus, comment encadrer les élus? Qui serait l’autorité gérant la compétence?

    1. Avatar de Éric
      Éric

      Et surtout, pour nos parlements et élus, on veut justement des décisions politiques et pas que techniques. L’objectif est donc l’opposé de celui d’un jury.

  4. Avatar de georges
    georges

    Le Hollandais Volant donne son avis sur cet article ici: http://lehollandaisvolant.net/index.php?mode=links&id=20150217191558
    (je trouve dommage qu’il n’utilise pas les commentaires)

    Je pense qu’il se trompe. L’article explique que si on a une population de X personnes dont x% sont de tendance politique A, y% de tendance politique B, z% de tendance politique C, … le tirage au sort va souvent se planter sur l’évaluation de ces x, y, z, … ce qui n’est pas le cas du système de démocratie représentative où tout le monde vote.
    Cela n’a rien à voir avec la « représentativité des classes d’age » ou « de métiers » ou …, la seule chose qui importe est la représentativité des tendances politiques.

    1. Avatar de Éric
      Éric

      Il y a surtout une interprétation erronée des chiffres. 5% de marge d’erreur ou 95% d’indice de confiance ne veulent pas du tout dire que le comité est représentatif à 5% près.

      Après oui, probablement ça mènera à plus de mixité au niveau des âges, des genres, des métiers. Ce serait une bonne chose, mais est-ce suffisant pour abandonner le contrôle ?

    2. Avatar de Thibaud

      Est-ce que tu penses avoir le contrôle aujourd’hui ?

      La question est : quelle est la marge d’erreur lors des élections ?

    3. Avatar de Éric
      Éric

      Non, je pense que le système actuel est extrêmement pourri. Mais je ne suis prêt à changer que pour mieux. Je suis prêt à changer le système de désignation, et pourquoi pas pour du tirage au sort, mais dans une structure démocratique dans son ensemble. Là si tu me dis de juste remplacer nos élections actuelles par un tirage au sort, ça sera une régression.

  5. Avatar de Wikicrate
    Wikicrate

    On voit que l’échantillon nécessaire pour une précision de ±5pt à 95% ne varie plus entre une proportion de 5000 et de 10 millions ( 384 tirés au sort). Pour 45M de français adultes, ce serait presque pareil.

    Votre démonstration montre donc la pertinence du tirage au sort n’est manifeste que pour les grandes populations (pays, région, grande ville) mais pas pour un petit village, un quartier.
    Pour une assemblée constituante son intérêt est donc réel !

    1. Avatar de Éric
      Éric

      Attention, ±5pt à 95%, c’est à la fois très précis et pas tant que ça. Déjà ça exclu tous les résultats serrés, ce qui est malheureusement fréquent. Ensuite ça laisse quand même 1 décision sur 20 qui passe “ mal ”.

      Bon, ce n’est pas idéal comme représentativité mais pas mauvais non plus, donc pourquoi pas.

      Le problème pour une constituante il est potentiellement ailleurs. La représentativité fonctionne si ensuite chacun a le loisir d’exprimer un avis informé, sans pression.

      La constituante son rôle est d’abord de créer plus que de juger. Je ne sais pas si tu as tenté une création à 384 mais ce n’est pas « simple ». Tu as ceux qui vont parler souvent, ceux qui vont s’imposer, ceux qui vont se résigner plus facilement, ceux qui ne vont pas oser, etc. Bref, le calcul mathématique de représentativité est déjà mort à ce niveau.

      La solution habituelle c’est de faire des petits groupes puis de mettre en commun. Non seulement on n’évite pas les effets ci-dessous en petit groupe (on en atténue certains, mais en en renforçant d’autres) mais on fait entrer les paradoxes de Simpson.

      Encore une fois, le billet n’est pas là pour dire si c’est une bonne idée ou pas, mais la représentativité est très loin d’être évidente, y compris (ou surtout) dans le cas que tu donnes.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *