28 Matching Annotations
  1. Dec 2025
    1. Les Algorithmes Contre la Société : Synthèse des Analyses d'Hubert Guillaud

      Résumé Exécutif

      Ce document de synthèse expose les arguments principaux développés par Hubert Guillaud, journaliste et essayiste, concernant l'impact sociétal des systèmes algorithmiques.

      L'analyse révèle que loin d'être des outils neutres, les algorithmes constituent une nouvelle logique systémique qui transforme en profondeur les services publics et les rapports sociaux.

      Leur fonction première est de calculer, trier et appareiller, traduisant le fait social en une simple "combinaison de chiffres".

      Les points critiques à retenir sont les suivants :

      La discrimination comme fonctionnalité : Par nature, le calcul est une machine à différencier.

      Des systèmes comme Parcoursup ou le "score de risque" de la Caisse d'Allocations Familiales (CAF) génèrent des distinctions souvent aberrantes et fictionnelles pour classer les individus, ce qui institutionnalise la discrimination sous couvert d'objectivité mathématique.

      Ciblage des populations précaires : L'automatisation des services publics cible et surveille de manière disproportionnée les populations les plus vulnérables.

      La CAF, par exemple, ne chasse pas tant la fraude que les "indus" (trop-perçus), affectant principalement les personnes aux revenus morcelés et complexes comme les mères isolées.

      Menace sur les principes démocratiques :

      L'interconnexion croissante des données entre les administrations (CAF, Impôts, France Travail, Police) menace la séparation des pouvoirs en créant un système de surveillance généralisée où les faiblesses d'un individu dans un domaine peuvent avoir des répercussions dans tous les autres.

      La massification déguisée : Contrairement à l'idée d'une personnalisation poussée, les algorithmes opèrent une massification des individus.

      Ils ne ciblent pas des personnes uniques mais les regroupent en permanence dans des catégories larges et standardisées à des fins de contrôle ou de publicité.

      Un risque de dérive fasciste : En systématisant la discrimination et en la rendant opaque et invisible, ces technologies créent un terrain propice à des dérives autoritaires, un risque qualifié par Hubert Guillaud de "fasciste".

      En conclusion, bien que ces technologies posent une menace sérieuse, Hubert Guillaud les replace dans un contexte plus large, arguant que les enjeux primordiaux demeurent le réchauffement climatique et les logiques du capitalisme financier, dont les algorithmes ne sont qu'un outil d'amplification.

      --------------------------------------------------------------------------------

      1. Introduction : La Logique Algorithmique et ses Enjeux Sociétaux

      La discussion, introduite par Marine Placa, doctorante en droit public, s'articule autour de l'ouvrage d'Hubert Guillaud, Les algorithmes contre la société.

      L'enjeu central est "l'immixtion d'une nouvelle logique algorithmique plus insidieuse et plus systémique à la délivrance des prestations de services publics".

      Cette logique, qui "traduit le fait social comme une combinaison de chiffres", gouverne de plus en plus l'environnement des individus avec des conséquences tangibles.

      Plusieurs critiques majeures sont soulevées dès l'introduction :

      Opacité et injustice : Les systèmes d'IA sont souvent trop opaques, discriminants et il est impossible d'expliciter les décisions qui en résultent.

      Déconnexion des réalités : Alors que les investissements massifs se poursuivent (109 milliards d'euros débloqués par le gouvernement français), les retours d'expérience alertent sur les "dégâts sociaux, démocratiques et écologiques".

      Technologie privée : La technologie est privée, développée par des capitaux privés et dictée par les "mastodontes économiques de la Silicon Valley".

      Son usage est ainsi largement influencé par des intérêts de profit plutôt que par le bien commun.

      L'IA n'est pas autonome : L'IA "ne décide de rien.

      Elle ne raisonne pas." Elle est le résultat d'une conception humaine, et son impact dépend moins de son essence que de son usage.

      2. Définition et Fonctionnement des Algorithmes

      Selon Hubert Guillaud, les systèmes algorithmiques, de l'algorithme simple à l'IA complexe, doivent être compris comme une "continuité technologique" de systèmes de calcul appliqués à la société. Leur fonctionnement repose sur trois fonctions fondamentales :

      | Fonction | Description | Exemple | | --- | --- | --- | | 1\. Produire des scores | Transformer des informations qualitatives (mots, comportements) en données quantitatives (chiffres, notes). | Un profil sur une application de rencontre est "scoré", une demande d'aide sociale reçoit une note de risque. |

      | 2\. Trier | Classer les individus ou les informations en fonction des scores produits. | Les candidats sur Parcoursup sont classés du premier au dernier. |

      | 3\. Apparier (Le "mariage") | Faire correspondre une demande à une offre sur la base du tri effectué. | Un étudiant est appareillé à une formation, un demandeur d'emploi à un poste, un bénéficiaire à l'obtention (ou non) d'une aide sociale. |

      Cette mécanique simple est au cœur de tous les systèmes, des réseaux sociaux aux plateformes de services publics, avec pour enjeu principal de classer, trier et faire correspondre.

      3. La Modification des Rapports de Force Sociétaux

      3.1. Le Calcul comme Machine à Discriminer : l'Exemple de Parcoursup

      Hubert Guillaud utilise l'exemple de Parcoursup pour illustrer comment le calcul génère une discrimination systémique.

      Contexte : Une plateforme nationale orientant 900 000 élèves de terminale vers plus de 25 000 formations.

      Mécanisme : Chaque formation doit classer tous ses candidats du premier au dernier, sans aucun ex-æquo.

      Le critère principal : les notes. Le système se base quasi exclusivement sur les bulletins scolaires, ignorant des critères essentiels comme la motivation, qui est pourtant un facteur clé de la réussite dans le supérieur.

      La création de distinctions aberrantes : Pour départager la masse d'élèves aux dossiers homogènes (par exemple, avec une moyenne de 14/20), le système génère des calculs complexes pour créer des micro-différences.

      Les scores finaux sont calculés à trois chiffres après la virgule (ex: 14,001 contre 14,003). Guillaud souligne l'absurdité de cette distinction :

      "Je ne peux pas faire de différence académique même entre eux. [...] Mais en fait pour le calcul par le calcul on va générer en fait des différences entre ces élèves."

      Équivalence au tirage au sort : Pour 80 % des candidats, ce système d'attribution basé sur des différences insignifiantes est "pleinement équivalent au tirage au sort", mais il est camouflé par l'apparence scientifique des chiffres.

      3.2. La Normalisation d'une Sélection Élitaire

      Contrairement à un simple tirage au sort, Parcoursup n'introduit pas d'aléa.

      Au contraire, il diffuse et normalise les méthodes de sélection des formations d'élite (grandes écoles, Sciences Po) à l'ensemble du système éducatif, y compris à des formations techniques (BTS) où ce type de sélection est inadapté.

      Cette standardisation interdit les méthodes d'évaluation alternatives (entretiens, projets) et renforce les biais sociaux.

      Le résultat est un taux d'insatisfaction élevé :

      2 % des candidats ne reçoivent aucune proposition.

      20 % reçoivent une seule proposition qu'ils refusent.

      20 % retentent leur chance l'année suivante.

      Au total, environ 45-46 % des élèves sont insatisfaits chaque année par la plateforme.

      4. L'Automatisation de la Vie et la Neutralité Illusoire de la Technologie

      4.1. Le "Score de Risque" de la CAF : Surveillance des Plus Précaires

      Hubert Guillaud réfute l'idée que la technologie est neutre. L'exemple de la Caisse d'Allocations Familiales (CAF) est emblématique de cette non-neutralité.

      Objectif affiché : Détecter le risque de fraude chez les allocataires grâce à l'IA.

      Réalité : Le système ne mesure pas la fraude (souvent liée aux déclarations des employeurs) mais ce que l'on nomme "l'indu", c'est-à-dire le trop-perçu d'un mois qui doit être remboursé le suivant.

      Ciblage : Ce système pénalise les personnes aux situations complexes et aux revenus non-linéaires : mères isolées, veuves, travailleurs précaires.

      Le calcul de leurs droits est difficile, générant mécaniquement des "indus".

      Critères de calcul absurdes : Des données comportementales sont utilisées.

      Par exemple, se connecter à son espace CAF plus d'un certain nombre de fois par mois augmente le score de risque, alors que ce comportement reflète simplement l'anxiété de personnes en situation de besoin.

      Conséquences : Des populations déjà précaires, représentant moins de 20 % des bénéficiaires, subissent la majorité des contrôles.

      Certaines mères isolées sont contrôlées "quatre à cinq fois dans la même année".

      4.2. Menace sur la Séparation des Pouvoirs

      L'interconnexion des données entre les administrations, sous couvert de "fluidifier l'information", constitue une menace pour le principe démocratique de la séparation des pouvoirs.

      • La CAF a accès aux données des impôts, de France Travail, et aux fichiers des comptes bancaires (FICOBA).

      • Le niveau d'accès est opaque : certains agents peuvent voir les soldes, voire le détail des dépenses sur six mois.

      • Cette collusion crée des formes de surveillance étendues et problématiques.

      Exemple : la police qui dénoncerait des individus à la CAF (environ 3000 cas par an), instaurant un "échange de bons procédés" en dehors de tout cadre légal clair.

      • Cela crée ce qu'un sociologue nomme un "lumpen scorariat" : des individus constamment mal évalués et pénalisés par le croisement des systèmes.

      4.3. Le Risque d'une Dérive Fasciste

      La discussion met en avant une phrase choc tirée du livre de Guillaud : "Déni de démocratie un principe, la discrimination une fonctionnalité, le fascisme une possibilité."

      Le risque fasciste réside dans le fait que ces systèmes permettent de mettre en place des discriminations massives, objectives en apparence, mais basées sur des choix politiques et des biais invisibles.

      Exemple du recrutement : Les logiciels de tri de CV analysent les mots pour produire des scores.

      Ils préfèrent des profils "moyens partout" plutôt que des profils avec des failles et des points forts.

      Discrimination géographique et ethnique :

      Ces systèmes permettent très facilement aux employeurs d'exclure des candidats sur la base de critères non-dits, comme leur localisation géographique (via l'adresse IP) ou leur origine (via des termes associés à certains pays).

      5. Implications Psychosociales : La Massification Déguisée en Personnalisation

      L'idée que les algorithmes nous offrent une expérience "personnalisée" (les "bulles de filtre") est un leurre. En réalité, ils opèrent une massification.

      Logique publicitaire : L'objectif n'est pas de comprendre un individu, mais de le faire rentrer dans des catégories préexistantes pour lui vendre de la publicité de masse.

      Exemple concret : Si un utilisateur "like" une publication critiquant le football où le mot "PSG" apparaît, l'algorithme ne retient que le mot-clé "PSG".

      L'utilisateur est alors associé à la masse de tous les autres profils liés au "PSG" et recevra de la publicité ciblée pour les fans de football, même si son intention initiale était opposée.

      • L'individu est ainsi constamment regroupé "d'une masse à l'autre", pris dans des profils de données qui le dépassent.

      6. Conclusion : Mise en Perspective des Menaces Technologiques

      Interrogé sur une citation du journal Le Postillon affirmant que le "grand refroidissement technologique" est la plus grande menace de notre époque, Hubert Guillaud exprime son désaccord.

      • Il considère que cette vision est trop "techno-centrée".

      • Selon lui, des enjeux plus fondamentaux et urgents priment :

      1. Le réchauffement climatique.    2. La concentration financière et les logiques du capitalisme.

      • La technologie et ses dérives ne sont pas la cause première des problèmes sociaux (isolement, repli sur soi), mais plutôt un amplificateur des dynamiques déjà à l'œuvre, comme la "dissolution des rapports engendrés par le capitalisme".

      • Il conclut en affirmant qu'il faut "savoir raison garder".

      L'enjeu n'est pas seulement de réformer un système comme Parcoursup, mais de s'attaquer au problème de fond : "comment est-ce qu'on crée des places dans l'enseignement supérieur public".

      La technologie n'est pas une fatalité, mais un prisme à travers lequel des forces sociales, politiques et économiques plus vastes s'expriment.

  2. Nov 2024
    1. Les algorithmes dits fermés, qui sont desoutils classiques : l’intégralité des instructionsa été pensée et écrite par un être humaindans un code source. Ils brassent les seulesdonnées ad hoc préalablement déterminées,c’est-à-dire celles que le responsable del’algorithme a identifiées en amont, et que lapersonne a volontairement et ponctuellementfournies pour un usage précis (par exempleParcoursup, où la liste des donnéespersonnelles traitées par l’algorithme estétablie dans un texte réglementaire) ;
    2. En conséquence, la Défenseure des droitsrecommande :· Au Gouvernement, d’introduire une sanctionen cas de non-respect de cette obligationet de mettre en place un recensement àl’échelle nationale relatif au respect de cesobligations de publication ;· Aux administrations et organismesconcernés, de procéder sans attendre auxpublications obligatoires prévues par leCRPA ;37
  3. Jan 2022
  4. May 2021
  5. Apr 2021
  6. Mar 2021
  7. Sep 2020
  8. Aug 2020
  9. Jul 2020
    1. EDUCATION - L’élaboration de l’algorithme Parcoursup s’est faite en associant étroitement services métiers, juridiques et informatiques.Parcoursup s’appuie sur une gouvernance originale, structurée dès la phase de conception de l’outil. Afin d’éviter les écueils d’une relation classique de maîtrise d’ouvrage/maîtrise d’œuvre, les codeurs et les algorithmiciens ont travaillé au sein d’un groupe projet, aux côtés du cabinet de la ministre de l’Enseignement supérieur, de la direction juridique et de la direction métier concernée du Ministère, sous le pilotage d’un chef de projet dédié. Cette gouvernance rend possible une communication optimale entre les différents pôles d’expertise (ex : réunion hebdomadaire entre la direction des affaires juridiques et les ingénieurs concevant l’algorithme) et assure au législateur la cohérence totale de l’outil avec le texte de la loi, même si des difficultés techniques impliquent parfois de trouver des solutions originales afin de conserver l’esprit des dispositions législatives. Ainsi, cette méthode de travail associant ingénieurs et administration a permis de se rendre compte au fil de l’eau que certaines normes réglementaires envisagées se heurtaient à des difficultés techniques, la publication progressive des textes réglementaires— au fur et à mesure des tests — ayant permis d’assurer l’adéquation entre la partie réglementaire du code de l’éducation et l’algorithme conçu. Suite à l’élaboration du code, la re lecture du document synthétique présentant le fonctionnement de l’algorithme par la direction des affaires juridiques a permis d’identifier la persistance de certains écarts entre la norme et l’algorithme, entraînant l’évolution de dispositions réglementaires. Aujourd’hui, la structure de gouvernance se réunit à nouveau dans une logique d’audit et d’amélioration d e l’outil, qui permet notamment de donner cette année à chacun des candidats le rang du dernier admis dans les filières demandées.
    2. EDUCATION - Admission Post-Bac : au fondement du nouveau droit des algorithmes publics.La gestion des affectations dans l’enseignement supérieur constitue un témoin particulièrement instructif de la montée en puissance des standards de transparence des algorithmes publics. La nature de la décision prise par APB, actif de 2009 à 2017 pour procéder au traitement des vœux des lycéens, et son caractère crucial pour la vie de plus d’un million de jeunes adultes ont fait émerger de manière spectaculaire l’enjeu de la transparence du traitement algorithmique, relativement ignoré tant que les décisions prises se limitaient à des calculs (fiscalité par exemple). APB a ainsi fait l’objet de deux types de critiques. Premièrement, l’introduction du tirage au sort dans l’algorithme, en contradiction directe avec les dispositions du code de l’éducation. Deuxièmement, le caractère entièrement automatisé du traitement, alors interdit par la loi IEL. Pour cette raison, APB peut être considéré comme l’origine politique des obligations de transparence instaurées par la loi RépNum.
    3. EDUCATION -Parcoursup : tête de pont paradoxale du débat sur les algorithmes publics.Contrairement à une idée répandue, le mode d’affectation instauré par la loi relative à l’orientation et à la réussite des étudiants du 8 mars 2018 (ORE) ne repose pas sur un algorithme, mais met en place un système dual : - l’algorithme Parcoursup fait parvenir aux établissements des listes de dossiers dont la constitution est fondée sur les vœux et sur certains facteurs géographiques et sociaux ; - dans un second temps, il revient aux établissements de procéder eux-mêmes au classement des dossiers en fonction de critères définis en interne, soit par l’examen manuel des dossiers, soit par l’utilisation d’algorithmes dits « locaux ».Ce sont ces algorithmes locaux qui concentrent l’ensemble des critiques adressées à Parcoursup. Dans l’esprit de ses concepteurs, la réintégration d’une intervention humaine permettait de réduire l’angoisse des lycéens qui comparaient volontiers APB à une « boîte noire ». Cependant, le choix a été fait de ne pas soumettre les algorithmes locaux aux obligations de transparence qui s’appliquent aux décisions individuelles prises sur le fondement d’un traitement automatisé. Cette décision est motivée par le se cret des délibérations. S’y ajouteraitla difficulté de rendre publics plus de 14 000 algorithmes locaux. Dans une décision récente (CE, 12 juin 2019, Université des Antilles), le Conseil d’Etat a validé cette position en annulant l’injonction faite par le tribunal administratif de Guadeloupe à l’université de Pointe-à-Pitre de publier ses algorithmes locaux. Cette décision, qui s’inscrit dans une tradition ancienne de préservation du secret des délibérations par le Conseil d’Etat, consacre le caractère dérogatoire des dispositions de la loi OREpar rapport au cadre général du CRPA.
    4. EDUCATION - L’élaboration de la cartographie des algorithmes à l’origine de décisions individuelles au sein du ministère de l’Education nationale.Le ministère de l’Education nationale nous a présenté le travail de cartographie entrepris en interne afin de mettre en œuvre les dispositions issues de la loi RépNum relatives à la transparence des algorithmes. Sous l’impulsion de l’actuelle responsable de la politique d’ouverture des données (placée au sein du secrétariat général du ministère), un groupe de travail a été mis en place, rassemblant les correspondants open data des différentes directions et de chaque académie.S’appuyant sur le registre des traitements de données à caractère personnel, le groupe de travail a sollicité les directions métiers afin d’établir la liste des traitements algorithmiques fondant des décisions individuelles (une dizaine de traitements identifiés en mai 2019). Avec l’appui des directeurs concernés par les traitements identifiés, le groupe de travail a ensuite cherché à identifier la sensibilité politique de ces algorithmes afin d’anticiper la charge de travail et concentrer initialement l’effort de mise en conformité sur les traitements les plus susceptibles de faire l’objet d’une demande de la part des administrés.
  10. Jun 2020
    1. En outre, le CRPA (Code des relations entre le public et l'administration), complété par la loi République Numérique de 2018, précise les informations à fournir à la personne destinataire de la décision individuelle concernant le « degré et le mode de contribution du traitement algorithmique à la prise de décision », « les données traitées et leurs sources », et « les paramètres du traitement et [...] pondération appliqués à l’intéressé »2

      Valable dans le cadre de parcoursup et affelnet

    2. Les organisations qui utilisent des algorithmes ne sauraient échapper à leurs responsabilités sous couvert d’ignorance, d’incompétence technologique ou d’opacité des systèmes. Les biais algorithmiques doivent pouvoir être identifiés puis corrigés et les auteurs de décisions discriminatoires issues de traitement algorithmiques doivent pouvoir être sanctionnés.

      c'est aussi le cas de mesures manuelles

    3. Sur suggestion de Predpol, les forces de police se rendront en majorité dans ces quartiers et y constateront de nouvelles infractions, venant ainsi approvisionner la base d’apprentissage de nouvelles données biaisées. Les algorithmes peuvent ainsi former des boucles de rétroaction par lesquelles stéréotypes, discriminations et inégalités se confortent mutuellement, contribuant ainsi à cristalliser durablement des situations d’inégalité1
    4. La mobilisation de critères neutres en apparence c’est-à-dire ne relevant pas des motifs prohibés de discriminations, peut avoir des effets discriminatoires comme l’a souligné le Défenseur des droits dans sa décision Parcoursup13. En l’occurrence, la prise en compte du critère apparemment neutre de l’établissement d’origine par les algorithmes des universités pourrait conduire, indirectement, à discriminer les jeunes d’origine immigrée, compte tenu de la forte ségrégation résidentielle et scolaire notamment observée en Ile-de-France.
  11. May 2020