Les obligations qui dérivent du droit de la non-discrimination valent aussi pour les algorithmes que les organisations utilisent de plus en plus dans leur prise de décision. Ces outils tendent à automatiser les discriminations tout en constituant de véritables boites noires pour les usagers.

Cette multiplication des usages n’est pas sans risque, des biais pouvant être intégrés à toutes les étapes de l’élaboration et du déploiement des algorithmes

Le rapport demande d’anonymiser le lycée d’origine et de lui substituer une mesure de l’écart entre les résultats du bac et la notation au contrôle continu, dispositif testé cette année pour le bac.

EDUCATION - L’élaboration de l’algorithme Parcoursup s’est faite en associant étroitement services métiers, juridiques et informatiques.Parcoursup s’appuie sur une gouvernance originale, structurée dès la phase de conception de l’outil. Afin d’éviter les écueils d’une relation classique de maîtrise d’ouvrage/maîtrise d’œuvre, les codeurs et les algorithmiciens ont travaillé au sein d’un groupe projet, aux côtés du cabinet de la ministre de l’Enseignement supérieur, de la direction juridique et de la direction métier concernée du Ministère, sous le pilotage d’un chef de projet dédié. Cette gouvernance rend possible une communication optimale entre les différents pôles d’expertise (ex : réunion hebdomadaire entre la direction des affaires juridiques et les ingénieurs concevant l’algorithme) et assure au législateur la cohérence totale de l’outil avec le texte de la loi, même si des difficultés techniques impliquent parfois de trouver des solutions originales afin de conserver l’esprit des dispositions législatives. Ainsi, cette méthode de travail associant ingénieurs et administration a permis de se rendre compte au fil de l’eau que certaines normes réglementaires envisagées se heurtaient à des difficultés techniques, la publication progressive des textes réglementaires— au fur et à mesure des tests — ayant permis d’assurer l’adéquation entre la partie réglementaire du code de l’éducation et l’algorithme conçu. Suite à l’élaboration du code, la re lecture du document synthétique présentant le fonctionnement de l’algorithme par la direction des affaires juridiques a permis d’identifier la persistance de certains écarts entre la norme et l’algorithme, entraînant l’évolution de dispositions réglementaires. Aujourd’hui, la structure de gouvernance se réunit à nouveau dans une logique d’audit et d’amélioration d e l’outil, qui permet notamment de donner cette année à chacun des candidats le rang du dernier admis dans les filières demandées.

EDUCATION - Admission Post-Bac : au fondement du nouveau droit des algorithmes publics.La gestion des affectations dans l’enseignement supérieur constitue un témoin particulièrement instructif de la montée en puissance des standards de transparence des algorithmes publics. La nature de la décision prise par APB, actif de 2009 à 2017 pour procéder au traitement des vœux des lycéens, et son caractère crucial pour la vie de plus d’un million de jeunes adultes ont fait émerger de manière spectaculaire l’enjeu de la transparence du traitement algorithmique, relativement ignoré tant que les décisions prises se limitaient à des calculs (fiscalité par exemple). APB a ainsi fait l’objet de deux types de critiques. Premièrement, l’introduction du tirage au sort dans l’algorithme, en contradiction directe avec les dispositions du code de l’éducation. Deuxièmement, le caractère entièrement automatisé du traitement, alors interdit par la loi IEL. Pour cette raison, APB peut être considéré comme l’origine politique des obligations de transparence instaurées par la loi RépNum.

EDUCATION -Parcoursup : tête de pont paradoxale du débat sur les algorithmes publics.Contrairement à une idée répandue, le mode d’affectation instauré par la loi relative à l’orientation et à la réussite des étudiants du 8 mars 2018 (ORE) ne repose pas sur un algorithme, mais met en place un système dual : - l’algorithme Parcoursup fait parvenir aux établissements des listes de dossiers dont la constitution est fondée sur les vœux et sur certains facteurs géographiques et sociaux ; - dans un second temps, il revient aux établissements de procéder eux-mêmes au classement des dossiers en fonction de critères définis en interne, soit par l’examen manuel des dossiers, soit par l’utilisation d’algorithmes dits « locaux ».Ce sont ces algorithmes locaux qui concentrent l’ensemble des critiques adressées à Parcoursup. Dans l’esprit de ses concepteurs, la réintégration d’une intervention humaine permettait de réduire l’angoisse des lycéens qui comparaient volontiers APB à une « boîte noire ». Cependant, le choix a été fait de ne pas soumettre les algorithmes locaux aux obligations de transparence qui s’appliquent aux décisions individuelles prises sur le fondement d’un traitement automatisé. Cette décision est motivée par le se cret des délibérations. S’y ajouteraitla difficulté de rendre publics plus de 14 000 algorithmes locaux. Dans une décision récente (CE, 12 juin 2019, Université des Antilles), le Conseil d’Etat a validé cette position en annulant l’injonction faite par le tribunal administratif de Guadeloupe à l’université de Pointe-à-Pitre de publier ses algorithmes locaux. Cette décision, qui s’inscrit dans une tradition ancienne de préservation du secret des délibérations par le Conseil d’Etat, consacre le caractère dérogatoire des dispositions de la loi OREpar rapport au cadre général du CRPA.

EDUCATION - L’élaboration de la cartographie des algorithmes à l’origine de décisions individuelles au sein du ministère de l’Education nationale.Le ministère de l’Education nationale nous a présenté le travail de cartographie entrepris en interne afin de mettre en œuvre les dispositions issues de la loi RépNum relatives à la transparence des algorithmes. Sous l’impulsion de l’actuelle responsable de la politique d’ouverture des données (placée au sein du secrétariat général du ministère), un groupe de travail a été mis en place, rassemblant les correspondants open data des différentes directions et de chaque académie.S’appuyant sur le registre des traitements de données à caractère personnel, le groupe de travail a sollicité les directions métiers afin d’établir la liste des traitements algorithmiques fondant des décisions individuelles (une dizaine de traitements identifiés en mai 2019). Avec l’appui des directeurs concernés par les traitements identifiés, le groupe de travail a ensuite cherché à identifier la sensibilité politique de ces algorithmes afin d’anticiper la charge de travail et concentrer initialement l’effort de mise en conformité sur les traitements les plus susceptibles de faire l’objet d’une demande de la part des administrés.

favoriser un usage transparent et éthique des algorithmes publics par les administrations. Ils témoignent ici de leur expérience à l’occasion de la publication de ce rapport.

Elles doivent également être en mesure de préciser – à la demande de l’intéressé – la manière dont l’algorithme a abouti à la décision en question. Ces différentes obligations se retrouvent aujourd’hui dans le code des relations entre le public et l’administration (CRPA)

En outre, le CRPA (Code des relations entre le public et l'administration), complété par la loi République Numérique de 2018, précise les informations à fournir à la personne destinataire de la décision individuelle concernant le « degré et le mode de contribution du traitement algorithmique à la prise de décision », « les données traitées et leurs sources », et « les paramètres du traitement et [...] pondération appliqués à l’intéressé »2

Les organisations qui utilisent des algorithmes ne sauraient échapper à leurs responsabilités sous couvert d’ignorance, d’incompétence technologique ou d’opacité des systèmes. Les biais algorithmiques doivent pouvoir être identifiés puis corrigés et les auteurs de décisions discriminatoires issues de traitement algorithmiques doivent pouvoir être sanctionnés.

Sur suggestion de Predpol, les forces de police se rendront en majorité dans ces quartiers et y constateront de nouvelles infractions, venant ainsi approvisionner la base d’apprentissage de nouvelles données biaisées. Les algorithmes peuvent ainsi former des boucles de rétroaction par lesquelles stéréotypes, discriminations et inégalités se confortent mutuellement, contribuant ainsi à cristalliser durablement des situations d’inégalité1

La mobilisation de critères neutres en apparence c’est-à-dire ne relevant pas des motifs prohibés de discriminations, peut avoir des effets discriminatoires comme l’a souligné le Défenseur des droits dans sa décision Parcoursup13. En l’occurrence, la prise en compte du critère apparemment neutre de l’établissement d’origine par les algorithmes des universités pourrait conduire, indirectement, à discriminer les jeunes d’origine immigrée, compte tenu de la forte ségrégation résidentielle et scolaire notamment observée en Ile-de-France.

L’un des biais fréquents repose sur le manque de représentativité des données mobilisées.

il manquait en 2018 une information 06:06 majeure ce qu'on appelle les algorithmes 06:08 locaux des formations