Technologie et IA: pourquoi doit-on se doter d’un code éthique?

Équipe C2
Chelsea Manning, Big data, big problems: It’s time for an ethical tech manifesto

«La technologie en soi n’est ni bonne ni mauvaise, et elle n’est pas neutre non plus.»

Telle est la première et la plus célèbre des lois de Kranzberg. Les six énoncés de l’historien américain Melvin Kranzberg définissent la relation qu’il juge intime entre la technologie et les changements socioculturels.

L’ancienne analyste du renseignement de l’armée américaine devenue militante Chelsea Manning s’appuie sur Kranzberg lorsqu’elle avance sa propre loi: «La qualité de l’IA se mesure à celle des données que nous lui fournissons.»

Les lois fondamentales

Melvin Kranzberg a présenté ses lois de Kranzberg lors de la conférence annuelle de la Society for the History of Technology en 1985:

  1. La technologie en soi n’est ni bonne ni mauvaise, et elle n’est pas neutre non plus.
  2. L’invention est mère de la nécessité.
  3. La technologie vient par blocs, petits et grands.
  4. Même si la technologie pourrait être un élément primordial dans de nombreuses questions d’intérêt public, les facteurs non techniques l’emportent dans les décisions de politique technologique.
  5. Tous les aspects de l’histoire sont pertinents, mais l’histoire de la technologie est la plus pertinente.
  6. La technologie est une activité très humaine — de même que l’histoire de la technologie.

Chelsea connaît bien les ratés de la technologie de données. En 2010, au tout début de la guerre de l’information, elle a joué un rôle de catalyseur dans la réflexion sur la sécurité et la transparence des données, en dévoilant sur WikiLeaks plus de 700 000 rapports militaires et autres documents secrets concernant les conflits en Irak et en Afghanistan.

Déclarant les technologues complices de l’utilisation des données à mauvais escient, Chelsea encourage la communauté TI à se doter d’un code éthique et d’accorder une plus grande considération aux répercussions sociales des produits numériques qu’ils développent.

«Ce n’est pas parce que tu peux créer un outil que tu dois le faire.» — Chelsea Manning

Elle suggère également que les dirigeants d’entreprises et les développeurs en TI rédigent un manifeste pour la technologie en s’inspirant de la déclaration sur la discrimination dans l’apprentissage automatique, élaborée à la conférence RightsCon 2018 de Toronto. Celle-ci visait à établir des lignes directrices détaillées afin de promouvoir l’égalité et la protection du droit à la non-discrimination dans le secteur de l’apprentissage machine.

«Appliqué à une grande quantité de données, l’apprentissage automatique ouvre la voie à une discrimination systémique, causée par les données sous-jacentes ainsi que par le design et l’implémentation des systèmes», affirment les organisateurs de RightsCon. «Le manque de diversité au sein des équipes qui conçoivent et mettent en place ces systèmes contribue à accroître ce risque.»

 

La mauvaise technologie va se retourner contre nous

L’IA est partout. Elle est utilisée dans les voitures et dans les processus d’embauche par les RH, comme pour alimenter des systèmes électriques et de distribution d’eau. Et ces machines ne font qu’interpréter les informations qu’on leur fournit, ni plus ni moins.

Le problème est que «nous avons tendance à ne pas soumettre les algorithmes aux outils de la pensée critique», avance Timnit Gebru, chercheure postdoctorale au sein du groupe de recherche Fairness, Accountability, Transparency and Ethics in AI (FATE) de Microsoft et cofondatrice de Black in AI. La propension des humains à s’en remettre aux suggestions d’un système de prise de décision automatisé – pour le meilleur et pour le pire – se traduit par la perpétuation du biais d’automatisation.

Des exemples de ces biais algorithmiques ont été exposés dans une étude intitulée Man is to Computer Programmer as Woman is to Homemaker? Debiasing Word Embeddings, produite par des chercheurs de l’Université de Boston et de Microsoft. Voici un petit échantillon de ce qu’ils ont découvert:

  • L’homme est au roi ce que la femme est à… la reine (jusqu’ici tout va bien)
  • L’homme est au docteur ce que la femme est à… l’infirmière (pardon?!)
  • Il est au programmeur informatique ce qu’elle est à… la personne au foyer (oups…)

Selon Samuel Moreau, directeur du design et associé à la division Cortana & Artificial Intelligence de Microsoft, la notion de biais s’inscrit dans une réflexion plus large sur les questions éthiques en IA. Il soulève cinq grands types de biais en matière d’IA:

  • Biais de données: Quand les données ne représentent pas la diversité de la population.
  • Biais d’automatisation: Quand les décisions automatisées ne tiennent pas compte de certains enjeux culturels ou sociaux. Le cas Brisha Borden en est un exemple.
  • Biais d’association: Quand des associations de données renforcent et propagent les préjugés culturels.
  • Biais d’interaction: Lorsque des humains corrompent l’IA, comme avec les tweets racistes du robot Tay de Microsoft.
  • Biais de confirmation: Personnalisation simpliste qui pose des hypothèses biaisées et qui rétrécit la vision des utilisateurs.

 

Regarder le problème en face

On sait que la technologie de reconnaissance vocale dans les voitures peut difficilement répondre aux commandes énoncées par des hommes et des femmes qui ont un accent étranger. Il y a pire: en 2015, un tweet à propos du logiciel de reconnaissance faciale de Google est devenu viral après que ce dernier ait associé deux Américains noirs à des gorilles.

Alors qu’il peine à s’attaquer au problème, Yonatan Zunger, architecte en chef des interactions sociales chez Google, admet que «visiblement, il reste beaucoup de travail à faire avec la catégorisation automatique des images».

Mais ce n’est là que la pointe de l’iceberg.

Des algorithmes basés sur un «score» de récidive criminelle sont actuellement utilisés par certains juges américains pour déterminer les peines. Les corps de police de la Nouvelle-Orléans, d’Orlando et du comté de Washington, en Oregon, ont récemment été dénoncés par l’American Civil Liberties Union et d’autres militants pour la défense de la vie privée pour avoir utilisé Rekognition, un outil de reconnaissance faciale créé par Amazon. En 2016, un adulte américain sur deux était inscrit au registre de reconnaissance faciale des autorités policières dû à l’accès aux photos des permis de conduire et autres documents d’identification.

Ces outils ont-ils été conçus pour le maintien de l’ordre? Pas du tout, et cela soulève deux questions: Cela devrait-il avoir lieu? Et ces outils sont-ils assez solides pour être utilisés à de telles fins, alors que les risques d’erreur peuvent avoir de sérieuses conséquences sur la vie des gens?

 

Sans foi ni loi

Quoi qu’on en pense, le problème est qu’actuellement, n’importe quel type d’IA peut être utilisé pour n’importe quoi par n’importe qui, ce qui ouvre la porte à un mauvais usage de la technologie.

«Aucune règle ne dicte quelles devraient être les caractéristiques des outils de reconnaissance faciale destinées à être utilisées par les forces de l’ordre», affirme Timnit. «Aucune règle ne stipule que quiconque recourt à ces outils automatisés doit le divulguer et expliquer comment et pourquoi il les utilise. Il n’y a pas de norme ni de documentation.»

«On ne sait même pas si les outils actuels contreviennent aux lois actuelles.» — Timnit Gebru

Grande défenseure de la réglementation, de la documentation et de la normalisation, Timnit croit que les chercheurs en IA «ne devraient pas ramener tous les problèmes à une question de données ou à quelque mesure d’optimisation à prendre. Il faut se pencher sur les enjeux sociaux et structurels de notre industrie.»

 

Appel à tous les technologues

Certaines grandes entreprises commencent toutefois à réagir. Le chercheur de Google Brain Hugo Larochelle croit qu’une pratique responsable en IA repose sur quatre principes de base: transparence, discrétion, robustesse et impartialité.

Ruth Kikin-Gil, stratège UX chez Microsoft, a une vision similaire: «Formez des équipes diversifiées et inclusives, créez des bases de données intelligibles et communiquez le raisonnement sous-tendant les décisions aux utilisateurs.»

Les principes organisationnels sont importants, mais Anna Neistat, directrice de la recherche d’Amnistie internationale, souhaite que les technologues se sentent personnellement concernés par les injustices entourant les droits de l’homme.

«C’est aussi leur bataille, dit-elle. Ultimement, si on perd cette lutte, nous en souffrirons tous.» Anna exhorte les experts en TI de commencer à penser à une façon de contribuer, et vite.

«Aucune technologie ne nous mènera vers le futur si les droits de l’homme sont négligés.»

Generic placeholder image

Biased algorithms are everywhere and no one seems to care, un article sur les grandes entreprises qui développent les algorithmes biaisés et qui ne semblent pas souhaiter les corriger.

 

Comment reprendre le contrôle de la technologie

De la même façon que la réglementation a rattrapé l’industrie automobile et a établi des normes pour le dépistage des drogues, il est plus que temps que la communauté TI, les grandes institutions, la police, les forces armées et le gouvernement examinent nos pratiques et disciplines afin de créer – et de faire appliquer – un ensemble de règles… avant qu’il ne soit trop tard.

S’impliquer politiquement. En tant que citoyens, notre vigilance est cruciale. Les outils néfastes doivent être identifiés et les militants politiques doivent être soutenus.

Transformer la culture techno. Pour encourager la diversité et la sécurité, la culture des affaires et de la technologie doit changer, du point de vue de la gestion comme du développement. Les algorithmes doivent cesser de refléter les a priori humains. Les questions éthiques et morales doivent sortir du labo si on veut éviter que nos outils ne servent à créer un État policier.

Miser sur le pouvoir du peuple. Chelsea croit que le mouvement syndical du 20e siècle est une bonne source d’inspiration. Les travailleurs ont exigé de meilleures conditions de travail et un meilleur traitement de la part des employeurs, en réponse à la déshumanisation engendrée par le capitalisme industriel. Les citoyens doivent coopérer et coordonner leurs efforts afin de se faire entendre des décideurs politiques et des leaders du secteur des technologies, tout comme l’ont fait les travailleurs qui se sont battus pour défendre leurs droits dans un système qu’ils considéraient injuste et inhumain.

 

Les Notes de C2 Montréal: Solutions inspirantes pour leaders créatifs

Cet article est tiré de Collisions transformatives: Les Notes de C2 Montréal 2018, un condensé d’idées fortes destiné à tous ceux qui souhaitent mieux comprendre les grandes forces qui gouvernent leur industrie et le monde. Poursuivez votre lecture ici.

Questions ou commentaires? Écrivez-nous à editorial@c2.biz.