Si un modèle d’apprentissage automatique est formé à l’aide d’un ensemble de données déséquilibré, par exemple contenant plus d’images de personnes à la peau claire que de personnes à la peau foncée, il existe un risque sérieux que les prédictions du modèle soient injustes lorsqu’elles sont utilisées dans le monde réel.
Mais ce n’est qu’une partie du problème. Les chercheurs du MIT ont découvert que les modèles d’apprentissage automatique populaires pour les tâches de reconnaissance d’images codent en fait les biais lorsqu’ils sont entraînés sur des données déséquilibrées. Le biais de ce modèle est impossible à corriger ultérieurement, même avec les dernières techniques d’amélioration de l’équité, et même lors du recyclage du modèle avec un ensemble de données équilibré.
Ainsi, les chercheurs ont produit une technique pour introduire la justice directement dans la représentation interne du modèle lui-même. Cela permet au modèle de produire une sortie équitable même s’il est formé sur des données injustes, ce qui est particulièrement important car il existe très peu d’ensembles de données équilibrés pour l’apprentissage automatique.
Les solutions qu’ils ont développées conduisent non seulement à des modèles qui font des prédictions plus équilibrées, mais améliorent également leurs performances sur des tâches en aval telles que la reconnaissance faciale et la classification des espèces animales.
“Dans l’apprentissage automatique, il est courant de blâmer les données pour les biais dans les modèles. Mais nous n’avons pas toujours des données équilibrées. Nous devons donc trouver des méthodes qui résolvent vraiment les problèmes avec des données déséquilibrées”, a déclaré l’auteur principal Natalie Dullerud, diplômée. étudiant dans le Healthy ML Group of Computer Science and Artificial Intelligence Laboratory (CSAIL) au MIT.
Les co-auteurs de Dullerud incluent Kimia Hamidieh, étudiante diplômée du groupe ML Sihat ; Karsten Roth, un ancien chercheur invité qui est maintenant étudiant diplômé à l’Université de Tubingen ; Nicolas Papernot, professeur adjoint au Département de génie électrique et d’informatique de l’Université de Toronto; et l’auteur principal Marzyeh Ghassemi, professeur adjoint et chef du ML Healthy Group. La recherche sera présentée à la Conférence internationale sur la représentation de l’apprentissage.
Définir la justice
La technique d’apprentissage automatique étudiée par les chercheurs est connue sous le nom d’apprentissage profond des métriques, qui est une forme d’apprentissage représentationnel large. Dans l’apprentissage métrique profond, les réseaux de neurones étudient les similitudes entre les objets en cartographiant à distance des photos très similaires et des photos dissemblables. Lors de l’apprentissage, ce réseau de neurones cartographie les images dans un « espace d’immersion » où la métrique de similarité entre les photos correspond à la distance qui les sépare.
Par exemple, si un modèle d’apprentissage métrique de profondeur est utilisé pour classer les espèces d’oiseaux, il cartographiera des photos de pinsons dorés ensemble dans une partie de l’espace du puits et des cardinaux ensemble dans une autre partie de l’espace du puits. Une fois formée, le modèle peut mesurer la similitude de nouvelles images qu’elle n’a jamais vues auparavant. Il apprendra à regrouper des images d’espèces d’oiseaux invisibles proches, mais plus éloignées des cardinaux ou des perroquets dorés dans un espace d’immersion.
Les métriques d’équation apprises par le modèle sont très robustes, c’est pourquoi l’apprentissage approfondi des métriques est souvent utilisé pour la reconnaissance faciale, a déclaré Dullerud. Mais lui et ses collègues se demandent comment déterminer si les métriques de similarité sont biaisées.
« Nous savons que les données reflètent un biais de processus dans la société. Cela signifie que nous devons nous concentrer sur la conception de méthodes plus conformes à la réalité », a déclaré Ghassemi.
Les chercheurs définissent deux façons dont les métriques de similarité peuvent être injustes. En utilisant l’exemple de la reconnaissance faciale, la métrique serait injuste si elle était plus susceptible d’enterrer des individus à la peau foncée plus proches les uns des autres, même s’il ne s’agissait pas de la même personne, que si l’image était celle d’une personne à la peau plus claire. . Deuxièmement, il est injuste que les traits qu’il a appris pour mesurer la similarité soient meilleurs pour le groupe majoritaire que pour le groupe minoritaire.
Les chercheurs ont mené plusieurs expériences sur des modèles avec des métriques d’équation injustes et n’ont pas été en mesure de surmonter les biais que le modèle avait appris dans son espace d’immersion.
“C’est un peu effrayant car c’est une pratique très courante pour les entreprises de produire ce modèle intégré, puis les gens l’affinent pour certaines tâches de classification en aval. Mais peu importe ce que vous faites en aval, vous ne pouvez pas résoudre les problèmes de justice déclenchés dans l’espace d’intégration. dit Dullerud.
Même si les utilisateurs recyclent le modèle sur un ensemble de données équilibré pour les tâches en aval, ce qui est le meilleur scénario pour résoudre les problèmes d’équité, il existe toujours un écart de performance d’au moins 20 %, a-t-il déclaré.
La seule façon de résoudre ce problème est de s’assurer que l’espace d’intégration est juste pour commencer.
Étudiez les métriques séparément
La solution du chercheur, appelée Partial Attribute Decorrelation (PARADE), implique la formation de modèles pour étudier des métriques de similarité distinctes pour les attributs sensibles, tels que le teint de la peau, puis la réduction des métriques de similarité du teint de la peau à partir de métriques de similarité ciblées. Si un modèle étudie différentes métriques de similarité de visage humain, il apprendra à cartographier des visages étroitement similaires et des visages différents à distance en utilisant des caractéristiques autres que la couleur de la peau.
N’importe quel nombre d’attributs sensibles peut être supprimé des métriques d’équation ciblées de cette manière. Et parce que les métriques de similarité pour les attributs sensibles sont étudiées dans un espace d’intégration séparé, elles sont supprimées après la formation afin que seules les métriques de similarité ciblées restent dans le modèle.
Leur méthode peut être utilisée dans de nombreuses situations car l’utilisateur peut contrôler le degré de corrélation entre les métriques d’équation. Par exemple, si le modèle va diagnostiquer un cancer du sein à partir d’images de mammographie, un médecin peut souhaiter que certaines informations sur le sexe biologique restent dans l’espace d’implantation final car les femmes sont plus susceptibles de développer un cancer du sein que les hommes, a expliqué Dullerud.
Ils ont testé leur méthode sur deux tâches, la reconnaissance faciale et la classification des espèces d’oiseaux, et ont constaté qu’elle réduisait les écarts de performances causés par les biais, à la fois dans l’espace d’intégration et dans les tâches en aval, quel que soit l’ensemble de données utilisé.
À l’avenir, Dullerud souhaite étudier comment forcer un modèle d’apprentissage approfondi des métriques à apprendre les bonnes fonctionnalités en premier lieu.
« Comment bien auditer la justice ? C’est une question ouverte maintenant. Comment pouvez-vous dire que le modèle sera juste, ou que le modèle ne sera juste que dans certaines situations, et quelle est cette situation ? C’est la question que je suis très intéressé à faire avancer », a-t-il déclaré.
