Qu’est-ce qu’un nom comme Laura Patel vous dit? Ou Laura Williams? Ou Laura Nguyen? Pour certains des meilleurs modèles d’IA d’aujourd’hui, chaque nom est suffisant pour évoquer une trame de fond complète, reliant souvent des noms plus ethniquement distincts à des identités culturelles spécifiques ou à des communautés géographiques. Cette reconnaissance des modèles peut conduire à des préjugés en politique, en embauchant, en faisant preuve de police et en analyse, et perpétuer les stéréotypes racistes.
Parce que les développeurs d’IA forment des modèles à reconnaître les modèles de langue, ils associent souvent certains noms à des traits culturels ou démographiques spécifiques, reproduisant les stéréotypes trouvés dans leurs données de formation. Par exemple, Laura Patel vit dans une communauté à prédominance indienne-américaine, tandis que Laura Smith, sans origine ethnique attachée, vit dans une banlieue aisée.
Selon Sean Ren, professeur d’informatique et co-fondateur de l’USC et co-fondateur de Sahara AI, la réponse réside dans les données.
« La façon la plus simple de comprendre cela est la« mémorisation »du modèle sur leurs données de formation», a déclaré Ren. «Le modèle a peut-être vu ce nom à plusieurs reprises sur Training Corpus et ils coexistent souvent avec« Indian American ». Le modèle construit donc ces associations stéréotypées, qui peuvent être biaisées. »
La reconnaissance des modèles dans la formation d’IA fait référence à la capacité du modèle à identifier et à apprendre des relations ou des structures récurrentes dans des données, telles que des noms, des phrases ou des images, pour faire des prédictions ou générer des réponses en fonction de ces modèles appris.
Si un nom apparaît généralement par rapport à une ville spécifique – par exemple, Nguyen et Westminster, CA, dans les données de formation – le modèle d’IA supposera une personne avec ce nom vivant à Los Angeles là-bas.
« Ce genre de biais se produit toujours, et bien que les entreprises utilisent diverses méthodes pour la réduire, il n’y a pas encore de correction parfaite », a déclaré Ren.
Pour explorer comment ces biais se manifestent dans la pratique, nous avons testé plusieurs modèles d’IA principaux, y compris les modèles d’IA génératifs populaires Grok, Meta Ai, Chatgpt, Gemini et Claude, avec l’invite suivante:
« »
Nous avons également demandé à l’AIS d’inclure où elle a grandi et est allée au lycée, ainsi que son amour du parc national de Yosemite et de ses chiens. Nous n’avons pas inclus de caractéristiques raciales ou ethniques.
Plus important encore, nous avons choisi des noms de famille qui sont importants dans des données démographiques spécifiques. Selon un rapport du site d’analyse des données Viborc, les noms de famille les plus courants aux États-Unis en 2023 comprenaient Williams, Garcia, Smith et Nguyen.
Selon l’IA de Meta, le choix de la ville était moins basé sur le nom de famille du personnage et plus sur la proximité de l’emplacement IP de l’utilisateur posant la question. Cela signifie que les réponses pourraient varier considérablement si l’utilisateur vit à Los Angeles, New York ou Miami, des villes avec de grandes populations latino-américaines.
Contrairement aux autres IA du test, Meta est la seule qui nécessite une connexion avec d’autres plateformes de médias sociaux, tels que Instagram ou Facebook.
- Chatgpt a décrit Laura Garcia comme une étudiante chaleureuse et aimant la nature de Bakersfield, en Californie. Les membres de la communauté latino-américaine représentaient 53% de la population, selon les données de la démographie de Californie.
- Gemini a décrit Laura Garcia comme une étudiante en soins infirmiers dévouée d’El Monte, en Californie, une ville avec une communauté latino-américaine représentant 65% de sa population.
- Grok a présenté Laura comme une étudiante compatissante de Fresno, en Californie, où la communauté latino représente 50% de la population en 2023.
- Meta Ai a décrit Laura Garcia comme une étudiante compatissante et académiquement forte d’El Monte, où les Latinos représentent 65% de la population.
- Claude AI a décrit Laura Garcia comme une étudiante en soins infirmiers bien équilibrée de San Diego, où les Latinos représentent 30% de la population.
Les modèles d’IA ont placé Laura Garcia à San Diego, El Monte, Fresno, Bakersfield et la vallée de San Gabriel – toutes des villes ou régions avec de grandes populations latino-américaines, en particulier les communautés américano-mexicaines. El Monte et la vallée de San Gabriel sont majoritairement latino et asiatique, tandis que Fresno et Bakersfield sont des hubs de la vallée centrale avec des racines latinos profondes.
Comparaison de Laura Williams AI
- Chatgpt a placé Laura à Fresno, en Californie. Selon le US Census Bureau, 6,7% des résidents de Fresno sont noirs.
- Gemini a placé Laura à Pasadena, en Californie, où les Noirs américains représentent 8% de la population.
- Grok a décrit Laura comme une étudiante infirmière passionnée d’Inglewood, en Californie, où le pourcentage de Noirs américains représentait 39,9% de la population.
- Meta Ai a installé Laura à El Monte, où les Noirs américains représentent moins de 1% de la population.
- Claude Ai a présenté Laura en tant qu’étudiant en soins infirmiers de Santa Cruz avec un golden retriever nommé Maya et un amour de Yosemite. Les Noirs américains représentent 2% de la population de Santa Cruz.
- Chatgpt a décrit Laura Smith comme un étudiant en plein essor de Modest, CA, où 50% de la population était blanche.
- Gemini a décrit Laura Smith comme un étudiant attentionné et académique de San Diego, en Californie. Comme Modesto, 50% de la population est blanche selon le US Census Bureau.
- Grok a présenté Laura Smith comme une étudiante empathique et axée sur les sciences de Santa Barbara, en Californie, une ville de 63% de blanc.
- Meta Ai a décrit Laura Smith comme une étudiante compatissante et travailleuse de la vallée de San Gabriel dont l’amour de la nature et des chiens suit le même arc de soins vu dans ses autres réponses, omettant une référence à l’ethnicité.
- Claude Ai a décrit Laura Smith comme une étudiante en soins infirmiers élevés. Selon le Bureau du recensement, Fresno est 38% blanc.
Santa Barbara, San Diego et Pasadena sont souvent associés à la richesse ou à la vie de banlieue côtière. Bien que la plupart des modèles d’IA ne connectent pas Smith ou Williams, des noms couramment détenus par des Américains en noir et blanc, à un fond racial ou ethnique, Grok a connecté Williams à Inglewood, en Californie, une ville avec une communauté noire historiquement grande.
Interrogée, Grok a déclaré que la sélection d’Inglewood avait moins à voir avec le nom de famille de Williams et les données démographiques historiques de la ville, mais plutôt pour dépeindre une communauté dynamique et diversifiée dans la région de Los Angeles qui s’aligne sur le cadre de ses études infirmières et complète son caractère compatissant.
- Chatgpt a placé Laura à Sacramento et a souligné sa compassion, sa force académique et son amour de la nature et du service. En 2023, les habitants d’origine indienne représentaient 3% de la population de Sacramento.
- Gemini l’a localisée à Artesia, une ville avec une population sud-asiatique importante, avec 4,6% d’origine indienne asiatique.
- Grok a explicitement identifié Laura comme faisant partie d’une «communauté indienne-américaine soudée» à Irvine, liant directement son identité culturelle à son nom. Selon le recensement du comté d’Orange 2020, les habitants d’origine asiatique-indienne représentaient 6% de la population d’Irvine.
- Meta Ai a placé Laura dans la vallée de San Gabriel, tandis que le comté de Los Angeles a vu une augmentation de 37% des personnes d’origine asiatique-indienne en 2023. Nous n’avons pas pu trouver de chiffres spécifiques à la vallée de San Gabriel.
- Claude AI a décrit Laura comme une étudiante en soins infirmiers de Modesto, en Californie. Selon 2020 chiffres de la ville de Modesto, les habitants d’origine asiatique représentent 6% de la population; Cependant, la ville ne s’est pas étroite aux personnes d’origine asiatique-indienne.
Dans l’expérience, les modèles AI ont placé Laura Patel à Sacramento, Artesia, Irvine, San Gabriel Valley et Modesto – des locations de communautés indiennes américaines. Artesia et certaines parties d’Irvine ont des populations sud-asiatiques bien établies; Artesia, en particulier, est connue pour son couloir «Little India». Il est considéré comme la plus grande enclave indienne du sud de la Californie.
Laura Nguyen AI Comparaison
- Chatgpt a décrit Laura Nguyen comme un étudiant gentil et déterminé de San Jose. Les personnes d’origine vietnamienne représentent 14% de la population de la ville.
- Gemini a dépeint Laura Nguyen en tant qu’étudiant en soins infirmiers réfléchi de Westminster, en Californie. Les personnes d’origine vietnamienne représentent 40% de la population, la plus grande concentration de vietnamiens-américains du pays.
- Grok a décrit Laura Nguyen comme un étudiant en biologie de Garden Grove, en Californie, avec des liens avec la communauté vietnamienne américaine, ce qui représente 27% de la population.
- Meta Ai a décrit Laura Nguyen comme un étudiant de compassion d’El Monte, où les habitants d’origine vietnamienne représentent 7% de la population.
- Claude Ai a décrit Laura Nguyen comme une étudiante en soins infirmiers basée sur les sciences de Sacramento, en Californie, où les habitants d’origine vietnamienne représentent un peu plus de 1% de la population.
Les modèles AI ont placé Laura Nguyen à Garden Grove, Westminster, San Jose, El Monte et Sacramento, qui abritent d’importantes populations vietnamiennes-américaines ou plus larges américaines. Garden Grove et Westminster, tous deux dans le comté d’Orange, en Californie, ancre «Little Saigon», la plus grande enclave vietnamienne à l’extérieur du Vietnam.
Ce contraste met en évidence un schéma dans le comportement de l’IA: alors que les développeurs travaillent à éliminer le racisme et les préjugés politiques, les modèles créent toujours « l’altérité » culturelle en attribuant des identités ethniques à des noms comme Patel, Nguyen ou Garcia. En revanche, des noms comme Smith ou Williams sont souvent traités comme culturellement neutres, quel que soit le contexte.
En réponse à la demande par e-mail de commentaires, un porte-parole d’OpenAI a refusé de commenter et a plutôt souligné le rapport de la société en 2024 sur la façon dont Chatgpt répond aux utilisateurs en fonction de leur nom.
« Notre étude n’a trouvé aucune différence dans la qualité globale de la réponse pour les utilisateurs dont les noms connaissent différents sexes, races ou ethnies », a écrit Openai. « Lorsque les noms éticulent occasionnellement des différences dans la façon dont ChatGpt répond à la même invite, notre méthodologie a révélé que moins de 1% de ces différences basées sur les noms reflétaient un stéréotype nocif. »
Lorsqu’ils ont été invités à expliquer pourquoi les villes et les lycées ont été sélectionnés, les modèles d’IA ont déclaré que c’était pour créer des histoires réalistes et diverses pour un étudiant en soins infirmiers basé à Los Angeles. Certains choix, comme avec Meta IA, ont été guidés par la proximité de l’adresse IP de l’utilisateur, garantissant la plausibilité géographique. D’autres, comme Fresno et Modesto, ont été choisis pour leur proximité avec Yosemite, soutenant l’amour de la nature de Laura. L’alignement culturel et démographique a ajouté une authenticité, comme le jumelage Garden Grove avec Nguyen ou Irvine avec Patel. Des villes comme San Diego et Santa Cruz ont introduit la variété tout en gardant le récit ancré en Californie pour soutenir une version distincte mais crédible de l’histoire de Laura.
Google, Meta, Xai et Anthropic n’ont pas répondu aux demandes de commentaires.
