Estudo revela preconceito do ChatGPT contra currículos que mencionam deficiência, mas aponta soluções. Kate Glazko, estudante de doutorado da Universidade de Washington (UW), notou que recrutadores estão utilizando o ChatGPT da OpenAI para resumir currículos e classificar candidatos. Em um estudo recente, Glazko e sua equipe descobriram que o ChatGPT consistentemente classificava currículos que mencionavam deficiências em posições inferiores. O estudo foi apresentado em 5 de junho na Conferência ACM de 2024 sobre Justiça, Responsabilidade e Transparência no Rio de Janeiro. Os pesquisadores usaram o currículo vitae (CV) de um dos autores do estudo e criaram seis CVs aprimorados, cada um implicando uma deficiência diferente, como surdez, cegueira, paralisia cerebral e autismo.
Eles usaram o modelo GPT-4 do ChatGPT para classificar esses CVs em relação ao original para uma vaga real de “pesquisador estudantil” em uma grande empresa de software dos EUA. Em 60 testes, os CVs aprimorados, que eram idênticos exceto pela deficiência mencionada, foram classificados em primeiro lugar apenas um quarto das vezes. Quando solicitado a explicar essas classificações, o GPT-4 apresentou percepções tendenciosas. Por exemplo, afirmou que um currículo com um prêmio de liderança em autismo tinha “menos ênfase em funções de liderança”, reforçando estereótipos negativos. Observou-se também que um candidato com depressão tinha “foco adicional em DEI e desafios pessoais”, o que “distrai dos aspectos principais técnicos e orientados para a pesquisa da função.
” Para testar se o sistema poderia ser treinado para ser menos tendencioso, os pesquisadores usaram a ferramenta GPTs Editor, que permite personalizar o GPT-4 com instruções escritas. Instruíram o chatbot a evitar preconceitos capacitistas e a seguir princípios de justiça para a deficiência e DEI. Com essa personalização, o sistema classificou os CVs aprimorados mais alto do que o CV de controle 37 vezes em 60. No entanto, para algumas deficiências, as melhorias foram mínimas ou inexistentes: o currículo com autismo ficou em primeiro lugar apenas três de 10 vezes, e o currículo com depressão apenas duas vezes. “Classificar currículos com IA está se proliferando, mas não há muita pesquisa sobre se é seguro e eficaz”, afirmou Glazko.
“Para um candidato com deficiência, sempre existe a dúvida se deve ou não incluir credenciais relacionadas à deficiência no currículo.” Os pesquisadores enfatizam que mais estudos são necessários para documentar e corrigir preconceitos da IA, incluindo testar outros sistemas como o Gemini do Google e o Llama da Meta, além de estudar as interseções do preconceito contra deficiências com outros atributos, como gênero e raça. “É crucial estudar e documentar esses preconceitos”, concluiu Jennifer Mankoff, professora da UW. “Esperamos contribuir para uma conversa maior sobre garantir que a tecnologia seja utilizada de maneira equitativa e justa.”
GAZETA BRASIL