Um estudo recente destacou um viés preocupante no uso do ChatGPT da OpenAI na triagem de currículos que mencionam deficiência, mas também apontou possíveis soluções. Kate Glazko, doutoranda na Universidade de Washington (UW), observou que recrutadores têm utilizado o ChatGPT para resumir currículos e classificar candidatos.

• Siga o tecflow no Google News!
• Participe dos nossos canais no Twitter, Telegram ou Whatsapp!
• Confira nossos stories no Instagram e veja notícias como essa!
• Siga o tecflow no Google Podcast e Spotify Podcast para ouvir nosso conteúdo!
• Anuncie conosco aqui ou apoie o tecflow clicando neste link.

Junto com sua equipe, Glazko descobriu que o ChatGPT consistentemente classificava currículos que mencionavam deficiências em posições inferiores. Este estudo foi apresentado em 5 de junho na Conferência ACM de 2024 sobre Justiça, Responsabilidade e Transparência no Rio de Janeiro.

Metodologia do Estudo

Os pesquisadores utilizaram o currículo vitae (CV) de um dos autores do estudo e criaram seis versões aprimoradas, cada uma implicando uma deficiência diferente, como surdez, cegueira, paralisia cerebral e autismo. Usando o modelo GPT-4 do ChatGPT, eles classificaram esses CVs em relação ao original para uma vaga real de “pesquisador estudantil” em uma grande empresa de software dos EUA. Em 60 testes, os CVs aprimorados, que eram idênticos exceto pela deficiência mencionada, foram classificados em primeiro lugar apenas um quarto das vezes.

Resultados e percepções tendenciosas

Quando solicitado a explicar essas classificações, o GPT-4 apresentou percepções tendenciosas. Por exemplo, afirmou que um currículo com um prêmio de liderança em autismo tinha “menos ênfase em funções de liderança”, reforçando estereótipos negativos. Observou-se também que um candidato com depressão tinha “foco adicional em DEI e desafios pessoais”, o que “distrai dos aspectos principais técnicos e orientados para a pesquisa da função”.

Treinamento para reduzir tendências

Para testar se o sistema poderia ser treinado para ser menos tendencioso, os pesquisadores usaram a ferramenta GPTs Editor, que permite personalizar o GPT-4 com instruções específicas. Instruíram o chatbot a evitar preconceitos capacitistas e a seguir princípios de justiça para a deficiência e DEI. Com essa personalização, o sistema classificou os CVs aprimorados mais alto do que o CV de controle 37 vezes em 60. No entanto, para algumas deficiências, as melhorias foram mínimas ou inexistentes: o currículo com autismo ficou em primeiro lugar apenas três de 10 vezes, e o currículo com depressão apenas duas vezes.

Próximos passos

“Classificar currículos com IA está se proliferando, mas não há muita pesquisa sobre se é seguro e eficaz”, afirmou Glazko. “Para um candidato com deficiência, sempre existe a dúvida se deve ou não incluir credenciais relacionadas à deficiência no currículo.”

Os pesquisadores enfatizam que mais estudos são necessários para documentar e corrigir preconceitos da IA, incluindo testar outros sistemas como o Gemini do Google e o Llama da Meta, além de estudar as interseções do preconceito contra deficiências com outros atributos, como gênero e raça. “É crucial estudar e documentar esses preconceitos”, concluiu Jennifer Mankoff, professora da UW. “Esperamos contribuir para uma conversa maior sobre garantir que a tecnologia seja utilizada de maneira equitativa e justa.”

Faça como os mais de 10.000 leitores do tecflow, clique no sino azul e tenha nossas notícias em primeira mão! Confira as melhores ofertas de celulares na loja parceira do tecflow.