A ilusão da neutralidade da IA

A IA não é neutra. Quando alimentada por dados enviesados, pode reforçar desigualdades. Usar IA com responsabilidade exige consciência ética, supervisão e alfabetização crítica.

A Inteligência Artificial (IA) está cada vez mais presente no nosso cotidiano, oferecendo soluções que prometem agilidade, eficiência e personalização [1]. Seja no entretenimento, como em jogos e recomendações em plataformas de streaming, ou na automatização de atividades em diferentes setores corporativos, seu uso avança rapidamente. No entanto, há um ponto importante que precisa ser compreendido por todos que interagem com essa tecnologia: a inteligência artificial não é neutra [2, 3].

Modelos de IA baseados em aprendizado de máquina (machine learning) aprendem a partir de grandes volumes de dados. Quando esses dados refletem distorções sociais, como preconceitos ou desigualdades, os sistemas tendem a reproduzi-las [4, 5]. Esse fenômeno, conhecido como viés algorítmico, acontece não apenas por causa dos dados utilizados, mas também pelas decisões dos desenvolvedores sobre como o sistema deve funcionar, o que ele deve considerar importante ou irrelevante, e quais requisitos devem guiar suas previsões. Como consequência, a IA pode gerar resultados injustos ou desfavoráveis para certos grupos, amplificando preconceitos relacionados à religião, gênero, raça ou cultura [6].

Por exemplo, pesquisas indicam que algoritmos de inteligência artificial podem fornecer previsões mais precisas para um grupo de estudantes do que para outros, simplesmente com base em atributos demográficos como gênero [7, 8]. Da mesma forma, algoritmos usados em diagnósticos médicos, como os voltados para detecção de câncer de pele, tendem a ter maior precisão em peles claras, uma vez que foram treinados majoritariamente com esse tipo de dado [9]. Essa limitação evidencia desigualdades estruturais nos dados utilizados e ressalta a necessidade de abordagens mais inclusivas e rigorosas no desenvolvimento desses sistemas. Como consequência, pessoas de pele mais escura podem receber diagnósticos imprecisos ou tardios, comprometendo a equidade no acesso à saúde e ampliando disparidades já existentes. Em um contexto de educação, esse viés pode ser transmitido aos alunos, moldando percepções e decisões baseadas em dados injustos.

No setor corporativo, os riscos são igualmente significativos. Algoritmos usados em processos seletivos, análise de desempenho ou decisões estratégicas podem reforçar desigualdades já presentes nas organizações. Há casos documentados em que sistemas automatizados de recrutamento priorizaram currículos masculinos devido a padrões históricos nos dados de contratação, desvalorizando automaticamente perfis femininos, especialmente em áreas técnicas [10]. Sistemas de análise preditiva, usados para avaliar riscos, produtividade ou comportamento de consumo, também podem tomar decisões enviesadas, impactando negativamente a reputação da empresa e comprometendo iniciativas de diversidade, inclusão e justiça organizacional.

Estudos em processamento de linguagem natural (NLP) revelam viés na interpretação de feedbacks, o que pode reforçar disparidades em avaliações de desempenho e comunicação interna [11, 12]. Há evidências de que algoritmos analisam cartas de recomendação de forma distinta dependendo do gênero ou da origem étnica do candidato, revelando como o conjunto de dados pode conduzir a um tratamento desigual entre grupos [13]. Em contextos empresariais, isso pode afetar promoções, acesso a treinamentos e decisões de liderança, com impactos diretos no clima organizacional e no desenvolvimento de talentos.

Outro ponto crítico é a forma como os sistemas de inteligência artificial tratam a linguagem. Grandes modelos de linguagem (LLMs), como os utilizados para geração automática de texto, são alimentados com dados públicos retirados da internet, com muitos estereótipos, desinformação e representações parciais da realidade. Esses sistemas podem reproduzir padrões de forma sutil, reforçando visões distorcidas sobre grupos sociais ou culturais [2, 14]. Como suas respostas costumam parecer coerentes e bem estruturadas, há um risco de que usuários assumam essas informações como verdades, sem uma avaliação crítica [15].

Embora a inteligência artificial possa gerar respostas plausíveis, os usuários precisam exercitar o discernimento e não aceitar inquestionavelmente todo o conteúdo gerado, pois a ferramenta pode ser imprecisa ou superficial [16]. Essa confiança excessiva pode gerar impactos relevantes na formação do conhecimento. Quando isso acontece em ambientes educacionais, por exemplo, professores e alunos podem absorver sem perceber conceitos errôneos, perpetuando ciclos de desinformação. Sistemas treinados com dados que carregam desigualdades sociais tendem a internalizá-las como padrões verdadeiros, perpetuando disparidades em suas previsões [17]. 

Além disso, o uso excessivo e passivo da inteligência artificial pode ser prejudicial ao desenvolvimento da criatividade e do pensamento crítico, levando à dependência e à superficialidade, ou ao que é chamado de dívida cognitiva [18]. Portanto, é muito importante ensinar os usuários a pensar criticamente sobre as informações recebidas das fontes de IA, como parte de uma alfabetização em IA. Essa habilidade permite questionar a origem dos dados, compreender as limitações dos modelos e avaliar melhor a confiabilidade das respostas geradas [6]. 

O uso responsável da inteligência artificial exige não apenas conhecimento técnico, mas também consciência ética, sensibilidade social e disposição para revisar continuamente processos e resultados.

Tanto na educação quanto no ambiente corporativo, adotar a inteligência artificial requer atenção constante à equidade, à transparência e à governança [19]. O risco não está apenas em erros técnicos, mas na normalização de decisões automatizadas que escapam à revisão humana [20]. A ausência de explicabilidade em muitos algoritmos, que operam como verdadeiras caixas-pretas, dificulta a identificação de causas de erros ou injustiças [21]. A inteligência artificial explicável (XAI) busca aumentar a confiança ao tornar os algoritmos compreensíveis, permitindo que os usuários entendam, confiem e gerenciem melhor os sistemas de IA. Isso reforça a necessidade de supervisão contínua, responsabilização clara e adoção de práticas de auditoria algorítmica [3].

A IA deve ser vista como uma uma ferramenta que potencializa as capacidades humanas, liberando tempo e recursos para atividades mais criativas e complexas [16]. É fundamental que os usuários desenvolvam uma alfabetização em IA, capaz de prepará-los para identificar, questionar e mitigar vieses ou alucinações presentes nos sistemas automatizados. A responsabilidade pelo conteúdo gerado continua sendo humana. Por isso, seu uso deve ser guiado por princípios éticos e voltado ao aprimoramento contínuo em benefício do bem comum [22].

Referências:

  1. Qin, Q., & Zhang, S. (2024). Visualizing the knowledge mapping of artificial intelligence in education: A systematic review. Education and Information Technologies, 30(1), 449–483. https://doi.org/10.1007/s10639-024-13076-1
  2. Ngaihlian, D. (2025). Tech, Trauma and Testimony: The limits of AI in GBV Justice. Elsevier BV. https://doi.org/10.2139/ssrn.5239333
  3. Xavier, B. (2024). Biases within AI: challenging the illusion of neutrality. AI & SOCIETY, 40(3), 1545–1546. https://doi.org/10.1007/s00146-024-01985-1 
  4. Shaw, K., Henning, M. A., & Webster, C. S. (2025). Artificial Intelligence in Medical Education: a Scoping Review of the Evidence for Efficacy and Future Directions. Medical Science Educator. https://doi.org/10.1007/s40670-025-02373-0
  5. Pessach, D., & Shmueli, E. (2022). A Review on Fairness in Machine Learning. ACM Computing Surveys, 55(3), 1–44. https://doi.org/10.1145/3494672 
  6. Özer, M. (2024). Potential Benefits and Risks of Artificial Intelligence in Education. Bartın Üniversitesi Eğitim Fakültesi Dergisi, 13(2), 232–244. https://doi.org/10.14686/buefad.1416087 
  7. Khosravi, H., Shum, S. B., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., & Gašević, D. (2022). Explainable Artificial Intelligence in education. Computers and Education: Artificial Intelligence, 3, 100074. https://doi.org/10.1016/j.caeai.2022.100074
  8. Baker, R. S., & Hawn, A. (2021). Algorithmic Bias in Education. International Journal of Artificial Intelligence in Education, 32(4), 1052–1092. https://doi.org/10.1007/s40593-021-00285-9 
  9. Wen, D., Khan, S. M., Ji Xu, A., Ibrahim, H., Smith, L., Caballero, J., Zepeda, L., de Blas Perez, C., Denniston, A. K., Liu, X., & Matin, R. N. (2022). Characteristics of publicly available skin cancer image datasets: a systematic review. The Lancet Digital Health, 4(1), e64–e74. https://doi.org/10.1016/s2589-7500(21)00252-1
  10. Dastin, J. (2018, October 11). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/world/insight-amazon-scraps-secret-ai-recruiting-tool-that-showed-bias-against-women-idUSKCN1MK0AG/ ‌
  11. Parisi, K. (2024, August 26). Race and gender stereotypes permeate through performance reviews. HR Brew; Morning Brew. https://www.hr-brew.com/stories/2024/08/26/race-and-gender-stereotypes-permeate-in-performance-reviews-study-finds ‌
  12. Matos, T., Santos, W., Zdravevski, E., Coelho, P. J., Pires, I. M., & Madeira, F. (2025). A systematic review of artificial intelligence applications in education: Emerging trends and challenges. Decision Analytics Journal, 15, 100571. https://doi.org/10.1016/j.dajour.2025.100571
  13. Gray, G. M., Williams, S. A., Bludevich, B., Irby, I., Chang, H., Danielson, P. D., Gonzalez, R., Snyder, C. W., Ahumada, L. M., & Chandler, N. M. (2023). Examining Implicit Bias Differences in Pediatric Surgical Fellowship Letters of Recommendation Using Natural Language Processing. Journal of Surgical Education, 80(4), 547–555. https://doi.org/10.1016/j.jsurg.2022.12.002 
  14. Samala, A. D., Rawas, S., Wang, T., Reed, J. M., Kim, J., Howard, N.-J., & Ertz, M. (2024). Unveiling the landscape of generative artificial intelligence in education: a comprehensive taxonomy of applications, challenges, and future prospects. Education and Information Technologies, 30(3), 3239–3278. https://doi.org/10.1007/s10639-024-12936-0 
  15. Alier, M., García-Peñalvo, F.-J., & Camba, J. D. (2024). Generative Artificial Intelligence in Education: From Deceptive to Disruptive. International Journal of Interactive Multimedia and Artificial Intelligence, 8(5), 5. https://doi.org/10.9781/ijimai.2024.02.011
  16. Leite, H. (2025). Artificial intelligence in higher education: Research notes from a longitudinal study. Technological Forecasting and Social Change, 215, 124115. https://doi.org/10.1016/j.techfore.2025.124115
  17. Cheong, B. C. (2024). Transparency and accountability in AI systems: safeguarding wellbeing in the age of algorithmic decision-making. Frontiers in Human Dynamics, 6. https://doi.org/10.3389/fhumd.2024.1421273 
  18. Kosmyna, N., Hauptmann, E., Yuan, Y. T., Situ, J., Liao, X.-H., Beresnitzky, A. V., Braunstein, I., & Maes, P. (2025). Your Brain on ChatGPT: Accumulation of Cognitive Debt when Using an AI Assistant for Essay Writing Task (Version 1). arXiv. https://doi.org/10.48550/ARXIV.2506.08872
  19. Merino-Campos, C. (2025). The Impact of Artificial Intelligence on Personalized Learning in Higher Education: A Systematic Review. Trends in Higher Education, 4(2), 17. https://doi.org/10.3390/higheredu4020017 
  20. Cukurova, M. (2024). The interplay of learning, analytics and artificial intelligence in education: A vision for hybrid intelligence. British Journal of Educational Technology, 56(2), 469–488. https://doi.org/10.1111/bjet.13514 
  21. Khosravi, H., Shum, S. B., Chen, G., Conati, C., Tsai, Y.-S., Kay, J., Knight, S., Martinez-Maldonado, R., Sadiq, S., & Gašević, D. (2022). Explainable Artificial Intelligence in education. Computers and Education: Artificial Intelligence, 3, 100074. https://doi.org/10.1016/j.caeai.2022.100074
  22. Abulibdeh, A., Zaidan, E., & Abulibdeh, R. (2024). Navigating the confluence of artificial intelligence and education for sustainable development in the era of industry 4.0: Challenges, opportunities, and ethical dimensions. Journal of Cleaner Production, 437, 140527. https://doi.org/10.1016/j.jclepro.2023.140527
Ezequiel Roberto Zorzal

Professor Associado na Universidade Federal de São Paulo (UNIFESP), doutor em Engenharia Elétrica e pós-doutor em Tecnologias Interativas, com mais de 15 anos de experiência em ensino, pesquisa e desenvolvimento de tecnologias emergentes. É especialista em Realidade Estendida (XR) e Inteligência Artificial (IA). Como pesquisador e orientador de mestrado e doutorado, lidera projetos que conectam academia e mercado, com foco em inovação e impacto social. Atua também como palestrante, consultor e colaborador internacional do INESC-ID/IST da Universidade de Lisboa, compartilhando estratégias e insights sobre o uso ético e eficaz de IA e XR em diferentes contextos.