Com a adoção crescente de inteligência artificial e algoritmos na administração pública, muitos órgãos passaram a utilizar sistemas automatizados para analisar dados e apoiar decisões.
Essas tecnologias podem ajudar a tornar processos mais rápidos e eficientes. Porém, surge uma preocupação importante: sistemas públicos podem gerar decisões discriminatórias sem que isso seja percebido inicialmente.
Isso ocorre principalmente quando os algoritmos reproduzem padrões presentes nos dados utilizados para seu funcionamento.
O que é viés algorítmico?
O chamado viés algorítmico ocorre quando um sistema automatizado produz resultados que favorecem ou prejudicam determinados grupos de forma injustificada.
Isso pode acontecer quando:
• Os dados utilizados no treinamento do sistema refletem desigualdades históricas
• Determinadas populações estão sub-representadas nas bases de dados
• Os critérios utilizados pelo algoritmo não são adequadamente revisados
• Há ausência de supervisão humana na análise dos resultados
Nesses casos, o sistema pode repetir padrões de discriminação sem que isso tenha sido a intenção inicial.
Em quais situações isso pode ocorrer?
Sistemas automatizados utilizados pelo poder público podem influenciar decisões em áreas como:
• Concessão de benefícios sociais
• Identificação de possíveis fraudes
• Seleção em programas públicos
• Priorização de políticas públicas
• Avaliação de risco em processos administrativos
Se os critérios utilizados não forem cuidadosamente avaliados, determinados grupos podem ser afetados de forma desproporcional.
Como evitar esse tipo de problema?
O uso responsável da inteligência artificial exige medidas de controle e avaliação constantes, como:
• Auditoria dos algoritmos utilizados
• Revisão periódica dos dados empregados
• Testes para identificar possíveis discriminações
• Transparência sobre os critérios de decisão
• Supervisão humana no processo decisório
Essas medidas ajudam a reduzir o risco de decisões injustas ou distorcidas.
O cidadão pode questionar uma decisão discriminatória?
Sim.
Se uma decisão baseada em sistema automatizado gerar tratamento desigual ou prejuízo indevido, é possível questionar o ato administrativo.
Entre os pontos que podem ser analisados estão:
• Critérios utilizados na decisão
• Impacto desproporcional sobre determinado grupo
• Falta de transparência no funcionamento do sistema
• Ausência de possibilidade de revisão humana
Dependendo do caso, a situação pode ser discutida na esfera administrativa ou judicial.
Existe responsabilidade nesses casos?
Sim.
Mesmo quando utiliza sistemas tecnológicos, o poder público continua responsável pelas decisões tomadas.
Se um sistema gerar discriminação indevida ou causar danos injustos, o Estado pode ser responsabilizado, especialmente quando houver falha de controle, supervisão ou avaliação da tecnologia utilizada.
Atenção
A inteligência artificial pode contribuir para melhorar a gestão pública, mas seu uso exige cautela e fiscalização constante.
Sem mecanismos adequados de transparência, auditoria e revisão, sistemas automatizados podem reproduzir desigualdades existentes e gerar decisões discriminatórias sem que isso seja percebido de imediato.