Polícia britânica desativa modelos de previsão de crime tidos como não confiáveis
Investigação revela que algoritmos de risco em Bristol erravam para mais e para menos, e foram abandonados sem registro de por quê.
A polícia de Avon and Somerset e o conselho municipal de Bristol, no Reino Unido, desativaram em 2023 pelo menos dois modelos de aprendizado de máquina usados para pontuar o risco de exploração sexual e criminal de crianças, depois que funcionários concluíram que não podiam mais confiar nos resultados. A investigação conjunta de WIRED, Liberty Investigates, The Bristol Cable e Lighthouse Reports, publicada em 25 de junho de 2026, obteve centenas de páginas via pedidos de acesso à informação e reconstruiu o caso.
Os modelos integravam a Think Family Database, base lançada em 2016 que reúne registros de cerca de 475 mil residentes atuais e antigos da cidade, incluindo dados sensíveis de saúde mental, habitação, gravidez na adolescência e merenda escolar gratuita. A coleta se apoiou em "legal gateways" — provisões legais de compartilhamento entre órgãos públicos — sem consentimento dos titulares.
Para quem responde por governança e proteção de dados, o ponto de partida é esse: um tratamento massivo de dados pessoais sensíveis, com finalidade de perfilamento de risco individual, operou por anos e foi desligado sem que nem o conselho nem a polícia mantivessem registro do porquê da decisão.
Roterdã e o escândalo dos auxílios repetem o padrão
O caso de Bristol não é isolado. Órgãos públicos europeus vêm abandonando modelos de risco depois de descobrir que reproduzem discriminação. Em Roterdã, uma investigação de 2023 da Lighthouse Reports com a WIRED mostrou que o algoritmo de detecção de fraude em benefícios sociais, desenvolvido pela Accenture com 500 árvores de decisão, penalizava mulheres, mães solteiras jovens e pessoas sem domínio do holandês; a cidade suspendeu o uso.
O defeito técnico é instrutivo: o sistema misturava erro honesto de formulário e fraude deliberada numa mesma categoria, ensinando o modelo a associar baixa proficiência linguística a propensão a fraudar. Antes disso, o escândalo dos auxílios à infância na Holanda já havia jogado milhares de famílias inocentes sob suspeita.
O fio comum é o uso de variáveis que funcionam como proxy de pobreza. Em Bristol, os modelos de exploração infantil pesavam auxílio-moradia, atraso de aluguel e merenda gratuita — os mesmos marcadores socioeconômicos que, no fim, deslocavam o alvo do risco real para o marcador de vulnerabilidade social.
Sem código-fonte, não há auditoria possível
Traduzido para os ativos de quem gere risco e compliance, o caso expõe uma falha estrutural de rastreabilidade. Quando a Social Finance conduziu revisão independente encomendada pelo conselho de Bristol, não conseguiu completar a avaliação técnica: o código-fonte e as variáveis que descreviam como os modelos foram construídos não puderam ser localizados.
A revisão de mais de 100 páginas classificou os modelos de risco como o "elemento mais fraco" do projeto e registrou relatos de servidores de que vítimas de exploração sexual pontuavam abaixo de autores de furto. Assistentes sociais diziam não confiar nos números nem entender como eram gerados, ao ponto de deixarem de usá-los na prática.
Para a operação, isso significa que qualquer decisão automatizada que afete pessoas precisa de documentação de desenvolvimento, versionamento, teste de viés por subgrupo e trilha de auditoria preservada. Um modelo sem registro de como foi criado, usado e desligado é, por definição, inauditável — e transfere para a organização o ônus de provar que não houve dano histórico a quem foi pontuado.
Precisão abaixo de 10% e o custo de reputação
Os números que interessam ao comitê de auditoria e riscos vêm da auditoria independente da firma Eticas, que revisou dados de desempenho de 13 modelos usados entre 2017 e 2024 — mais de 36 mil registros de performance fornecidos pela polícia. O veredito foi que a maioria opera com baixa precisão, sinalizando alta proporção de pessoas incorretamente marcadas como risco.
Um modelo de previsão de furto operou com precisão inferior a 10% por mais de três anos, segundo os dados policiais; menos de 1 em 10 apontados como alto risco de fato ofenderia. O Offender Management App, desenhado para conter dados de cerca de 300 mil pessoas, acerta apenas 1 em cada 3 que realmente ofendem, enquanto 1 em 4 dos marcados como prováveis não ofende.
A exposição não é hipotética: a Comissária da Infância da Inglaterra, Rachel de Souza, classificou os achados como "profundamente preocupantes", e um morador incluído no app move ação judicial. Para uma organização, a combinação de baixa acurácia, falta de transparência e litígio individual é o retrato do risco reputacional e de continuidade que justifica pauta no comitê.
EU AI Act e PL 2338 miram exatamente esse uso
O que os reguladores sinalizam já começa a virar norma. O EU AI Act proíbe, no artigo 5(1)(d), sistemas de IA que avaliem o risco individual de uma pessoa cometer crime baseados unicamente em perfilamento ou traços de personalidade; usos que escapam da proibição caem na categoria de alto risco, com obrigações de avaliação e supervisão humana. É a moldura que enquadra experimentos como o de Bristol.
No Brasil, o vetor mais imediato é a ANPD, que em dezembro de 2025 incluiu inteligência artificial e tratamento de dados pelo poder público entre os eixos prioritários de fiscalização para 2026-2027, com 75 ações previstas. O artigo 20 da LGPD já garante ao titular revisão de decisões automatizadas, e o artigo 37 exige Relatório de Impacto quando o tratamento representa risco elevado.
O PL 2338/2023, em tramitação na Câmara, adota classificação por risco e trata reconhecimento facial em segurança pública como risco excessivo — embora o relatório em disputa possa afrouxar essa lista. Para fornecedores de tecnologia ao setor público, governança de IA e adequação à LGPD deixam de ser requisito formal e passam a critério de contratação.
Expansão nacional avança apesar das falhas
Há divergência real sobre o rumo. Enquanto Bristol desligava modelos, o Reino Unido criou o PoliceAI, corpo com aporte de £75 milhões para difundir ferramentas de IA a 43 forças policiais na Inglaterra e no País de Gales, hospedado no College of Policing e liderado por Andy Marsh, ex-chefe justamente de Avon and Somerset. Marsh defende que a IA eficaz seja "injetada como heroína" para acelerar o trabalho policial.
Do outro lado, especialistas como Rob Procter, da Universidade de Warwick, e Debbie Watson, da Universidade de Bristol, alertam para "danos históricos" e para o peso de cada falso positivo sobre uma família cujo filho seja sinalizado. A polícia sustenta que optou por não implantar alguns modelos, como o de furto, e que os dados de auditoria vinham de arquivo estático não deletado.
Gary Davies, ex-chefe da equipe Insight Bristol, minimiza o impacto ao dizer que os profissionais não confiavam nos escores e por isso não os usavam — argumento que a própria ausência de registros torna impossível verificar de forma independente.
Na data de 1 de julho de 2026, momento da publicação desta notícia compilada, todos os links estavam disponíveis. Não nos responsabilizamos nem controlamos eventuais alterações, remoções das URLs ou modificações no conteúdo das fontes consultadas.
