Site icon A Viagem dos Argonautas

Inteligência Artificial — Texto 41 D – Poder Artificial: Relatório sobre o Panorama de 2025. Capítulo 3 – Consultando o Registo- a IA Falha Consistentemente com o Utilizador Comum (5/5). Por Kate Brennan, Amba Kak, e Dr. Sarah Myers West

Francisco G Tavares

Nota de editor:

Devido à grande extensão deste texto – Poder Artificial: Relatório sobre o Panorama de 2025 – o mesmo é publicado em 5 partes – A (Sumário Executivo), B (capítulo 1, C (capítulo 2), D (capítulo 3) e E (Capítulo 4).

Hoje publicamos a quinta e última parte do Capítulo 3. 

Seleção e tradução de Júlio Marques Mota

5 min  de leitura

Texto 41 D – Poder Artificial: Relatório sobre o Panorama de 2025. Capítulo 3 – Consultando o Registo- a IA Falha Consistentemente com o Utilizador Comum (5/5)

Por Kate Brennan, Amba Kak, e Dr. Sarah Myers West

Publicado por em 2 de Junho de 2025 (original aqui)

 

 

Índice

Sumário Executivo

Capítulo 1: Os Falsos Deuses da IA

Capítulo 2: Sai cara, ganho eu, sai coroa perde você. Como as empresas de tecnologia manipularam o mercado de IA

Capítulo 3: Consultando o registo. A IA falha sistematicamente ao público

Capítulo 4: Um roteiro para a ação. Fazer da IA uma luta de poder, não do progresso.

 

—-

Capítulo 3: Consultando o Registo- a IA Falha Consistentemente com o Utilizador Comum (5/5)

 

5. A utilização da IA é frequentemente coerciva, violando direitos e enfraquecendo os procedimentos legais

Embora o ponto de entrada na inteligência artificial para muitas pessoas seja feito através de sistemas como o ChatGPT, com mais frequência estamos interagindo com tecnologias de IA que não são utilizadas por nós, mas sobre nós — moldando o nosso acesso a recursos em áreas como finanças, recrutamento e habitação. Como esses tipos de sistemas de IA são geralmente utilizados por atores institucionais poderosos, são eles que se tornam os verdadeiros beneficiários de assimetrias de informação. E ainda mais do que outros tipos de tecnologias, é a aplicação da IA nesses contextos que é especialmente — e frequentemente — coerciva, oferecendo pouca transparência para aqueles que são submetidos a essas tecnologias e nenhuma capacidade significativa de optar por não participar.

A rápida introdução de sistemas de inteligência artificial em infraestruturas sociais críticas levanta preocupações iminentes sobre a violação de diversos direitos e leis essenciais para a realização da justiça, liberdade e dignidade, tanto individual quanto coletivamente — incluindo o devido processo legal, a privacidade e os direitos civis. Isso torna-se especialmente evidente na utilização crescente da IA na aplicação das leis de imigração, onde abusos de direitos humanos são comuns e normas legais são rotineiramente violadas — mesmo antes da introdução da IA nesse contexto.

A aplicação das leis de imigração exige uma quantidade significativa de recolha e processamento de dados: os arquivos de uma única solicitação de imigração podem chegar a milhares de páginas e incluir decisões jurídicas complexas e outros documentos. Como resultado, as agências de imigração vinculadas ao Departamento de Segurança Interna (DHS) integraram rapidamente tecnologias de inteligência artificial em diversos aspetos da fiscalização migratória, mas com pouca ou nenhuma supervisão significativa. Embora o DHS tenha publicado um conjunto de princípios sobre o uso responsável da IA, defensores dos direitos dos imigrantes constataram que a agência frequentemente ignora essas obrigações [190].

Por exemplo, o Serviço de Cidadania e Imigração dos Estados Unidos (USCIS) utiliza ferramentas preditivas para automatizar a tomada de decisões da agência, como o “Asylum Text Analytics”, que analisa pedidos de asilo e de suspensão de deportação para determinar quais são fraudulentos. Essas ferramentas demonstraram, entre outras falhas, altas taxas de classificação incorreta quando aplicadas a textos de pessoas que não são falantes nativos de inglês [191]. E as consequências da identificação errónea de fraude são graves: podem levar à deportação, proibição vitalícia de entrada nos Estados Unidos e prisão de até dez anos. Ainda assim, há pouca ou nenhuma transparência para aqueles sobre os quais esses sistemas são utilizados, não havendo nenhuma possibilidade de recusa ou de procurar reparação quando decisões erradas são tomadas, e — tão importante quanto isso—há poucas evidências de que a eficácia dessas ferramentas tenha sido, ou possa ser, melhorada.

O Departamento de Imigração e Controle de Alfândega (ICE) também utiliza análises preditivas e avaliações de risco para tomar decisões sobre detenção e libertação: por exemplo, uma “pontuação de furacão” é utilizada pela agência para determinar os termos da vigilância eletrónica com base em previsões sobre a probabilidade de uma pessoa “fugir” ou o nível de “ameaça à comunidade” que ela representa. Uma “pontuação de calibração de risco”, usada para orientar decisões de detenção, foi ajustada em diversos momentos pelo ICE de forma que não recomendasse a libertação de nenhum indivíduo avaliado por ela, o que levou a agência a ser processada em 2020 por violar os direitos ao devido processo legal garantidos pela Quinta Emenda [192].

Um banco de dados desenvolvido pela Palantir para o ICE, chamado Investigative Case Management (ICM), é utilizado no processo de tomada de decisões, incluindo a escolha de quais as pessoas que serão alvo de prisão durante operações de rusgas sobre os imigrantes [193]. O ICM é uma ferramenta abrangente que permite filtrar e consultar um banco de dados com centenas de categorias, como “características físicas únicas”, “afiliações criminosas”, “registos de falência” e “local de trabalho”, entre outras, possibilitando que agentes construam relatórios sobre os mesmos alvos [194].

Em 2022, a Palantir anunciou um contrato de cinco anos com o Departamento de Segurança Interna (DHS), no valor de 95,9 milhões de dólares, para manter o sistema [195]. O ICM liga-se a outros bancos de dados governamentais, incluindo registos de todas as pessoas admitidas com visto de estudante, mapas em tempo real das ferramentas de rastreamento de localização do ICE e dados de localização obtidos por leitores de placas de veículos, entre outras fontes de informação [196].

Um novo contrato anunciado pela Palantir com o DHS incluirá uma nova plataforma chamada ImmigrationOS, prevista para setembro de 2025, que dará ao ICE “visibilidade quase em tempo real” sobre pessoas que se estão a auto-deportar dos EUA [197]. Essa plataforma incluirá um “banco de dados mestre” que supostamente integrará dados da Administração da Seguridade Social, do IRS (Receita Federal dos EUA) e do Departamento de Saúde e Serviços Humanos, incluindo dados obtidos por equipas DOGE sem seguir requisitos legais ou processuais [198).

O governo federal também investiu significativamente em tecnologia de reconhecimento facial — usado predominantemente para vigiar e rastrear imigrantes, solicitantes de asilo e ativistas — e que foi considerada tendenciosa e propensa a erros. Por exemplo, a Clearview AI, uma empresa de reconhecimento facial criada com a intenção de aplicar tecnologia de vigilância contra imigrantes, pessoas de cor e contra as pessoas politicamente de esquerda, recebeu quase 4 milhões de dólares em contratos com o ICE, apesar de ter sido processada em diversos estados [199].

Relatórios de Government Accountability Office dos EUA mostram que, entre abril de 2018 e março de 2022, a Clearview foi utilizada por mais agências federais de aplicação da lei do que qualquer outra empresa privada — incluindo o Serviço de Inspeção Postal dos EUA, que usou a Clearview para identificar manifestantes do movimento Black Lives Matter; e a Alfândega e Proteção de Fronteiras (CBP), que utiliza um aplicativo de reconhecimento facial para triagem de solicitantes de asilo [200].

Apesar da legalidade duvidosa e das falhas conhecidas de muitos desses sistemas, a integração da inteligência artificial na fiscalização da imigração parece prestes a intensificar-se: o diretor interino do ICE, Todd Lyons, manifestou aspirações de que a agência conduza deportações como “Amazon Prime para seres humanos” e utilize IA para “libertar vagas [em centros de detenção]” e “encher aviões” [201]. O Departamento de Segurança Interna (DHS) também está a experimentar tecnologia de reconhecimento facial para rastrear crianças migrantes — potencialmente desde a infância — e monitorizá-las à medida que crescem [202].

O uso dessas ferramentas oferece uma aparência de objetividade que oculta não apenas o racismo e a xenofobia explícitos, mas também a intensa pressão política sobre as agências de imigração para restringir o asilo, o auxílio humanitário e outras formas de imigração — pressões que antecedem o governo Trump, mas que se intensificaram drasticamente desde então [203]. Como afirmam especialistas em imigração da organização Just Futures: “independentemente de quão ‘preciso’ seja o programa de IA ao recomendar detenção e deportação, nas mãos das agências de imigração e policiamento, a tecnologia promove uma missão fundamentalmente violenta de direcionar comunidades para detenção e deportação” [204].

Além disso, a inteligência artificial permite que agências federais realizem ações de fiscalização migratória de maneiras profundamente e cada vez mais opacas, tornando ainda mais difícil para aqueles que possam ser falsamente envolvidos ou acusados se desembaraçarem da situação. Muitas dessas ferramentas só são conhecidas pelo público devido a processos judiciais e não estão divulgadas no inventário de IA do Departamento de Segurança Interna (DHS). Mesmo quando são descobertas, ainda temos muito pouca informação sobre como são calibradas ou quais dados foram utilizados no seu treino, o que enfraquece ainda mais a capacidade dos indivíduos de reivindicar os seus direitos a um devido processo legal. Essas ferramentas também dependem de vigilância invasiva da população, desde a análise de textos nas redes sociais; ao uso de reconhecimento facial, vigilância aérea e outras técnicas de monitorização; até a compra de grandes volumes de informações sobre a população através dos corretores de dados como a LexisNexis [205].

Compreender a natureza coerciva desses sistemas é importante para entender como tantos indivíduos que não estão a violar a lei — e que, em alguns casos, são cidadãos naturalizados dos EUA ou portadores de green card — foram detidos ilegalmente pelas autoridades de imigração. O mais preocupante é que a opacidade dos sistemas de IA impede a reparação desses danos. Mas talvez essa falha faça parte do objetivo. Os sistemas de IA, mesmo quando em erro, atuam sempre a favor dos agentes que precisam de cumprir metas de deportação e prisão — quaisquer que sejam os meios, quaisquer que sejam os custos. No fim das contas, tudo isso é bom para os negócios.

 

Notas

  1. Julie Mao et al., Automating Deportation: The Artificial Intelligence Behind the Department of Homeland Security’s Immigration Enforcement Regime, Just Futures Law and Mijente, June 2024, https://mijente.net/wp-content/uploads/2024/06/Automating-Deportation.pdf. Back
  2. Weixin Liang et al., “GPT Detectors Are Biased Against Non-Native English Writers,” arXiv, July 10, 2023, arXiv:2304.02819. Back
  3. Adi Robertson, “ICE Rigged Its Algorithms to Keep Immigrants in Jail, Claims Lawsuit,” Verge,Mar. 3, 2020, https://www.theverge.com/2020/3/3/21163013/ice-new-york-risk-assessment-algorithm-rigged-lawsuit-nyclu-josevelesaca. Back
  4. Mijente, The War Against Immigrants,August 2019, 4, https://mijente.net/wp-content/uploads/2019/08/Mijente-The-War-Against-Immigrants_-Trumps-Tech-Tools-Powered-by-Palantir_.pdf; National Immigration Project et al., Who’s Behind ICE? The Tech and Data Companies Fueling Deportations, October 2018, 3, https://surveillanceresistancelab.org/resources/whos-behind-ice. Back
  5. Jason Koebler, “Inside a Powerful Database ICE Uses to Identify and Deport People,” 404 Media, April 9, 2025, https://www.404media.co/inside-a-powerful-database-ice-uses-to-identify-and-deport-people. Back
  6. Palantir, “Homeland Security Investigations Renews Partnership with Palantir for Case Management Software,” press release, September 26, 2022, https://www.palantir.com/newsroom/press-releases/homeland-security-investigations-renews-partnership-with-palantir. Back
  7. Koebler, “Inside a Powerful Database ICE Uses to Identify and Deport People.” Back
  8. Alayna Alvarez, “Palantir’s Partnership with ICE Deepens,” Axios, May 1, 2025, https://www.axios.com/local/denver/2025/05/01/palantir-deportations-ice-immigration-trump. Back
  9. U.S. House of Representatives, Committee on Oversight and Government Reform, “Letter to Michelle L. Anderson, Assistant Inspector General for Audit, Social Security Administration,” April 17, 2025, https://oversightdemocrats.house.gov/sites/evo-subsites/democrats-oversight.house.gov/files/evo-media-document/2025-04-17.gec-to-ssa-oig-master-data.pdf. Back
  10. Luke O’Brien, “The Shocking Far-Right Agenda Behind the Facial Recognition Tech Used by ICE and the FBI,” Mother Jones, 2025, https://www.motherjones.com/politics/2025/04/clearview-ai-immigration-ice-fbi-surveillance-facial-recognition-hoan-ton-that-hal-lambert-trump. Back
  11. Ibid. Back
  12. Marina Dunbar, “Ice Director Wants to Run Deportations like ‘Amazon Prime for Human Beings’,” Guardian, April 9, 2025, https://www.theguardian.com/us-news/2025/apr/09/ice-todd-lyons-deporation-amazon. Back
  13. Eileen Guo, “The US Wants to Use Facial Recognition to Identify Migrant Children as They Age,” Technology Review, August 14, 2024, https://www.technologyreview.com/2024/08/14/1096534/homeland-security-facial-recognition-immigration-border. Back
  14. Mao et al., “Automating Deportation,” 16. Back
  15. Ibid. Back
  16. Sam Biddle, “LexisNexis Is Selling Your Personal Data to ICE So It Can Try to Predict Crimes,” Intercept, June 20, 2023, https://theintercept.com/2023/06/20/lexisnexis-ice-surveillance-license-plates. Back

 

As autoras:

Kate Brennan é diretora associada do AI Now Institute. Tem um J. D. da Faculdade de direito de Yale e um duplo B. A. da Universidade Brown em cultura moderna e Media e Estudos de género e sexualidade. Como Diretora Associada do AI Now, Kate, lidera programas de política e pesquisa para moldar a indústria de IA no interesse público. Tem uma década de experiência na indústria de tecnologia para a AI Now, trabalhando em várias funções tanto no marketing de produtos quanto na política. Antes de ingressar na AI Now, Kate ocupou vários cargos na indústria de tecnologia. Como comerciante de produtos na Jigsaw do Google, Kate supervisionou lançamentos de produtos e iniciativas de pesquisa que enfrentavam desinformação, censura e assédio online. Anteriormente, Kate construiu e gerenciou um programa nacional para apoiar as mulheres na indústria de jogos, lançando jogos por criadores de jogos sub-representados e comissionando pesquisas de ponta sobre a dinâmica de gênero na indústria de jogos. Ela começou sua carreira administrando marketing digital para organizações sem fins lucrativos e sindicatos politicamente progressistas. Na Faculdade de direito, Kate atuou como editora-chefe do Yale Journal of Law and Feminism e foi membro da Technology Accountability Clinic, um projeto da Clínica de liberdade de mídia e acesso à informação da Yale Law School que enfrenta o poder excessivo na indústria de tecnologia. Como membro da clínica, trabalhou em questões como a vigilância biométrica nas prisões e o acesso à informação sobre o aborto online. Como estagiária jurídica do Neighborhood Legal Services of Los Angeles County, representou trabalhadores de baixa renda em Los Angeles em audiências administrativas para recuperar benefícios e aconselhou trabalhadores sobre roubo salarial, desemprego e reivindicações de retaliação.

 Amba Kak,é co-diretora executiva do AI Now Institute. Formada como advogada, é licenciada em BA LLB (Hons) pela Universidade Nacional de Ciências Jurídicas da Índia e é ex-beneficiária da Google Policy Fellowship e da Mozilla Policy Fellowship. Ela tem um Mestrado em Direito (BCL) e um Mestrado em Ciências Sociais da Internet na Universidade de Oxford, que frequentou como Rhodes Scholar. passou os últimos quinze anos projetando e defendendo políticas tecnológicas de interesse público, que vão desde a neutralidade da rede até à privacidade e à responsabilidade algorítmica, em todo o governo, indústria e sociedade civil – e em muitas partes do mundo. completou recentemente seu mandato como Consultora Sênior em IA na Federal Trade Commission. Antes da AI Now, ela foi Consultora de políticas globais na Mozilla; e também atuou anteriormente como consultora Jurídica do regulador de telecomunicações da Índia (TRAI) sobre regras de neutralidade da rede. Aconselha regularmente membros do Congresso, da Casa Branca, da Comissão Europeia, do governo do Reino Unido, da cidade de Nova Iorque, dos EUA e de outras agências reguladoras em todo o mundo; é amplamente publicada em locais académicos e populares e seu trabalho foi apresentado no The Atlantic, The Financial Times, MIT Tech Review, Nature, The Washington Post e The Wall Street Journal, entre outros. Amba atualmente faz parte do Conselho de Administração da Signal Foundation e do Comitê de IA do Conselho da Mozilla Foundation, e é afiliada como pesquisadora sênior visitante no Instituto de segurança cibernética e Privacidade da Northeastern University.

Dr. Sarah Myers West, é doutora e mestra pela Universidade do Sul da Califórnia. É co-diretora executiva do AI Now Institute. Passou os últimos quinze anos a interrogar o papel das empresas de tecnologia e a sua emergência como poderosos actores políticos nas linhas de frente da governação internacional. O seu próximo livro, Tracing Code (University of California Press) desenha em anos de histórico e pesquisa em ciências sociais para analisar as origens de dados do capitalismo comercial e de vigilância. A pesquisa premiada de Sarah é apresentada em importantes revistas acadêmicas e plataformas de mídia proeminentes, incluindo The Washington Post, The Atlantic, The Financial Times, Nature e The Wall Street Journal. Assessora regularmente membros do Congresso, da casa branca, da Comissão Europeia, do governo do Reino Unido, do Consumer Financial Protection Board e de outras agências reguladoras dos EUA e internacionais e da cidade de Nova Iorque, e testemunhou perante o Congresso sobre questões como inteligência artificial, concorrência e privacidade de dados. Concluiu recentemente um mandato como consultora Sénior em IA na Federal Trade Commission, onde aconselhou a Agência sobre o papel da inteligência artificial na formação da economia, trabalhando em questões de concorrência e Defesa do consumidor. Atualmente, ela atua no grupo de trabalho AI Futures da OCDE.

 

Exit mobile version