TropicAI

By Paola Cantarini

Home / TropicAI

Sou visto, logo existo – vigilância líquida em massa e hacking governamental

Paola Cantarini[1]

INTRODUÇÃO

O presente artigo visa, pois, trazer reflexões críticas, tendo por marco teórico as obras e o curso sobre vigilância ministrado pelo professor David Lyon em 02/2024, realizado na USP de Ribeirão Preto no CEADIN, coordenado por mim juntamente com o professor Nuno Coelho. David Lyon é o investigador principal do Projeto de Vigilância de Big Data, professor emérito de sociologia e direito na Queen’s University e ex-diretor do Centro de Vigilância e um dos maiores especialistas na temática. Visa-se trazer reflexões acerca de algumas de suas principais obras, em diálogo com outros autores que estudam o tema, envolvendo etapas anteriores a sociedade da vigilância digital, em especial acerca do pensamento de Foucault quanto aos seus estudos de sociedade da normalização, disciplina e regulamentação, e sua evolução nas obras de Deleuze e de Byung-Chun Han, com a perspectiva da sociedade de controle e do panóptico digital, analisando-se casos paradigmáticos concretos, a fim de se juntar uma análise teórica a uma prática, no sentido de uma “phronesis” significando para os gregos um conhecimento prático.

A vigilância é uma dimensão-chave do mundo moderno, e está atualmente intimamente relacionada com o big data (Projeto “The Big Data Surveillance” Centro de Estudos de Vigilância do Canadá – https://www.surveillance-studies.ca), a exemplo de aplicações de IA como reconhecimento facial e policiamento preditivo, em termos de uma vigilância que agora se caracteriza em massa, sob o slogan “coletar tudo”, a partir da análise e acesso de um enorme volume de dados pessoais.

Além de podermos falar em uma vulnerabilidade geral, a partir da ubiquidade informacional e ausência de simetria em tal relação, também é cada vez mais frequente a utilização de aplicações de IA possibilitando a previsão e automatização em tempo real de resultados e modulamento de comportamentos, intenções e emoções humanos (neuromarketing, captologia, data brokers, affective computing ), trazendo novas vulnerabilidades específicas, suscitando diversas problemáticas que vão muito além da proteção de direitos fundamentais individuais, como privacidade e proteção de dados, envolvendo princípios democráticos modernos e os limites a tal vigilância em um Estado Democrático de Direito, já que pela falta de transparência, não há praticamente possibilidade de controle, e pois, prestação de contas, e responsabilização em casos de abusos ou erros.

Tais temáticas devem ser pensadas de forma crítica à luz dos novos colonialismos (de dados, de carbono, biocolonialismo), pois há uma maior fragilidade de países com passado histórico de discriminação quanto a parcelas da população, como afirma recente estudo da Rede de Observatórios de Segurança (https://www.ucamcesec.com.br/wp-content/uploads/2019/11/Rede-de-Observatorios_primeiro- relatorio_20_11_19.pdf).

SOU VISTO, LOGO EXISTO – VIGILÂNCIA LÍQUIDA EM MASSA

A principal característica da atual inteligência de segurança é a extensa colaboração com empresas de tecnologia, as quais armazenam, tratam e utilizam nossas pegadas digitais, recorrendo ao big data, ampliando-se o leque anterior que focava mais na colaboração com empresas de telecomunicações, a exemplo da AT&T que colaborou com os EUA, objeto de processo judicial movido pela Electronic Frontier Foundation (EFF). O caso judicial, contudo, foi arquivado com base na aprovação pelo Congresso da controvertida Lei de Vigilância da Inteligência Estrangeira (FISA) de 1978, concedendo imunidade retroativa à AT&T e permitindo a partir de 2008 que o Procurador-Geral solicite o arquivamento do caso, se o governo certificar secretamente ao tribunal que a vigilância não ocorreu, foi legal ou foi autorizada pelo presidente, quer seja legal ou ilegal. Com base em uma imunidade retroativa, para casos envolvendo responsabilidade penal, anulou-se a possibilidade de criminalização com base na lei que proibia as escutas sem mandado, sendo a lei substituída pela ordem presidencial, seja ela legal ou ilegal, ferindo-se os alicerces da separação de poderes e do Estado de Direito.

Tal imunidade torna-se a regra, sendo utilizada cada vez com maior frequência pelos governos para viabilizar suas atividades de vigilância em massa. A imunidade retroativa revela a origem ilegal da vigilância em massa, atuando em uma zona de anti-direito, borrando os limites entre a vigilância legal e ilegal, já que tais práticas situam-se em uma espécie de “zona cinzenta”.

Um dos exemplos do crescimento das tecnologias de vigilância e da hegemonização de tal modelo de negócio com base no big data é o crescimento na oferta de serviços e softwares informacionais às instituições públicas de ensino de forma “gratuita” pelas maiores empresas de tecnologia de dados do mundo – conhecidas pelo acrônimo GAFAM (Google, Apple, Facebook, Amazon, Microsoft), tendo como contrapartida, todo o acesso aos dados pessoais de milhares de usuários, afetando o que se pode entender por soberania do Estado, já que as Big Techs estão quase todas nos EUA e em maioria crescente na China, em um relação obscura, sem fornecimento de dados para se verificar os detalhes de tal operação, já que não há dados oficialmente divulgados pelas empresas nem pelas instituições.

Há uma assimetria de poder e de conhecimento, diante do evidente descompasso entre o que as empresas que operam com a utilização do sistema do capitalismo de vigilância sabem sobre nós, e o que sabemos do que fazem com nossos dados pessoais e ainda um aprofundamento de assimetrias norte-sul. Como apontam algumas pesquisas as inequalidades e o potencial de afronta a direitos humanos e fundamentais no âmbito da IA são questões mais problemáticas em países do Sul Global, havendo um maior impacto em locais onde há uma negação sistemática de direitos a comunidades com histórico de opressão (NOBLE, Safiya Umoja, 2018).

Os acordos entre empresas e universidades brasileiras, em especial quanto ao Google Suite for Education e Microsoft Office 365 for Schools & Students, são reveladores de como tais relações são opacas, verdadeiras caixas pretas, faltando com o requisito fundamental para se falar em uma IA de confiança, qual seja, a transparência, em especial para aqueles que estão tendo seus dados pessoais utilizados, tal como aponta o relatório da Electronic Frontier Foundation (Spying on Students: School-Issued Devices and Student Privacy”, https://www.eff.org/de/node/95598).

Neste sentido, David Lyon, no curso realizado pelo CEADIN – Centro Avançado de Estudos, em Inovação e Direito da Universidade de São Paulo, Faculdade de Direito, campus Ribeirão Preto, aponta que na origem, na década de 90 a vigilância era definida como a atenção sistemática e rotineira a pormenores pessoais com a intenção de influenciar, gerir, proteger ou orientar indivíduos, envolvendo, pois, uma observação direcionada, sistemática e rotineira, com diversos fins, entre eles, influência nos meios de comunicação social, as relações laborais e o comportamento organizacional. Embora geralmente associada a entidades como a polícia, agências de segurança, controles fronteiriços e similares, a vigilância também pode exercer influência nas escolhas de vida, nas decisões de compra ou no trabalho, tendo seu conceito sido, posteriormente, alargado para incluir tanto a operação como a experiência da vigilância, envolvendo recolha, análise e utilização de dados pessoais para moldar escolhas ou gerir grupos e populações.

Na época moderna, ou pós-moderna, a vigilância do século XXI, caracteriza-se, por sua vez, pela sua natureza omnipresente, envolvendo uma “cultura da vigilância”, uma nova dimensão da vigilância, que agora conta com nossa participação voluntária, como exercendo um fator fundamental, e tendo por principal ingrediente os dados pessoais. Os smartphones, por exemplo, tornaram-se os dispositivos de vigilância predominantes devido à sua adoção generalizada, sendo sua capacidade de análise de dados usada pelas grandes empresas, entidades públicas e privadas e organismos governamentais para monitorizar indivíduos, muitas vezes mesmo sem quaisquer indícios de serem suspeitos.

Entre as diversas obras de David Lyon destaca-se “Vigilância Líquida” escrita em co-autoria com Zygmunt Bauman (LYON, BAUMAN, 2014), sendo fruto de sucessivas trocas de mensagens, diálogos e atividades realizadas de forma conjunta, como as participações na conferência bianual de 2008 da Rede de Estudos sobre Vigilância. Os A. apontam para a nova fase da vigilância líquida, móvel e flexível, infiltrando-se e espalhando-se por diversas áreas das nossas vidas, sendo um aspecto cada vez mais presente, assumindo características sempre em mutação, diferenciando-se da antiga forma de panóptico estudada por Foucault e por Deleuze.

Segundo Foucault, ao estudar as sociedades disciplinares, da regulamentação e normalização o panóptico é um dos principais instrumentos do poder disciplinar, um mecanismo de vigilância, que possibilita ver e nunca ser visto, produzindo o efeito de um estado de visibilidade constante. A arquitetura é pensada para que a luz passe. Tudo deve ser iluminado, tudo deve poder ser visto. Na sociedade da transparência, nada deve ficar de fora. Por sua vez, para Deleuze, as sociedades de controle, tal como dispõe em seu “Post-Scriptum sobre as Sociedades de Controle” caracterizam-se por máquinas de informática e computadores, como uma mutação do capitalismo. Nas sociedades de controle o essencial não é mais uma assinatura e nem um número, mas uma cifra: a cifra é uma senha. Os indivíduos tornaram-se “dividuais”, divisíveis, e as massas tornaram-se amostras, dados, mercados ou “bancos”.

A característica do panóptico digital, no entender de Byung-Chul Han ao falar da “sociedade da transparência” é permitir o alcance globalizado dos ventos digitais transformando o mundo em um único panóptico: “não existe um fora do panóptico; ele se torna total, não existindo muralha que possa separar o interior do exterior”. Gigantes da rede como Google e Facebook, apresentam-se como espaços de liberdade, porém, também podem ser instrumentos da adoção de formas panópticas, a exemplo das revelações feitas por Edward Snowden, em 2013, sobre o projeto PRISM, cujo programa permitia à Agência Nacional de Segurança dos Estados Unidos (NSA) obter praticamente o que quisesse das empresas de internet. Ocorre como traço fundamental do panóptico digital o protocolamento total da vida, substituindo-se a confiança pelo controle, seguindo-se uma lógica da eficiência. A possibilidade de um protocolamento total da vida substitui a confiança inteiramente pelo controle. No lugar do Big Brother, entra o big data. Vive-se a ilusão da liberdade, fundamentada na autoexposição e autoexploração. Aqui todos observam e vigiam a todos. O mercado de vigilância no Estado democrático tem uma proximidade perigosa do Estado de vigilância digital. No lugar do biopoder surge o psicopoder, pois há condições de intervir nos processos psicológicos. É mais eficiente do que o biopoder pois vigia, controla e influencia o ser humano não de fora, mas a partir de dentro. Era da psicopolítica digital.

Os grandes volumes de dados são, pois, um fator de mudança decisivo. Do onipresente código de barras permitindo a identificação de produtos segundo o tipo ou a fábrica, evoluímos para os chips de identificação por radiofrequência (RFID – Radio Frequency Identification), compreendendo em identificadores individuais para cada produto, e para os códigos de resposta rápida (QR, de Quick Response Code), conjuntos de símbolos colocados em produtos e que são escaneados por smartphones, e braceletes de silício com um QR permitindo a leitura de dados de contato e links de mídia social como um verdadeiro hyperlink humano.

Acerca do novo sistema de vigilância em massa Snowden no seu livro “Eterna vigilância”, afirma que passamos de uma vigilância direcionada a indivíduos à vigilância em massa de populações inteiras, com destaque para os bilhetes de identidade nacionais como um dos fatores centrais, conjugando-se tecnologia de alta precisão com biometria incorporada e chips RFID, com argumentos em torno de melhor exatidão, eficiência e rapidez, controle de imigração, medidas anti-terrorismo, governo eletrônico, contudo, apesar de tais pretensos benefícios há diversos  perigos em potencial, com destaque para os custos financeiros imprevistos, ameaças acrescidas à segurança e uma imposição inaceitável aos cidadãos, sendo essencial uma avaliação independente e contínua dos riscos e uma revisão regular das práticas de gestão (LYON, David, BENNETT, Colin J. 2008). Fala-se na existência de um verdadeiro ‘Cartel de Cartões’ envolvendo o Estado, empresas e normas técnicas, gerando grandes controvérsias em alguns países tais como Austrália, Reino Unido, Japão e França.

 Sou visto, logo existo. A frase reflete o desejo de ser visto em redes sociais, o que leva ao compartilhamento de dados pessoais de forma voluntária e até entusiástica, empregados pelo mercado para a personalização de anúncios com alto potencial de manipulação da escolha (pela sedução, não pela coerção) e, pois, à comoditização de nossas vidas e personas. Ao mesmo tempo haveria uma vigilância do consumidor, em um sentido positivo, voltada ao mercado de consumo, e em sentido negativo, acerca dos que não se conformam às expectativas, ocorrendo uma “discriminação racional” e criando uma espiral negativa, onde os pobres se tornam mais pobres e aumenta-se a concentração de riquezas (LYON, David, 2005).

Os algoritmos fazem parte da infraestrutura essencial da vigilância de segurança, utilizando-se de alertas baseados em algoritmos para detectar atividades suspeitas e controlar os movimentos de suspeitos.

Relacionando-se à vigilância na área do big data destacam-se a questão das inferências e o perfilamento, por meio de enorme quantidade de dados pessoais, o que é potencializado pelo papel questionável dos data brokers que vendem os dados pessoais, em atividades antiéticas e ilegais, já que não há um necessário consentimento real (informado, fragmentado, e mediante um novo consentimento a cada nova finalidade e mudança de empresa que está se beneficiando de tais dados), sendo tais dados utilizados em análise via aprendizado profundo, por meio de otimização quantitativa a fim de potencializar a manipulação comportamental e emocional, ou seja, são feitos anúncios personalizados a fim de maximizar a probabilidade de uma compra ou do tempo em uma rede social, sendo um fato fundamental na criação de desejos até então inexistentes.

Como aponta Morozov (MOROZOV, Evgeny Morozov, 2018, p. 33 e ss.) em 2012 o Facebook celebrou acordo com a empresa Datalogix permitindo associar o que compramos no mercado aos anúncios que são disponibilizados no Facebook, da mesma forma, o Google possui um aplicativo permitindo a análise de lojas e restaurantes vizinhos ao usuário para indicação de ofertas.

Por sua vez diversos casos interessantes são citados por Kai-Fu Lee no seu livro “2041: Como a inteligência artificial vai mudar sua vida nas próximas décadas” (LEE, Kai-Fu, 2022), e embora seja um livro com histórias ficcionais, o mesmo traz informações, exemplos e cenários que já ocorrem na realidade, a exemplo da existência de fintechs (empresas de tecnologia financeira) com base em IA, como a Lemonade, nos Estados Unidos e a Waterdrop, na China, com o fim de venda de seguros por aplicativo ou a contratação de empréstimos por  aplicativo, com aprovação instantânea.

No capítulo genocídio quântico Kai-Fu Lee afirma que a tecnologia é inerentemente neutra, na linha do que Jose van Dijck chama de “dataísmo”, correspondendo à crença na “objetividade da quantificação”, e na linha do que se denomina de “solucionismo”, imaginando que a solução de todos os problemas sociais estão nas mãos dos dados, e na análise dos resultados, e não das causas, e que as “tecnologias disruptivas podem se tornar nosso fogo de Prometeu, ou caixa de Pandora, dependendo de como são usadas”. É citado o exemplo do seguro Ganhesha com a função objetiva do algoritmo de reduzir ao máximo o valor do seguro, e a cada comportamento dos segurados, por conseguinte, o valor do seguro aumenta ou reduz, além de estar vinculado a uma série de aplicativos, compartilhando dados dos usuários, englobando e-commerce, recomendações e cupons, investimentos, ShareChat (uma rede social popular indiana) e o fictício FateLeaf, um aplicativo de vidência. Uma das possíveis alternativas mencionadas pelo A. para balancear tal função objetiva voltada à maximização do lucro empresarial, seria a de ensinar a IA a ter funções objetivas complexas, como baixar o preço do seguro e manter a justiça, embora entenda ser possível tal exigência apenas via regulação, pois esbarraria no interesse comercial para atuar de forma voluntária, além de mencionar o importante papel da responsabilidade corporativa, a exemplo da ESG – governança ambiental, social e corporativa.

No livro “Big Data Surveillance and Security Intelligence –  the Canadian case”, de David Lyon e David Murakami Wood (LYON, David, MURUKAMI, D. 2020) é enfatizada a mudança da prática da vigilância com a utilização do “big data” e de novos métodos de análise de dados para se verificar possíveis riscos à segurança nacional, destacando-se a parceria “Cinco Olhos” envolvendo Austrália, Canadá, Nova Zelândia, Reino Unido e Estados Unidos, com a interligação entre “inteligência de segurança” e “vigilância”, incluindo atualmente o monitoramento da internet e, especialmente, das redes sociais, vinculados, pois, a análise de dados pessoais. Expande-se a noção de segurança para abranger uma série de novos domínios, permitindo-se a utilização de tortura e interrogatório como meios extraordinários, a exemplo do que aconteceu com o canadense Maher Arar após o evento de 11 de setembro de 2001, considerado como suspeito.

A ligação de atividades em prol da segurança nacional com o big data e a vigilância agora em termos de “vigilância em massa” são corroboradas pelas denúncias de agentes de segurança americanos como William Binney, Thomas Drake, Mark Klein e Edward Snowden, inclusive com a utilização de metadados a partir do estudo de mais de 500 documentos divulgados por Snowden que mostram como os metadados podem ser utilizados para construir perfis detalhados da vida das pessoas vigiadas (LYON, David, MURUKAMI, D. 2020).

Por outro lado há diversas iniciativas no sentido de legalizar a atividade de vigilância estatal em massa como no Canadá, a exemplo de projetos de lei em 2009 (projeto de lei C-46, “Investigative Powers for the 21st Century Act” e projeto de lei C-47, “Technical Assistance for Law Enforcement in the 21st Century Act”), com destaque para o PL C-51 de 2019 conferindo as autoridades de inteligência mais poderes a nível interno e externo e imunidade em relação à responsabilidade pela utilização desses poderes, resultando no projeto de lei C-59 (Lei da Segurança Nacional, 2017), seguindo-se uma tendência ou onda mundial de legalização, a exemplo das “Leis do Big Brother” na França (medidas antiterroristas promulgadas após 2015) e das leis japonesas de vigilância – a Lei do Sigilo/segredo, a Lei das Escutas Telefônicas de 2016, ampliando as categorias de crimes sujeitos a investigações de escuta telefônica pela polícia, legitimando os meios de escuta em investigações criminais e autorizando, em suma, que a polícia escute potencialmente as conversas de todos.

Contudo, apesar da mencionada fundamentação legal, faltam medidas de transparência, envolvendo, por exemplo, a demonstração de que foram adotadas medidas de segurança quanto aos dados pessoais utilizados, a fim de não haver afrontas a Carta Canadiana dos Direitos e Liberdades, bem como aos tratados internacionais de direitos humanos, e a comprovação de que houve o respeito ao denominado “teste constitucional de quatro partes”, demonstrando que as medidas de sigilo ou outra medida de segurança adotadas sejam mínimas, proporcionais, necessárias e eficazes. Faltam informações acerca de qual o conteúdo interceptado, quais tipos de metadados são armazenados, onde os dados são armazenados e durante quanto tempo, forma de descarte de dados, quais entidades organizacionais possuem acesso aos dados e para que fins, se há anonimização dos dados ou foram adotados procedimentos de “minimização” e de segurança (R v Oakes, [1986] 1 SCR 103, http://www.canlii.org/en/ca/scc/doc/1986/1986canlii46/1986canlii46.html;“Necessary and Proportionate: International Principles on the Application of Human Rights to Communications Surveillance”, 2014, https://necessaryandproportionate.org/files/2016/03/04/en_principles_2014.pdf).

Cabe o questionamento acerca da proporcionalidade de tais medidas diante do seu potencial de afronta à privacidade e à liberdade de expressão, já que as medidas de exceção estão de fato se tornando a regra, o que já fora vislumbrado anteriormente por Nietzsche, Walter Benjamin e explorado mais recentemente por Giorgio Agamben, e de certa forma por Shoshana Zuboff com o tema do capitalismo de vigilância, falando em um “estado de exceção do Google”, na linha também do que afirma Morozov ao apontar para a governamentalidade algorítmica, a exemplo dos inúmeros experimentos sociais praticados pelo Facebook, como um verdadeiro laboratório real, além da defesa da “soberania da informação” pela Rússia, China e Irã.

Destaca-se ainda neste sentido a Convenção do Conselho da Europa sobre Crimes Cibernéticos, de 2001, em prol da legislação de vigilância durante a Guerra ao Terror, sendo assinada por quarenta e três países, incluindo os estados não-membros do Canadá, Japão, África do Sul e Estados Unidos; tal convenção exige que as nações participantes editem legislação que facilite a investigação e a acusação de crimes cometidos pela Internet, prevendo ainda  a concessão ampla de acesso legal ao tráfego de dados pelas autoridades de aplicação da lei.

RECONHECIMENTO FACIAL, HACKING GOVERNAMENTAL E FEEDBACK LOOP DE PRECONCEITOS, RACISMO E DADOS TENDENCIOSOS

Duas aplicações específicas de IA relacionam-se intimamente com a temática da vigilância, o reconhecimento facial e o policiamento preditivo, havendo diversas críticas por parte da doutrina e relatórios de institutos especializados, em razão do grande número de vieses, ou seja, falsos positivos, envolvendo mulheres, negros, asiáticos, nativos americanos, índios americanos, índios do Alasca e ilhéus do Pacífico, como aponta o Relatório “Interagency Report 8280” do National Institute of Standards and Technology (NIST, 2019 – fonte: https://learn.g2.com/ethics-of-facial-recognition.

Entre as principais críticas ao reconhecimento facial podem ser apontadas, de forma geral, a ausência ou escassez de acesso à informação sobre os resultados e eficiência decorrente do uso da tecnologia, falta de transparência sobre a aquisição e implementação dos sistemas, sobre seus protocolos de uso e métodos de coleta dos dados, além do risco de vazamento de dados biométricos, altamente sensíveis, e que não são possíveis de serem alterados após um acesso não autorizado, ao contrário de senhas, PINs ou endereços de e-mail, agravando as consequências de um potencial vazamento.

Tais ferramentas de IA utilizadas no sentido de vigilância a partir do big data possuem, pois, um potencial de “bias”, no sentido de uma retroalimentação, um “feedback loop” de preconceitos e dados tendenciosos, com conteúdo abrangido por preconceitos estruturais e reproduzidos via algoritmos (LYON, David, MURAKAMI, David, 2020).

A tecnologia de reconhecimento facial, em específico, estaria, portanto, duplicando ou potencializando o racismo institucionalizado e estrutural existente na sociedade, havendo uma iniquidade codificada propiciando infraestruturas injustas, já que há a reprodução de injustiças assim como outras formas de discriminação, em razão dos diversos casos de “bias”, os quais não são equacionados de forma sistêmica por meio de uma adequada estrutura de governança algorítmica. É o que aponta por exemplo os estudos do Big Brother Watch, afirmando que 98% das correspondências obtidas por câmeras que alertam a polícia do Reino Unido identificaram incorretamente inocentes como se fossem foragidos (https://bigbrotherwatch.org.uk/wp-content/uploads/2023/05/Biometric-Britain.pdf).

Outras problemáticas relacionam-se a ausência de mecanismos de prestação de contas aos cidadãos sobre os seus direitos e de medidas preventivas e mitigadoras de danos e de segurança da informação, além da ausência de avaliações sobre a proporcionalidade dos impactos negativos em face das externalidades positivas, geralmente associadas à maior efetividade, a qual, contudo, é questionável como aponta relatório da LAPIN de 2021, afirmando que há falta de transparência diante da ausência de dados estatísticos sistematizados, consolidados ou publicizados sobre o tratamento de dados realizado por meio de tecnologias de reconhecimento facial pela Administração Pública, não havendo provas, pois acerca da maior eficiência das atividades do setor público, ou seja, de acordo com os dados divulgados, “a narrativa da eficiência da tecnologia parece não se confirmar estatisticamente” (“Relatório sobre o uso de tecnologias de reconhecimento facial e câmaras de vigilância pela Administração Pública no Brasil” – https://lapin.org.br/2021/07/07/vigilancia-automatizada-uso-de-reconhecimento-facial-pela-administracao-publica-no-brasil/).

Como haveria outras formas de se alcançar a mesma finalidade pretendida, e há dúvidas em termos de eficiência da tecnologia, diante de erros e outras problemáticas apontadas, parece que é um questionamento válido a não proporcionalidade da medida, diante do potencial de danos a direitos fundamentais de milhões de pessoas que sem serem suspeitas são submetidas à vigilância massiva do Estado e possuem seus dados pessoais coletados, como vemos do exemplo paradigmático do carnaval de Salvador de 2020 quando foram utilizadas 80 câmeras com reconhecimento facial, dando ensejo à prisão de 42 foragidos, mas alcançando os dados biométricos de 11,7 milhões de pessoas entre adultos e crianças.

O instituto Igarapé em recente relatório denominado “Implementação de Tecnologias de Vigilância no Brasil e na América Latina” aponta que em diversos casos de sua utilização não há previsão de suporte técnico por parte das empresas fornecedoras após o período de testes, além do desconhecimento pelos agentes públicos acerca dos modos de uso do equipamento, bem como seus riscos e formas de mitigação, ocorrendo a má gestão de tecnologia, impossibilidade de se verificar sua acurácia e efetividade, dificultando o escrutínio público. Tampouco há informações de exclusão dos dados após o fim do contrato, forma de descarte e sobre a elaboração prévia do relatório de impacto à proteção de dados e da avaliação de impacto algorítmico (https://igarape.org.br/wp-content/uploads/2020/06/2020-06-09-Regulação-do-reconhecimento-facial-no-setor-público.pdf).

No mesmo sentido pesquisa da Lapin afirma que em nenhum dos casos analisados foi identificada a elaboração de qualquer avaliação de impacto pela Administração Pública de modo a avaliar os riscos à proteção de dados e a outros direitos fundamentais, com exceção apenas do Serviço Federal de Processamento de Dados (SERPRO) no contexto do serviço DataValid (Implementacao-de-tecnologias-de-vigilancia-no-brasil-e-na-america-latina.pdf).

Um caso relevante mapeado pela pesquisa do instituto Igarape é o sistema de monitoramento inteligente denominado “Detecta”, desenvolvido pela Microsoft e implementado pelo governo do estado de São Paulo. O Detecta realiza o monitoramento utilizando-se de câmeras, sendo responsável pelo maior banco de dados de informações policiais da América Latina. Há, pois, um aumento do uso de ferramentas de vigilância pelos governos, para fins de monitoramento de opositores, ativistas, jornalistas, e dissidentes políticos, como no caso da utilização de spyware, por meio do envio de um malware para a vítima, sendo tal prática denominada de hacking governamental; também há a exploração de vulnerabilidades por governos e flexibilização da criptografia, como na denominada estocagem ou compra de vulnerabilidades críticas, chamadas de “zero-days” ou “0-days”. Um caso conhecido mundialmente da utilização de tal tecnologia é o malware Pegasus, desenvolvido pela NSO Group, permitindo o amplo acesso a smartphones sem depender de qualquer ato prévio pelo usuário, tal como demonstrou estudo da organização Citizen Lab, falando na infiltração de tal tecnologia em 45 países, inclusive no Brasil. O estudo aponta para a utilização de outras ferramentas similares, como o dispositivo Universal Forensic Extraction Device (UFED), permitindo o monitoramento comunicacional e informacional no Brasil, Honduras, El Salvador e na Argentina (Implementacao-de-tecnologias-de-vigilancia-no-brasil-e-na-america-latina.pdf).

Há ainda atos normativos do Poder Executivo que dificultam a coleta de informações acerca da tecnologia de reconhecimento facial, a exemplo da Portaria CGAI n. 1 de 2016, da Controladoria e Ouvidoria-Geral do Estado do Ceará, classificando como sigilosos os documentos e informações sobre o uso de equipamentos de vigilância pela Administração Pública estadual (https://www.cgd.ce.gov.br/wp-content/ uploads/sites/33/migracao/2899.pdf).

Acerca da LGPD – Lei Geral de Proteção de Dados pode-se afirmar a falta de técnica legislativa, trazendo a possibilidade de interpretações diversas no tocante à obrigatoriedade da elaboração prévia do relatório de impacto de proteção de dados, como regra geral, ao contrário do Regulamento Geral de Proteção de Dados da União Europeia, que prevê tal obrigatoriedade para o caso de elevados riscos aos direitos e liberdades dos indivíduos, especialmente no caso de monitoramento de forma sistemática áreas públicas e de categorias especiais de dados pessoais em grande escala. No mesmo sentido o Guia 2/2019 do Conselho Europeu de Proteção de Dados prevê a obrigatoriedade de avaliação dos riscos envolvidos no caso de dados biométricos advindos do uso tecnologias de videomonitoramento.

Há informes publicados pela ANPD no sentido de recomendar sua elaboração no caso de alto risco, embora afirme que isto será avaliado pelo próprio agente de tratamento, listando situações específicas onde o documento poderá ser exigido pela mesma, ou seja, também aqui não resta claro que se trata de documento obrigatório, além de deixar a avaliação nas mãos das próprias empresas, o que nem sempre garantiria a necessária imparcialidade, sendo as seguintes situações elencadas (https://www.gov.br/anpd/pt-br/canais_atendimento/agente-de-tratamento/relatorio-de-impacto-a-protecao-de-dados-pessoais-ripd):

  • nas operações de tratamento efetuadas para fins exclusivos de segurança pública, defesa nacional, segurança do Estado ou atividades de investigação e repressão de infrações penais (art. 4º, § 3º);
  • quando o tratamento tiver como fundamento a hipótese de interesse legítimo (art. 10, § 3º);
  • para agentes do Poder Público, incluindo determinação quanto à publicação do RIPD (art. 32); e
  • para controladores em geral, quanto às suas operações de tratamento, incluindo as que envolvam dados pessoais sensíveis (art. 38).

A fim de se reduzir a mitologia acerca da neutralidade e objetividade dos algoritmos e de suas predições, cumpre salientar que os dados são apenas uma amostra,  e que nunca falam por si próprios, sendo certo que as correlações podem ser aleatórias, podendo gerar informações equivocadas à medida que há uma carência de conhecimentos contextuais e específicos do domínio, sendo fundamental que as equipe técnicas, geralmente da área das exatas  sejam ampliadas para conter pessoal qualificado e com expertise nas áreas do direito, da filosofia (ética), e da sociologia, em uma análise interdisciplinar e holística.

A aplicação de tal tecnologia, diante do seu potencial de erros e afrontas a direitos fundamentais, sendo qualificada como de alto risco por diversos documentos internacionais deverá, pois ser precedida de elaboração prévia de uma avaliação de impacto algorítmico, a fim de serem adotadas medidas de mitigação do impacto negativo, trazendo um melhor balanceamento entre o benefício a ser atingido com a medida e os danos a direitos fundamentais. Por fim, é essencial que tal documento seja elaborado de forma independente por uma equipe multidisciplinar, para se poder falar em legitimidade e imparcialidade de tal documento.


[1] Advogada, Professora universitária, PhD em Direito, em Filosofia, (PUC-SP) e em Filosofia do Direito (Unisalento); Pós-Doutora em Direito, Filosofia e Sociologia (PUCSP-TIDD, EGS- European Graduate School, Universidade de Coimbra/CES, USP – Filosofia e TGD, University of Reggio Calabria, e IEA/USP-Cátedra Oscar Sala). Pesquisadora do IEA/projeto UAI -coordenadora da equipe de governança; pesquisadora no Instituto Avançado de AI, pesquisadora do C4AI – Centro de Inteligência Artificial (USP), Presidente e Pesquisadora no EthikAI – ethics as a service. Membro de diversas Comissões da  OABSP. Este texto faz parte das pesquisas desenvolvidas em sede de pós-doutorado na USP/RP em IA com bolsa Fapesp. Este texto faz parte das pesquisas de pós-doutorado realizado na USP/RP com bolsa Fapesp.

Pular para o conteúdo