*Este texto faz parte de pesquisa em sede de pos doutorado na Usp com bolsa Fapesp
Paola Cantarini – Ethikai Institute
Atualmente, o sistema de perfilamento (profiling), relacionado à produção de decisões automatizadas, utilizando-se de análises de dados (data analytics), amplamente empregadas na área de credit report e credit score, traz um grande potencial discriminatório, haja vista por exemplo, a prática de “precificação personalizada”. Ela é baseada em “análise comportamental”, usualmente identificada pelas expressões geopricing e geo-blocking, pois considera a localização geográfica da pessoa para fins de diferenciar preços de produtos/serviços. Paradoxalmente, sua principal justificativa seria a de evitar situações de discriminação, visando tomar uma decisão neutra e objetiva, ou seja, sem bias, vieses, portanto, evitando a subjetividade e correspondente arbitrariedade humanas.
Assim, por meio de técnicas de aprendizagem de máquinas (machine learning), são traçadas correlações e produzidos dados inferidos sobre diversos aspectos das nossas vidas, sendo utilizados para tomada de decisões automatizadas, em diversas áreas, como seguros, acesso a crédito, análise de currículos por empresas de recrutamento, acesso a serviços sociais, polícia preditiva, previsão na área da política, marketing, sentenças criminais, gestão empresarial, finanças e administração de programas públicos.
Ocorre que além de um potencial de viés discriminatório, ante a grupos já vulneráveis, como negros e jovens no caso de policiamento preditivo, ou de pessoas de classe baixa, afetam de forma diferenciada diversos segmentos da população, que acabam sendo mais prejudicados, como expõe Virginia Eubanks (“Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor”, St. Martin’s Press, 2018), da mesma forma que Cathy O’Neil (“ Algoritmos de Destruição em Massa”, Editora Rua do Sabão, 2021). Em suas palavras:
“Em todo o país, pessoas pobres e da classe trabalhadora são alvo de novas ferramentas de gerenciamento da pobreza digital e enfrentam consequências que ameaçam suas vidas como resultado. Sistemas automatizados de elegibilidade as desencorajam de reivindicar recursos públicos de que precisam para sobreviver e prosperar. Bancos de dados integrados complexos coletam suas informações mais pessoais, com poucas salvaguardas para privacidade ou segurança de dados, enquanto oferecem quase nada em troca. Modelos preditivos e algoritmos as rotulam como investimentos arriscados e pais problemáticos. Vastos complexos de serviços sociais, aplicação da lei e vigilância do bairro tornam cada movimento delas visível e expõem seu comportamento para escrutínio governamental, comercial e público. Esses sistemas estão sendo integrados aos serviços humanos e sociais em todo o país a uma velocidade impressionante, com pouca ou nenhuma discussão política sobre seus impactos.(…) Embora esses novos sistemas tenham efeitos mais destrutivos e mortais em comunidades de baixa renda de cor, eles impactam pessoas pobres e da classe trabalhadora em toda a linha racial. Enquanto beneficiários de assistência social, pessoas sem-teto e famílias pobres enfrentam os maiores fardos da vigilância de alta tecnologia, eles não são os únicos afetados pelo crescimento da tomada de decisões automatizada. O uso generalizado desses sistemas impacta a qualidade da democracia para todos nós. A tomada de decisões automatizada desmantela a rede de segurança social, criminaliza os pobres, intensifica a discriminação e compromete nossos valores nacionais mais profundos. Ela recontextualiza decisões sociais compartilhadas sobre quem somos e quem queremos ser como problemas de engenharia de sistemas” (Tradução livre).
Daí resulta termos como uma característica marcante da era digital e da correlata sociedade informacional globalizada, em que vigora um capitalismo de vigilância, ser a maior parte das decisões sobre nós feitas não mais por humanos, mas por sistemas automatizados de elegibilidade, algoritmos de classificação e modelos de risco preditivos, sem que em geral se tenha consciência, logo, sem a necessária transparência e contestabilidade. Também a maior parte de sua justificativa, em termos de efetividade, redução de custos, objetividade e neutralidade, ou maior segurança ou proteção do crédito, nos casos específicos de policiamento preditivo e score de crédito, além de não se efetivarem em muitos dos casos, não são objetivos devidamente balanceados frente a outros direitos consagrados constitucionalmente, pela aplicação dos princípios da proporcionalidade e razoabilidade.
‘ Em assim sendo, verificamos que a abordagem em termos protetivos de direitos fundamentais potencialmente afetados mostra-se frágil e insuficiente. Isto porque a LGPD atualmente consagra apenas o direito à revisão, e não obrigatoriamente humana de decisões automatizadas, bem como possibilita a conduta de perfilamento, ou seja, caracterização e construção de perfis, enquanto que a Lei do Cadastro Positivo e o entendimento do STJ consideram, por exemplo, a criação de score de crédito uma prática lícita, apenas consagrando o direito de conhecimento dos aspectos que foram levados em conta para a análise e decisão preditiva, em termos de possibilitar a contestação da decisão. O caso da utilização do score de crédito é ainda mais preocupante, pois a LGPD inova, não seguindo neste sentido o GPDR, trazendo uma base legal autorizada do tratamento de dados específica, a base legal de proteção do crédito, prevista no art. 7º, inc. X, da LGPD, dispensando, assim, o consentimento do consumidor e a adoção do legítimo interesse. Desta forma, mesmo sem ciência e sem seu consentimento as pessoas terão seus dados pessoais analisados e julgados em um sistema de produção automatizado, muitas vezes utilizando também de dados sensíveis, tendo tão somente o direito de solicitar esclarecimentos sobre as informações pessoais valoradas e as fontes dos dados considerados no respectivo cálculo.
Ocorre que muitas vezes sequer as pessoas possuem ciência de que são alvo de tal conduta, além de que há uma prática altamente lucrativa de venda de dados pessoais e correlações para fins apenas comerciais, como se dá de forma paradigmática na atividade dos denominados “corretores de dados” (data brokers ou information brokers), os quais vendem dados pessoais e dados inferidos (derivados), recolhidos indevidamente com fim lucrativo, sem qualquer restrição e sem sequer transparência, logo, em desrespeito aos princípios da razoabilidade e proporcionalidade. Segundo Relatório publicado pelo Cracked Labs em 2017 sobre “Vigilância Corporativa na Vida Cotidiana”, tais empresas agregam, combinam dados e comercializam estes, além de fazerem inferências e classificações das pessoas (CHRISTL, Wolfie. Corporate Surveillance In Everyday Life. How Companies Collect, Combine, Analyze, Trade, and Use Personal Data on Billions. 2017. Cracked Labs. Disponível em: http://crackedlabs.org/en/corporate-surveillance. Acesso em: 20 abr. 2021).
Em assim sendo, a racionalidade econômica acaba dominando todo o sistema de direitos, como se fosse um fim em si mesmo, ou um valor mais elevado, sem trazer balizas por meio de legislação específica da chamada “inteligência artificial (I.A.), já que o discurso corrente é que a regulação irá obstar a inovação e de que já temos legislação suficiente para dar conta dos problemas por meio de “diálogo das fontes”. Tais argumentos vêm aliados à uma forma de interpretação restritiva e gramatical, logo equivocada, no sentido de que o direito ao segredo industrial ou de negócio, o que limitaria uma auditoria de algoritmos, a prejudicar, de certa forma, o direito de contestação ou revisão de uma decisão automatizada, não se levando assim em consideração a necessária ponderação entre direitos fundamentais e a função social de institutos jurídicos.
Em suma, temos que nossa LGPD é mais restritiva do que o GDPR, que estabelece o direito de oposição a uma decisão automatizada, quando o artigo 20 da LGPD apenas prevê o direito de revisão de deliberações decorrentes de sistemas automatizados de decisão que afetem interesses dos concernidos, “incluídas as decisões destinadas a definir o seu perfil pessoal, profissional, de consumo e de crédito ou os aspectos de sua personalidade”. Verifica-se, assim, que embora a LGPD tenha se inspirado no GDPR, em relação ao profiling ela não é tão restritiva como a matriz europeia e não traz quaisquer proibições em relação ao processamento de dados pessoais para a definição de perfis, além de não possuir dispositivo semelhante do artigo 22 da GDPR, que estabelece o direito à não sujeição a decisões, exclusivamente, automatizadas, inclusive no que se refere à definição de perfis, quando gerar efeitos na esfera jurídica do titular de dados pessoais. É a lógica dos direitos e garantias fundamentais em um Estado Democrático de Direito sendo lá aplicada, enquanto aqui é rejeitada.
No parágrafo primeiro do artigo 20 da LGPD, embora a matéria não seja pacífica, estaria previsto o direito à explicação, contudo, segundo alguns autores, há diversas barreiras para sua efetiva implementação, em especial quanto à acessibilidade e à compreensibilidade das informações necessárias para a transparência. Isso além da restrição contida nesta norma do parágrafo primeiro do artigo 20 da LGPD, ao prever que o direito à explicação estaria condicionado à observância dos segredos comercial e industrial, dando margem a que sejam compreendidos a como objetos de um direito absoluto, o que não se admite mais existir no ordenamento jurídico de um Estado Democrático de Direito. E nem mesmo se olharmos para a sua disciplina no âmbito da Lei de Propriedade Industrial (LPI), que traz exceções a tal direito. Por conseguinte, devemos analisar tais temáticas à luz da Constituição Federal e do constitucionalismo digital, olhando para uma perspectiva funcional acerca dos institutos jurídicos, afirmando a necessidade de sua interpretação sistêmica, de forma a serem atualizados aos ditames da sociedade atual, bem como de molde a equilibrar os diversos direitos protegidos constitucionalmente, em processos de ponderação, aplicando o princípio constitucional da proporcionalidade, norma consagradora de indispensável garantia fundamental.
É o que dispõe, mutatis mutandis, Eduardo Magrani em artigo denominado “Exceções e limitações no direito autoral brasileiro: críticas à restritividade da lei brasileira, historicidade e possíveis soluções” (http://eduardomagrani.com/wp-content/uploads/2019/05/ARTIGO-EXCECOES-E-LIMITACOES-2019.1.pdf), apontando para o momento de crise de eficácia dos direitos autorais, por sua interpretação restritiva e equivocada no direito brasileiro, quando é apenas analisado sob a ótica de um direito de propriedade, individual, sem considerar, por exemplo, a função social de tal direito e a necessária compatibilidade com a nova realidade social que se apresenta. E daí decorre a exigência de aplicar o procedimento de ponderação com outros direitos fundamentais consagrados no texto constitucional, como as demandas públicas por acesso ao conhecimento e à informação, reconhecendo-se, destarte, os objetivos básicos da proteção dos direitos de propriedade intelectual, quais sejam, o interesse público de promoção do desenvolvimento tecnológico e engrandecimento cultural.
Outro ponto que merece destaque, em tema de profiling, é que para efeitos de score de crédito, como há dispensa do consentimento, a situação é ainda mais frágil em termos de proteção de direitos. É que em outras situações teríamos a “proteção maior” de um consentimento esclarecido, informado (específico, e granularizado, segundo parâmetros do Article 29, e EDPB), sendo ainda mais difícil se ter uma participação ativa do titular dos dados e, pois, controle de seus dados em respeito à autodeterminação informativa, já que no caso de consentimento há o direito de oposição considerado como potestativo, podendo ser exercido a qualquer momento, nos termos do artigo 8, parágrafo 5º da LGPD, por procedimento gratuito e facilitado.
Daí a necessidade imperiosa de uma interpretação sistêmica, a fim de se verificar se teria justificativa uma diferença de tratamento legislativo para a prática de análise de crédito, colocando-a em um patamar de proteção diferenciado quanto a outras práticas, bem como acerca da questão de utilização de dados em excesso, sem respeito inclusive ao princípio da minimização de dados, e com afronta expressa da Lei do Cadastro Positivo (Lei 12.414/2011) , já que está consagrado aqui um “direito de imunidade”, qual seja, de oposição ao tratamento de dados excessivos e sensíveis, além da autodeterminação informativa. Isso porque os indivíduos têm pouco controle ou supervisão sobre como seus dados pessoais, usados para fazer inferências sobre eles.
Por fim, ratifica-se que, apesar de não ser um mercado ilícito per se, o tipo de vantagem social que os data brokers podem obter nesse mercado necessariamente deve ser contrabalanceado com a proteção de direitos fundamentais combinado com parâmetros de transparência e razoabilidade, tornando indispensável a aplicação da LGPD. Cumpre observar ainda a necessidade do reconhecimento de um novo direito, tal como expõem com propriedade Sandra Wachter e Brent Mittelstadt, qual seja, o direito a inferências razoáveis, no caso de “inferências de alto risco”, ou seja, inferências feitas a partir da análise utilizando a técnica de big data que prejudicam a privacidade ou reputação, ou têm baixa verificabilidade, no sentido de serem preditivas ou baseadas em opiniões, não obstante sejam utilizadas para fundamentar decisões automatizadas que afetam a vida de pessoas. Tal direito abrangeria a exigência de uma justificação ex-ante, a ser fornecida pelo controlador de dados para esclarecer e comprovar se a inferência é razoável, abrangendo: (1) porque certos dados formam uma base normativamente aceitável para fazer inferências; (2) porque essas inferências são relevantes e normativamente aceitáveis para o propósito escolhido de processamento ou tipo de decisão automatizada; e (3) se os dados e métodos usados para fazer as inferências são precisos e estatisticamente confiáveis. Trata-se de uma justificação ex-ante, a qual seria reforçada ainda por um mecanismo adicional ex-post, por meio da contestabilidade das inferências irrazoáveis, buscando-se um melhor equilíbrio entre os interesses das pessoas prejudicadas com o profiling e os interesses do controlador, aí incluídos segredos comerciais ou propriedade intelectual.