*Co-autoria com Rony Vainzof. Originamente publicado em Conjur. 

A ANPD (Autoridade Nacional de Proteção de Dados) publicou, recentemente, Tomada de Subsídios sobre parâmetros de interpretação do artigo 20 da Lei Geral de Proteção de Dados Pessoais, que trata de decisões automatizadas, mas coloca o foco em sua aplicação para sistemas de inteligência artificial.

O artigo 20 da LGPD assegura aos titulares de dados o direito de solicitar a revisão de decisões tomadas exclusivamente com base em tratamento automatizado, prevê o direito à explicação dos critérios para a tomada de decisão nesses sistemas — que deve ser ponderado frente ao direito ao segredo de negócio por parte daqueles que empregam tais sistemas — e a possibilidade de auditoria ANPD para exame da presença de possíveis parâmetros discriminatórios na ferramenta empregada. É o único dispositivo de direito material da LGPD que prevê, diretamente na norma, expressa possibilidade de auditoria.

Esse tema é relevante para diferentes agentes, principalmente aqueles que utilizam decisões automatizadas em suas atividades-fim no ambiente online, por meio do emprego de sistemas de inteligência artificial, que possam impactar o acesso a bens e serviços. Há diferentes pontos críticos para uma possível regulamentação do artigo 20, cujos primeiros passos foram dados com a tomada de subsídios.

O primeiro deles é o significado de decisões “exclusivamente” automatizadas. Esse tema foi bastante discutido na jurisprudência e regulamentação europeia, tendo em vista a relevância do processo automatizado em decisões que podem envolver humanos, além da possibilidade fática de vieses de automação, que acabam por delegar as decisões às máquinas.

O segundo está no objeto da explicação do sistema automatizado: trata-se de explicação geral do modelo ou dos critérios gerais de decisão, ou da explicação dos critérios que determinaram uma decisão concreta? E qual o grau de detalhamento da explicação, frente ao sigilo de negócio?  Ou a explicação deve apenas propiciar ao afetado a capacidade de contestação da decisão?

Um terceiro está na metodologia para a avaliação ou auditoria para detectar vieses ou aspectos discriminatórios na operação do sistema. Além desses pontos diretamente ligados ao artigo 20, a tomada de subsídios ainda traz questões sobre a legitimidade de uso de dados pessoais para treinamento de sistemas, independentemente de autorização pelos seus titulares.

Tais questões mexem com o problema de opacidade e a dificuldade de se mapear correlações estatísticas entre pontos de dados de input e o output e a elas atribuir a relações causais, que possibilitem sua inteligibilidade e justificação a partir das bases legais, que autorizam o tratamento, presentes na LGPD.  Novamente, o tema de explicabilidade dos critérios de tomada de decisão e a justificação dos parâmetros e do próprio desenvolvimento do sistema.

O tema de explicabilidade dos algoritmos empregados em decisões automatizadas já vem trazendo uma série de dúvidas e decisões nos tribunais, inclusive superiores, mesmo antes da LGPD.

Em acórdão paradigmático do Superior Tribunal de Justiça (STJ), de 12/11/2014, sobre score de crédito, [1] decidiu-se que o sistema “credit scoring” é um método desenvolvido para avaliação do risco de concessão de crédito, a partir de modelos estatísticos, considerando diversas variáveis, com atribuição de uma pontuação ao consumidor avaliado (nota do risco de crédito).

Na avaliação do risco de crédito, devem ser respeitados os limites estabelecidos pelo sistema de proteção do consumidor no sentido da tutela da privacidade e da máxima transparência nas relações negociais, conforme previsão do CDC e da Lei nº 12.414/2011.

De um lado, a metodologia em si de cálculo da nota de risco de crédito (“credit scoring”) constitui segredo da atividade empresarial, cujas fórmulas matemáticas e modelos estatísticos naturalmente não precisam ser divulgadas (artigo 5º, IV, da Lei 12.414/2011: …”resguardado o segredo empresarial”).

De outro lado, não se pode exigir o prévio e expresso consentimento do consumidor avaliado, pois não constitui um cadastro ou banco de dados, mas um modelo estatístico. Assim, essas informações, quando solicitadas, devem ser prestadas ao consumidor avaliado, com a indicação clara e precisa dos bancos de dados utilizados (histórico de crédito), para que ele possa exercer um controle acerca da veracidade dos dados existentes sobre a sua pessoa, inclusive para poder retificá-los ou melhorar a sua performance no mercado.

Atualmente, um dos grandes debates paira sobre plataformas de intermediação digital de serviços, de transporte, ou marketplaces com serviços de entrega. O posicionamento da ANPD na interpretação da extensão do direito à explicação frente ao direito ao sigilo pode impactar uma série de casos na Justiça, incluindo a do Trabalho, em relação a teses que vêm sendo discutidas naquela esfera.

A falta de critérios e requisitos regulatórios claros até o momento vem gerando decisões que discutem, entre outras medidas, a abertura de código-fonte, [2] subordinação algorítmica [3] e decisões de exclusão de cadastro. [4]

Embora, à primeira vista, tais soluções possam parecer buscar garantir transparência e não discriminação do sistema — o que, em si, é um objetivo legítimo e desejável — podem introduzir situações de insegurança jurídica no desenvolvimento e aplicação dos sistemas automatizados e de IA, sem que necessariamente sejam assegurados os valores perseguidos pela legislação.

A determinação de abertura de código-fonte, em alguns precedentes, como medida de explicabilidade não implica necessariamente transparência em relação às decisões do algoritmo e pode causar insegurança aos direitos de propriedade intelectual que protegem esses ativos.

Exigências de explicações causais para correlações estatísticas, como já levantado pela ANPD,  pode levar a ilações sobre relações de subordinação quando tratamos de decisões automatizadas de direcionamento de corridas e entregas para motoristas e entregadores. Ou ainda, exageros nesse campo, em relação a algoritmos de precificação, podem comprometer a atuação competitiva dessas plataformas.

Aprofundando uma das referidas decisões, da terceira turma do STJ, de 18/6/24 [5], entendeu-se haver fundado receio da influência da decisão de uma máquina sobre as vidas das pessoas, pois muitas vezes a análise de dados de forma automatizada pode levar a premissas errôneas por parte do agente de tratamento, surgindo riscos, especialmente no que toca à discriminação, perda de níveis de autonomia dos sujeitos, erros na modelagem e em cálculos estatísticos da inteligência artificial ou mesmo a resultados enviesados, baseados em dados desatualizados, desnecessários ou irrelevantes.

Assim, decidiu-se que o titular de dados pessoais deve ser informado sobre a razão da suspensão de seu perfil, bem como requerer a revisão dessa decisão, garantido o seu direito de defesa. Caso o ato cometido pelo indivíduo seja suficientemente gravoso, trazendo riscos ao funcionamento da plataforma ou a seus usuários, não há óbice para a imediata suspensão do perfil, com a possibilidade de posterior pleito de recredenciamento, garantido o contraditório. [6]

Respeitado o contraditório e a ampla defesa, a plataforma pode concluir ter havido violação aos seus termos de conduta e determinar o descredenciamento do perfil, cabendo, obviamente, revisão judicial dessa decisão.

Outro aspecto está no direito à revisão humana de decisões automatizadas, que acabou não prevalecendo na redação do art. 20 da LGPD. Já a legislação europeia prevê expressamente este direito, porém o circunscreve àquelas decisões automatizadas que possam limitar acesso a direitos ou interesses econômicos significativos das pessoas afetadas.

Existe a possibilidade da regulamentação do artigo 20 levantar hipóteses em que a revisão de decisões automatizadas pressuporia a atuação humana, mas deve haver cuidado para não se confundir revisão humana da decisão automatizada com supervisão humana no ciclo de vida da IA, nem se criar ônus demasiado para processos automatizados ou mesmo inviabilizar certas aplicações.

A regulamentação pela ANPD sobre decisões automatizadas e inteligência artificial é, portanto, essencial para promover segurança jurídica. Os parâmetros a serem estabelecidos devem ser claros, evitando interpretações divergentes, além de olhar para suas implicações e impactos sobre a inovação e a dinâmica concorrencial em diferentes segmentos [7].

Se de um lado as decisões automatizas são de extrema relevância para os mais variados serviços e sustentabilidade do ambiente digital, como garantia da prevenção à fraude e à segurança dos indivíduos, melhorar a precisão de crédito, remover conteúdo de ódio e desinformação nas redes sociais, entre outros tantos casos, é preciso haver clareza sobre o devido processo informacional.

Ou seja, transparência sobre os critérios utilizados para a tomada de decisão, sobretudo naquelas que possam trazer um alto risco aos direitos e garantias fundamentais dos indivíduos. A clareza perante o cidadão e a sociedade sobre quais são os critérios decisórios em decisões automatizadas é uma garantia contra possíveis arbítrios e a seletividade, que pode conter vieses prejudiciais a grupos minorizados.

As diretrizes devem ser vetores para a construção de ambiente regulatório que equilibre inovação tecnológica e proteção dos direitos dos titulares de dados, prevenindo conflitos judiciais e garantindo a utilização responsável da tecnologia.

______________________________

[1] (STJ – REsp: 1419697 RS 2013/0386285-0, Relator: Ministro PAULO DE TARSO SANSEVERINO, Data de Julgamento: 12/11/2014, S2 – SEGUNDA SEÇÃO, Data de Publicação: DJe 17/11/2014 RSSTJ vol. 45 p. 323 RSTJ vol. 236 p. 368 RSTJ vol. 240 p. 256)

[2] REsp n. 2.135.783/DF, relatora Ministra Nancy Andrighi, Terceira Turma, julgado em 18/6/2024, DJe de 21/6/2024; TJSP;  Agravo de Instrumento 2073113-21.2021.8.26.0000; Relator (a): Caio Marcelo Mendes de Oliveira; Órgão Julgador: 32ª Câmara de Direito Privado; Foro de Embu das Artes – 2ª Vara Judicial; Data do Julgamento: 29/11/2021; Data de Registro: 29/11/202; TJMG –  Apelação Cível  1.0000.23.083409-5/001, Relator(a): Des.(a) Pedro Aleixo , 3ª CÂMARA CÍVEL, julgamento em 25/10/2024, publicação da súmula em 29/10/2024; TJMG –  Agravo de Instrumento-Cv  1.0000.20.588362-2/002, Relator(a): Des.(a) Marco Aurelio Ferenzini , 14ª CÂMARA CÍVEL, julgamento em 24/08/2023, publicação da súmula em 24/08/2023; TJMG –  Agravo de Instrumento-Cv  1.0024.11.038849-3/001, Relator(a): Des.(a) Márcia De Paoli Balbino , 17ª CÂMARA CÍVEL, julgamento em 16/06/2011, publicação da súmula em 07/07/2011; TJMG –  Apelação Cível  2.0000.00.343319-4/000, Relator(a): Des.(a) Paulo Cézar Dias , Relator(a) para o acórdão: Des.(a) , julgamento em 21/11/2001, publicação da súmula em 01/12/2001

[3] RRAg-924-88.2022.5.13.0022, 1ª Turma, Relator Ministro Amaury Rodrigues Pinto Junior, DEJT 19/11/2024 “DIREITO DO TRABALHO. AGRAVO DE INSTRUMENTO. MOTORISTA DE APLICATIVO. ENTREGADOR. VÍNCULO DE EMPREGO. TRANSCENDÊNCIA JURÍDICA RECONHECIDA[…]. 4. A chamada subordinação algorítmica não encontra agasalho na ordem jurídica vigente e esse novo modelo contratual que envolve motoristas de aplicativos e empresas provedoras de plataformas digitais não se enquadra no modelo empregatício regulamentado pela Consolidação das Leis do Trabalho. […].

[4] REsp n. 2.135.783/DF, relatora Ministra Nancy Andrighi, Terceira Turma, julgado em 18/6/2024, DJe de 21/6/2024 RECURSO ESPECIAL. AÇÃO DE OBRIGAÇÃO DE FAZER C/C AÇÃO INDENIZATÓRIA. NEGATIVA DE PRESTAÇÃO JURISDICIONAL. OMISSÃO. NÃO DEMONSTRADA. DESCREDENCIAMENTO PERFIL. MOTORISTA APLICATIVO. DECISÃO AUTOMATIZADA. NOTIFICAÇÃO PRÉVIA. DESNECESSÁRIA. DEVER DE INFORMAÇÃO. SEGURANÇA DOS USUÁRIOS. CONTRADITÓRIO. AMPLA DEFESA. […] 5. Nos termos do art. 5º, I, combinado com o art. 12, §2º, da LGPD entende-se que o conjunto de informações que leva ao descredenciamento do perfil profissional do motorista de aplicativo se configura como dado pessoal, atraindo a aplicação da Lei Geral de Proteção de Dados.[…] 7. O titular dos dados pessoais, que pode ser o motorista de aplicativo, possui o direito de exigir a revisão de decisões automatizadas que definam seu perfil profissional (art. 20 da LGPD). […]

[5] STJ – REsp: 2135783 DF 2023/0431974-4, Relator: Ministra NANCY ANDRIGHI, Data de Julgamento: 18/06/2024, T3 – TERCEIRA TURMA, Data de Publicação: DJe 21/06/2024.

[6] A decisão cita que seriam os casos, por exemplo, de comportamento inadequado do motorista em razão de assédio ou importunação sexual, racismo, crimes contra o patrimônio, agressões físicas e verbais, dentre outras questões que envolvem não somente o contratante, senão o consumidor, seu bem-estar, segurança e dignidade

[7] Especialmente acerca do § 1º, do Art. 20: o controlador deverá fornecer, sempre que solicitadas, informações claras e adequadas a respeito dos critérios e dos procedimentos utilizados para a decisão automatizada, observados os segredos comercial e industrial.