Como regular a moderação privada de conteúdo nos novos espaços públicos?

A moderação de conteúdo, entendida como o conjunto de mecanismos de governança que estruturam a participação em uma plataforma para facilitar cooperação e prevenir abusos [1] vem sendo largamente empregado pelos provedores de redes sociais e de aplicações que permitam compartilhamento de conteúdo na internet, bem como nos resultados de buscas [2].

Apenas no primeiro quarto de 2020, o Facebook removeu ou aplicou medidas sobre cerca de 1,8 bilhão de contas inautênticas e conteúdos envolvendo nudez e atividade sexual, violência, organizações perigosas (terrorismo e ódio), hate speech, drogas e armas de fogo, pornografia infantil, suicídio e auto-mutilação. O último relatório de transparência do Twitter revela suspensão de 244.188 contas por exploração de menores (91% usando tecnologia) e 115.861 contas por conteúdo violento (87% com uso de ferramentas computacionais proprietárias) [3]. Segundo o relatório do primeiro trimestre de 2020 [4]moderadores do YouTube removeram manualmente 399.422 vídeos, ao passo que 5.711.586 vídeos foram removidos por ferramentas automatizadas [5]. O relatório de transparência do Google, por sua vez, indica que mais de quatro bilhões de URLs tiveram sua deslistagem requisitada por usuários.

Pela posição central das plataformas digitais na construção do espaço de debate público atual, a tendência, na Europa [6] e nos Estados Unidos da América [7], consiste em ver a moderação como central não só para a promoção da qualidade dos serviços disponibilizados, que traduz o interesse privado dos provedores, mas também para a garantia de liberdade de expressão do indivíduo, de direitos fundamentais e do ambiente democrático, razão pela qual, há uma necessidade de convergência dos termos de uso com a ordem jurídica estatal, em democracias constitucionais contemporâneas. Por outro lado, cada vez mais se reconhece que essa curadoria de conteúdo implica responsabilidade das plataformas pela adoção dos procedimentos adequados de governança e meios técnicos disponíveis para evitar abusos e mitigar impactos provocados por conteúdo nocivo propagado. Ou seja, aponta-se para deveres inerentes à moderação de conteúdo pelas plataformas terem se tornado, de fato, as anfitriãs do espaço para o discurso público e "curadoras" da liberdade de expressão, de modo que suas regras não podem ficar restritas à relação contratual com os usuários, devendo incorporar a legislação nacional, sendo compatíveis com as regras sobre licitude de conteúdo difundido na esfera pública [8]. Isso inclui não só os ilícitos criminais [9], como também as regras nacionais sobre publicidade [10] nos veículos de comunicação, nas práticas de propaganda online e impulsionamento de conteúdo.

Tendo em vista o interesse público do qual se cerca, os sistemas privados de governança montados pelos provedores para a moderação de conteúdo na internet tem sido centro de debates internacionais, que apontam preocupação quanto à falta de transparência e arbítrio pelos provedores [11]. Nesse sentido, entidades da sociedade civil tem promovido iniciativas e promulgado documentos no sentido de estimular a adoção de mecanismos de transparência, entre eles o Santa Clara Principles [12], o Corporate Accountability Index [13] e os princípios sobre filtragem de conteúdo da Eletronic Frontier Foundation [14].

Esses documentos elencam a necessidade dos provedores de aplicação divulgarem os números de medidas aplicadas (flagging, blocking, takedown) e de notificarem o usuário afetado pela medida, oferecendo as razões correspondentes, bem como a oportunidade para sua contestação. Iniciativas legislativas também incorporaram alguns deveres procedimentais da transparência, como a lei alemã de redes NetzDG [15] e a proposta de regulação europeia sobre prevenção de disseminação online de conteúdo terrorista [16] e a Recomendação sobre a Responsabilidade de Intermediários na Internet do Conselho Europeu [17].

Embora as plataformas tenham passado a divulgar números de atividade de moderação, induzidas por pressões governamentais [18], foram tímidas em relação à disponibilização de mecanismos efetivos de contestação, permanecendo arbitrárias as decisões pelos provedores quanto à exclusão de conteúdos e contas [19].

Por outro lado, o debate acadêmico e de ativistas digitais [20] tem apontado a insuficiência dessas medidas. Note-se que todas elas se referem a boas práticas após a tomada de decisão pelo provedor de aplicação acerca de medida sobre conteúdos ou contas. Mas uma série de preocupações têm sido levantadas sobre a adequação e impactos a direitos fundamentais decorrentes do próprio processo decisório adotado pelas plataformas. Esse processo de tomada de decisão envolve, basicamente, equipes de moderadores e ferramentas computacionais para a detecção ou decisão automatizada sobre o conteúdo.

Quanto aos moderadores, há três ordens de questionamento. A primeira diz respeito à adequação dos padrões de moderação, tipicamente modulados para democracias constitucionais, assumindo-se, por exemplo, que a desinformação e o ódio são criados e tolerados apenas por uma minoria, quando na verdade podem ter o suporte da maioria da população e ter inclusive origem governamental [21]. A segunda concerne à necessidade de competência dos moderadores para lidar com questões locais, incluindo o conhecimento da língua e aspectos culturais e políticos relevantes, considerando que, por vezes, a moderação não é nacional e até mesmo pode ser executada de modo terceirizado para empresas estrangeiras [22]. Recentemente, o Facebook fez esforço louvável em constituir e divulgar seu Oversight Board [23] para moderação de conteúdo, enfatizando a equipe escolhida, formada por membros conhecidos por sua defesa da liberdade de expressão e direitos humanos. Porém, o Oversight Board decide pequeno número casos selecionados, com o objetivo de oferecer diretrizes para as equipes de moderadores, que efetivamente tomarão decisões sobre moderação de conteúdo na rede social. Pouco se sabe sobre a composição, treinamento e capacidades das equipes de moderadores, em qualquer das redes sociais hoje dominantes. O episódio de Mianmar [24], em que o Facebook foi incapaz de detectar como a rede social foi utilizada como arma para incitar violência contra a minoria étnica Rohingya, ilustra bem essas duas ordens de preocupação. A terceira preocupação concerne às condições de trabalho do moderador, que é exposto constantemente a imagens e conteúdo degradantes, o que pode afetar sua saúde psíquica [25].

Por sua vez, a automação na moderação para a detecção e tomada de decisão de conteúdo abusivo, tanto ex ante quanto ex post, tem sido estimulada pela regulação como o Copyright Directive da União Européia, o NetzDG alemão e a lei australiana Abhorrent Violent Material, que obrigam a adoção de medidas em tempo eficiente, por vezes dentro de 24 horas. Porém, críticos dessa legislação apontam para o risco de excesso de confiança nessas ferramentas [26] e que a discricionariedade das plataformas no seu uso pode levar a resultados contraproducentes [27], como violações à liberdade de expressão, pelo excesso de bloqueios [28], e a outros direitos humanos, caso não haja transparência e prestação de contas em relação a essas ferramentas [29], em particular quanto a seu papel na tomada de decisão, quanto a sua explicabilidade, i.e. critérios relevantes para a classificação, muitas vezes tornada opaca pelo algoritmo empregado [30], seu nível de acurácia e a possível incorporação de traços sociais discriminatórios [31] ou distorções em acurácia conforme gênero ou raça [32].

 

Por fim, considerando que, embora não respondam por sua elaboração, a propagação dos conteúdos é viabilizada pela plataforma, de modo que tem sido destacada a necessidade dos provedores de aplicação adotarem os meios técnicos a seu alcance visando a mitigar impactos eventualmente provocados pelas ações ou omissões da moderação. Tal atuação inclui não só restaurar contas e conteúdos equivocadamente excluídos, como também empregar meios disponíveis para corrigir a informação ou informar sobre o caráter abusivo do conteúdo àqueles que a ele foram expostos, ou no mínimo, que com ele interagiram [33].

A partir do debate internacional recente, é possível observar que o tratamento dado pelo PL nº 2630/2020 à moderação de conteúdo é incompleto. Isso porque, além de não estipular a necessidade dos termos de serviço dos provedores de aplicação incorporarem parâmetros de conteúdo ilícito, conforme legislação nacional sobre a comunicação e sobre a publicidade, tratam apenas de um aspecto da moderação, a saber, aquilo que ocorre após a tomada de decisão dos provedores sobre o conteúdo, com a obrigatoriedade de oferecer oportunidade de defesa e recurso, além da divulgação de métricas da moderação.

Faltam regras de transparência e prestação de contas naquilo que ocorre no processo de tomada de decisão pela plataforma, seja em relação aos moderadores, seja em relação aos algoritmos empregados, bem no que diz respeito à disponibilização de mecanismos claros para reclamação para os usuários ofendidos e ao empenho dos provedores no sentido de mitigar impactos do conteúdo nocivo que foi propagado na rede.

Nesse sentido, os seguintes pontos merecem especial atenção no tema da moderação de conteúdo privado pelos provedores:

1) As regras elaboradas pelo provedor de aplicação sobre moderação de conteúdo devem ser debatidas de modo amplo, à luz de seus impactos específicos sobre o discurso público, envolvendo diferentes representantes da sociedade civil, considerando-se o papel relevante do discurso veiculado nas plataformas para o exercício de direitos individuais, para a coesão social e para a democracia [34]. Tanto as regras como as ferramentas para sua aplicação, incluindo a moderação automática e humana devem ser descritas de modo transparente. As plataformas devem responder tanto pelas regras quanto por sua aplicação, assegurando que adota os procedimentos e medidas adequadas, tendo em vista seu papel essencial como fóruns do discurso público e como palcos para exercício de uma gama de direitos humanos online, incluindo liberdade de expressão, mas também a liberdade de informação, direito à dignidade e à privacidade;

2) A moderação de conteúdo online contra a desinformação deve abranger não somente serviços de redes sociais, que permitam ao usuário publicar conteúdos online para redes de relacionamentos ou ao público em geral (Facebook, Twitter etc.), como também serviços de postagem e compartilhamento de vídeos (YouTube), bem como serviços de busca que direcionem o usuário para conteúdo desinformativo (Google search). Assim o artigo sobre moderação não deve limitar sua referência a provedores de redes sociais, mas abranger os provedores de aplicação em geral;

3) Atenção deve ser dada, também, à moderação de publicidade. O provedor tem a oportunidade e o dever de filtrar o conteúdo, previamente, ao seu impulsionamento, considerando que obterá retorno financeiro pela difusão. Esse dever precisa estar aliado às regras de transparência para identificação das fontes de financiamento de propagação de conteúdos ilícitos, submetendo-se à regulação existente sobre publicidade no Brasil;

4) A atividade de moderação humana deve contar com equipe de revisores adequada ao volume de comunicações, com competência linguística e conhecimento da cultura local adequados para o exame do conteúdo;

5) Ferramentas computacionais que empreguem inteligência artificial cada vez mais tem se mostrado eficazes e efetivas em custos para detetar e classificar conteúdo ilícito. Porém, são falíveis e devem atender a parâmetros éticos para evitar que sejam contraproducentes ou ameacem outros direitos fundamentais, dentre eles, padrões aceitáveis de acurácia para seu emprego, transparência, explicabilidade e controle de vieses;

6) Dado o caráter falível da moderação e a possibilidade de exclusão ou marcação da expressão pública de conteúdo lícito e legítimo, o poder de moderação das plataformas não pode ser arbitrário, devendo incorporar também mecanismos online de contestação, facilmente acessíveis pelo usuário e que garantam o efetivo contraditório, além de respostas rápidas e justificadas pelos provedores quanto a sua decisão final;

7) Deve haver transparência pelos provedores em relação à equipe empregada para moderação de conteúdo, empresas contratadas e aos meios técnicos, em particular, sobre os sistemas de inteligência artificial utilizados;

8) Os provedores de aplicação devem, na medida do possível naquilo que for tecnicamente viável, buscar informar usuário que teve contato com conteúdo que violou os termos e usos do contrato ou que alvo de medidas de checagem por fontes independentes. Essa medida informativa pela plataforma vem em consonância com seus deveres de tráfego visando a contribuir com a atenuação dos efeitos da circulação e propagação de desinformação ou conteúdo abusivo. Essa medida deve atingir, no mínimo, aqueles que interagiram explicitamente com o conteúdo abusivo pelo período em que foi mantido na rede e quando possível, todos aqueles que foram expostos ao conteúdo.

 

 

[1] GRIMMELMANN, James. The virtues of moderation. Yale Journal of Law & Technology, 2015, v. 17. Disponível em: <https://digitalcommons.law.yale.edu/cgi/viewcontent.cgi?article=1110&context=yjolt>. Acesso: em 27 ago.2020.

[2] Barrett, Paul. M. Who moderates the social media giants? In: New York University Stern Center for Business and Human Rights, 2020. Disponível em: <https://bhr.stern.nyu.edu/blogs/2020/6/4/who-moderates-the-social-media-giants>. Acesso em: 27 ago.2020.

[3] TWITTER. Transparency. Rules Enforcement. Disponível em: <https://transparency.twitter.com/en/twitter-rules-enforcement.html>. Acesso em: 28 ago.2020.

[4] GOOGLE Transparency Report. Cumprimento das diretrizes da comunidade do You Tube. Disponível em: <https://transparencyreport.google.com/youtube-policy/removals>. Acesso em: 28 ago.2020.

[5] GOOGLE Transparency Report. Cumprimento das diretrizes da comunidade do You Tube. Disponível em: <https://transparencyreport.google.com/youtube-policy/removals?total_removed_videos=period:Y2020Q1;exclude_automated:human_only&lu=total_removed_videos>. Acesso em: 28 ago.2020.

[6] JØRGENSEN, Rikke Frank. When Private Actors Govern Human Rights. Research Handbook on Human Rights and Digital Technology 346, 363. In: Ben Wagner, Matthias C. Kettemann, Kilian Vieth (Orgs.) 2019; ROBERTS, Sarah T. Behind the Screen. Content moderation in the shadows of social media, Edward Elgar: Londres, 2019 p. 33 ss.

[7] CITRON, Danielle K; FRANKS, Mary Anne. The internet as a speech machine and other myths confounding section 230 Reform. Boston University School of Law Public Law and Legal Theory Paper, 2020, n. 20-8; [7] CITRON, Danielle K; WITTES, Benjamin. The internet will not break: Denying bad Samaritans § 230 immunity. Fordham Law Review, v. 86, pp. 401–423.

[8] WIELSCH, Dan. Os ordenamentos das redes: Termos e condições de uso - Código - Padrões da comunicação. em: Ricardo Campos, Georges Abboud, Nelson Nery Jr. (Orgs.) Fake News e Regulação, 2a. Edição, RT: Sao Paulo 2020, p. 91 ss.

[9] No Brasil, no mínimo, as práticas capituladas nos tipos penais presentes nos artigos 138,139,140, 147, 282, 283 e 284 da Lei 7.209 de 11 de julho de 1984 (Código Penal), na Lei 7.716 de 5 de janeiro de 1989 e artigos 323 e 337 do Código Eleitoral e artigos 33, parágrafo 4o e 34, parágrafo 3o da Lei 9.504 de 30 de setembro de 1997.

[10] No Brasil, naquilo que for cabível, as Leis nº 4.680/65 e a Lei nº 12.232/10 e ao disposto no artigo 36 da Lei 8.078/90.

[11] HAMILTON, Rebecca J. Governing the Global Public Square. Harvard International Law Journal, v. 62, 2021 (no prelo); JØRGENSEN, Rikke Frank; ZULETA, Lumi. Private Governance of Freedom of Expression on Social Media Platforms. Nordicom Review, 2020, pp. 51-67; CAPLAN. Ronyn; GILLESPIE, Tarleton. Tiered Governance and Demonetization: The Shifting Terms of Labor and Compensation in the Platform Economy. Social Media + Society, 2020; GORWA, Robert; BINNS, Reuben; KATZENBACH, Christian. Algorithmic content moderation: Technical and political challenges in the automation of platform governance. Big Data & Society, 2020; KETTEMANN, Matthias. Menschenrechte und politische Teilhabe im digitalen Zeitalter, 2020; TIEDEKE, Anna Sophia; KETTEMANN, Matthias. Back up: can users sue platforms to reinstate deleted content? Internet Policy Review Jounal on internet regulation, vol. 9, 2020.

[12] THE SANTA CLARA PRINCIPLES on Transparency and Accountability in Content Moderation. Disponível em: <https://santaclaraprinciples.org/>. Acesso em: 26.ago 2020.

[13] Ranking Digital Rights Header Branding. Disponível em: <https://rankingdigitalrights.org/index2019/>. Acesso em: 26.ago 2020.

[14] GEBHART, Gennie. Who has your Back? Censorship Edition 2019. Electronic Frontier Foundation. Disponível em: < https://www.eff.org/wp/who-has-your-back-2019>. Acesso em: 26.ago 2020.

[15] Gesetz zur Verbesserung der Rechtsdurchsetzung in sozialen Netzwerken, Seção 2, que requer a produção de relatórios de transparência. Ver traducao da lei alema para o português em: Ricardo Campos, Georges Abboud, Nelson Nery Jr. (Orgs.) Fake News e Regulação, 2a. Edição, RT: Sao Paulo 2020, p. 337 ss.

[16] EUROPEAN COMMISSION. Regulation of the European Parlament and of the Council on preventing the dissemination of terrorist content online, 2018. O Artigo 8(2) do referido regulamento obriga a publicação de requerimentos de remoção de conteúdo.

[18] MASNICK, Mike. How Government Pressure Has Turned Transparency Reports from Free Speech Celebrations to Censorship Celebrations, Techdirt, publicado em 17.abr 2018. Disponível em: <https://www.techdirt.com/blog/?d=17&m=4&y=2018>. Acesso em: 26.ago 2020.

[19] GILLESPIE, Tarleton. Custodians of the Internet. Platforms, content moderation, and the hidden decisions that shape social media, New Haven 2018, p. 24 ss.; KLONICK, Kate. The New Governors: The People, Rules, and Processes Governing Online Speech” 131. Harvard Law Review, 1598.

[20] Ver globalvoices.org e datasociety.net.

[21] WU, Tim. Is the First Amendment Obsolete? Michigan Law Review, vol. 117, 2018, pp. 547-557; HAMILTON, Rebecca J. Governing the Global Public Square. Harvard International Law Journal, v. 62, 2021 (no prelo);

[22] GILLESPIE, Tarleton. Custodians of the Internet. Platforms, content moderation, and the hidden decisions that shape social media, New Haven. Yale University Press, 2018; ROBERTS, Sarah T. Digital detritus: ‘Error’ and the logic of opacity in social media content moderation. First Monday, 23(3); SUZOR, Nicolas P.;WEST, Sarah Myers; QUODLING, Andrew; YORK, Jillian. What do We mean when We talk about transparency? Toward meaningful transparency in commercial content moderation. International Journal of Communication 2019, vol 13. Disponível em: < https://ijoc.org/index.php/ijoc/article/view/9736>. Acesso em: 26.ago 2020.

[24] STECKLOW, Steve. Inside Facebook’s Myanmar Operation Hatebook: A Reuter’s Special Report, REUTERS, publicado em 15.ago 2018. Disponível em: < https://www.reuters.com/investigates/special-report/myanmar-facebook-hate/ [https://perma.cc/2QWF-D6L8>. Acesso em: 26.ago 2020.

[25] ROBERTS, Sarah T. Behind the Screen. Content moderation in the shadows of social media, Yale University Press: Londres, 2019 p. 33 ss.

[26] LI, Sydney; WILLIAMS, Jamie. Despite What Zuckerberg’s Testimony May Imply, AI Cannot Save Us. Electronic Frontier Foundation, publicado em 11.abr 2018.. Disponível em: <https://www.eff.org/deeplinks/2018/04/despite-what-zuckerbergstestimony-may-imply-ai-cannot-save-us>. Acesso em: 26.ago 2020.

[27] BLOCH-WHEBA, Hannah. Automation in Moderation, Cornell Internattional Law Journal 2020.

[28] BAR-ZIV, Sharon; ELKIN-KOREN, Niva. Behind the scenes ofonline copyright enforcement: Empirical evidence on notice & takedown. Connecticut Law Review, 2018; URBAN, Jennifer; KARAGANIS, Joe; SCHOFIELD, Brianna. Notice and takedown in everyday practice. UC Berkeley Public Law Research Paper, 15.mar 2016.

[29] GORWA, Robert; BINNS, Reuben; KATZENBACH, Christian. Algorithmic content moderation: Technical and political challenges in the automation of platform governance. Big Data & Society 2020.

[30] ANANNY, Mike.; CRAWFORD, Kate. Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. New Media & Society , 2018, 20(3), pp. 973–989. GORWA, Robert; Garton ASH, Timothy Garton. Democratic Transparency in the Platform Society. In: Persily N, Tucker Josh, Social Media and Democracy: The State of the Field and Prospects for Reform. Cambridge, UK: Cambridge University Press, 2020.

[31] BINNS, Reuben, VEALE, Michael, KLEEK, Max Van; SHADBOLT, Nigel. Like trainer, like bot? Inheritance of bias in algorithmic content moderation. In: International conference on social informatics, pp. 405–415. Berlin: Springer, 2017.

[32] ANGWIN, Julia; GRASSEGGER, Hannes. Facebook’s Secret Censorship Rules Protect White Men, But Not Black Children. In: ProPublica. Disponível em: <org/article/facebook-hate-speech-censorship-internaldocuments-algorithms>. Acesso em: 25.ago 2020; HOFFMANN, Anna Lauren. Where fairness fails: Data, algorithms, and the limits of antidiscrimination discourse. Information, Communication & Society 2019, vol. 22, ed. 7, pp. 900–915.

[33] ECKER, Ullrich K H; SWIRE-THOMPSON, Briony. Misinformation and its Correction: Cognitive Mechanisms and Recommendations for Mass Communication (2018). Disponível em: https://www.researchgate.net/publication/317603082_Misinformation_and_its_Correction_Cognitive_Mechanisms_and_Recommendations_for_Mass_Communication

[34] Cf. KETTEMANN/SCHULZ, Setting Rules for 2.7 Billion. A (First) Look into Facebook’s Norm-Making System (Leibniz Institute for Media Research Working Paper #2, 2020).

*Co-autoria com Ricardo Campos, Matthias Kettemann, Juliana Abrusio e Giovanni Sartor. Originalmente publicado em Conjur.

**Imagem freepik.

Ao usar nosso site, você concorda com nossa Política de Privacidade e uso de cookies.