Recebi este texto da Wired no Telegram, e como achei bem mais completo e explicado do que vejo sendo dito sobre o assunto por aqui, resolvi traduzir. Pra quem quiser ver o original, clica aqui. O texto é de janeiro, e desde então eles em teoria estão tentando mudar, como podemos ver nessa matéria do TecMundo. Se é verdade? Não sei, mas é interessante saber como funciona, e ficar de olho nas evoluções – ou supostas evoluções – dessa questão. Sem mais delongas, lá vai:
Por meses as empresas de social media tem batido cabeça, pensando sobre como minimizar ou erradicar o discurso de ódio em suas plataformas. O YouTube tem trabalhado para garantir que anúncios não apareçam em vídeos de ódio. O Instagram tem usado sua AI para deletar comentários desagradáveis. No início dessa semana, a ProPublica divulgou os materiais internos de treinamento que o Facebook dá para os gerentes de conteúdo que moderam comentários e postagens na plataforma, sobre como calcular o que é e o que não é discurso de ódio.
De acordo com a reportagem, as regras usam uma lógica deliberada, se não estranha, para determinar como proteger certas classes de pessoas do discurso de ódio, enquanto não proteger outras. A ProPublica mostra um exemplo específico retirado deste material: as regras do Facebook determinam que “homem branco” é uma classe protegida, enquanto “criança negra” não é.
Como as regras funcionam
De acordo com as regras do Facebook, existem categorias protegidas – como sexo, identidade de gênero e religião – e categorias não protegidas – como classe social, ocupação, aparência e idade. Se o discurso se refere ao primeiro grupo, é discurso de ódio; se se refere ao segundo, não é. Então, “nós devemos matar todos os muçulmanos” é discurso de ódio. “Nós devemos matar todas as pessoas pobres” não é.
Essa separação binária pode deixar certas pessoas desconfortáveis, mas é quando classes protegidas e não protegidas são unidas em uma frase – uma categoria composta – que as políticas do Facebook se tornam mais estranhas. A lógica do Facebook diz o seguinte:
Categoria protegida + Categoria protegida = Categoria protegida.
Categoria protegida + Categoria não protegida = Não protegida.
Para ilustrar isso, o material de treinamento dá três exemplos – “homem branco”, “mulheres motoristas” e “criança negra” – e afirma que somente a primeira das três é protegida do discurso de ódio. Sim, a resposta é “homem branco”. Porque? Porque “homem” + “branco” = classe protegida + classe protegida, e assim, a classe resultante é de pessoas protegidas. Contraintuitivamente, como “negra” (uma classe protegida) modifica “criança” (uma classe não protegida”, este grupo resulta em uma classe não protegida.
Matemática + linguagem = sombrio
Em matemática, esse tipo de lógica de regras é chamado de lógica simbólica, e tem regras compreensíveis. A disciplina de lógica baseada em palavras foi criada no século XIX pelo matemático George Boole, e desde então se tornou essencial para o desenvolvimento de tudo, desde processadores de computador a linguística. Mas você não precisa ter um PhD em lógica ou filosofia da linguagem para reconhecer quando regras básicas estão sendo violadas. “Onde os engenheiros do Facebook tiveram aula de matemática? Membros do subconjunto C do conjunto A ainda são membros de A”, tweetou Chanda Prescod-Weinstein, uma astrofísica da Universidade de Washington.
Filósofos da linguagem pensam muito sobre como modificar uma categoria muda a lógica de uma frase. As vezes quando você tem uma palavra de uma categoria – como pessoas brancas – e você substitui ela por um subconjunto da mesma categoria – como assassinos brancos – a lógica não segue. As vezes segue. Por exemplo, pegue a frase “Todos os pássaros tem penas” e substitua por “Todos os pássaros brancos tem penas”. A segunda frase ainda faz sentido lógico e é uma boa dedução. Mas pegue “Alguns pássaros gostam de néctar” e substitua por “Alguns pássaros brancos gostam de néctar”, e isso pode não ser mais verdade – talvez somente pássaros verdes gostem de néctar. É uma dedução ruim.
As regras do Facebook parecem assumir que sempre que uma categoria protegida é modificada por uma categoria não protegida, a conclusão é ruim. Então só porque “pessoa negra” é uma classe protegida, ele não compreende explicitamente que “criança negra” seja uma classe protegida, mesmo que qualquer pessoa olhando o exemplo seja capaz de dizer que “criança negra” é um subconjunto de “pessoa negra”.
O fato é, não existe modo de saber sistematicamente se repor uma categoria com uma subcategoria vai levar a uma inferência/conclusão boa ou ruim. “Você precisa conectar os diferentes exemplos”, diz Matt Teichman, um filósofo da linguagem da Universidade de Chicago. “Você precisa observar a complexidade do que está acontecendo para saber com certeza.”
Teichman fala sobre um exemplo que pode dar suporte ao algoritmo do Facebook: todos os assassinos brancos devem morrer. “Toda vez que eu me deparo com políticas malucas como estas eu tento pensar, existe alguma maneira concebível de justificar isso?”, ele diz. O subconjunto “assassinos” é, na maioria dos casos, ruim. Então talvez faça sentido ser possível direcionar discurso de ódio a eles. Mas a raça de um assassino é – ou ao menos deveria ser – completamente irrelevante para a ruindade, e incluir raça nessa opinião parece, na melhor das hipóteses, problemático.
Saber as regras muda o jogo
Agora que as pessoas sabem quais são as regras do Facebook, existem várias maneiras de quebrá-las. Por exemplo, se alguém usa o termo “Muçulmanos radicais” no facebook, isso não é discurso de ódio (o modificador “radical” torna a categoria não protegida). Apenas adicionando um modificador a uma classe protegida, uma pessoa pode perpetuar um estereótipo e diminuir uma subcategoria enquanto persegue um grupo inteiro de pessoas, tudo isso sem quebrar as regras do Facebook.
“Existe uma diferença legal interessante entre significado literal e significado implícito. Você pode ser responsabilizado pelo que diz literalmente, mas muitas vezes você pode meio que se esquivar de ser realmente responsável pelo que apenas deixou implícito”, diz Teichman.
Seguir as regras pode rapidamente se tornar um exercício do absurdo. Alguém pode modificar uma categoria protegida de modo que inclua mais e mais pessoas daquele grupo. Por exemplo, dizer “crianças negras não devem ser permitidas na nossa cidade” versus “Adultos negros não devem ser permitidos na nossa cidade”. Escrevendo o último, é possível perpetuar o discurso de ódio que inclui a comunidade negra inteira – sem quebrar as regras do Facebook. E o jogo das regras não termina aí. Apenas modificando o nome de um grupo protegido com uma descrição de aparência – “feio”, “gordo” – é possível adicionar insultos as ofensas já degradantes.
Olhando as regras como um todo, o ProPublica diz que o Facebook desenvolveu as regras em reação a reclamações específicas, como de governos e usuários. Em um ponto, as regras eram abertas, incluindo uma regra geral que dizia “Remova qualquer coisa que faça você se sentir desconfortável”, diz Dave Willner, um ex-empregado do Facebook, na reportagem do ProPublica. Wilner revisou as regras atuais para as tornar mais rigorosas. O resultado, Teichman diz, parece ser uma colcha de retalhos construída não a partir de uma determinação ética forte, mas ao invés disso, um remendo feito a esmo com o passar do tempo. “As categorias viram essa confusão quando são o resultado da mistura das reclamações que as pessoas fazem”, diz Teichman.
Quando perguntado sobre sua posição em relação a essas questões, o Facebook direcionou a WIRED a uma declaração sobre discurso de ódio lançada no dia anterior a reportagem do ProPublica. As intenções do Facebook são ser “uma plataforma aberta a todas as ideias”, de acordo com a declaração.
Algumas pessoas veem essas regras sob uma luz mais obscura – de que esta política pretende proteger as pessoas o mínimo possível. “Talvez o que eles estejam tentando fazer com essa regra seja permitir um pouco de discurso problemático, para que os usuários que querem se engajar com isso usem seu site”, Teichman diz.
Em última análise, as regras do Facebook não representam a sutileza da linguagem ou as nuances dos problemas históricos e sociais que motivaram a criação das categorias. “De um lado você tem que amar a elegância de uma política que explicitamente protege homens brancos e não crianças negras, porque isso é exatamente o que estudiosos de raça e desigualdade argumentam que políticas que não levam raça em consideração fazem”, tweetou Tressie McMillan Cottom, uma socióloga da Virginia Commonwealth University. “Mas do outro lado isso é deprimente, porque significa que dezenas, senão centenas de pessoas viram este enquadramento e acharam que era perfeitamente bom. Eles pensaram que isso era legal E inteligente.”
Alguns pensam que discurso de ódio, como pornografia, não pode ser sistematicamente definido. Ao invés disso, como o juiz da suprema corte Potter Stewrt escreveu sobre pornografia em Jacobelliz v. Ohio, “Eu sei o que é quando vejo”. E é aí que o viés mostra sua cara feia, especialmente neste momento em que a inteligência artifical é treinada pelos mesmos moderadores de conteúdo humanos que ela é destinada a substituir. Não é que os moderadores fossem perfeitos, mas uma AI, como o DeepText lançado recentemente pelo Instagram para eliminar comentários maldosos, provavelmente contém os mesmos princípios lógicos e estruturas de poder incorporadas, sem ver, nas decisões que faz.