A Microsoft está começando a testar novos filtros de conteúdo para seu sistema de mensagens Xbox Live hoje, em um esforço para impedir a toxicidade em sua plataforma. A Microsoft lida com moderação no Xbox Live há quase 20 anos, incluindo a capacidade de relatar mensagens, Gamertags, fotos e muito mais, mas esse novo esforço coloca o jogador no controle do que verá no Xbox Live. Inicialmente, a Microsoft está lançando filtros baseados em texto para mensagens no Xbox Live, mas a empresa tem um objetivo muito mais amplo de poder filtrar as sessões de festa do Xbox Live no futuro, para que as chamadas de áudio ao vivo possam ser filtradas com bipes em tempo real semelhante à transmissão de TV.
Inicialmente, haverá quatro novos níveis de filtragem por texto disponíveis para os usuários do Xbox Live: amigável, médio, maduro e não filtrado. Como você pode imaginar, Amigável é a opção mais adequada para crianças, projetada para filtrar todas as mensagens potencialmente ofensivas. No extremo oposto, há o Não filtrado, que funcionará como o sistema de mensagens do Xbox Live.
As mensagens filtradas aparecerão com um novo aviso de “mensagem oculta potencialmente ofensiva” e, se você estiver usando uma conta Xbox Live para adultos, poderá clicar para ver o conteúdo e relatá-lo usando as ferramentas regulares, se necessário estar. As contas filho serão colocadas no nível Amigável por padrão e, por padrão, serão impedidas de ver mensagens potencialmente ofensivas. Os pais poderão gerenciar os níveis através das configurações da família da Microsoft, e a filtragem funcionará no Xbox One, na Xbox Game Bar e nos aplicativos Xbox para Windows 10, iOS e Android.
Para a Microsoft, não se trata apenas de filtrar as coisas ruins que as pessoas podem enviar para você enquanto você reproduz as últimas Chamada do dever título. Vai muito mais fundo. “Você vê histórias de jogadores afro-americanos sendo convocados para linchamento em sessões multiplayer, ou jogadores do sexo feminino em ambientes competitivos sendo chamados de todos os tipos de nomes e se sentindo assediados no mundo exterior, ou membros da nossa comunidade LGBTQ sentindo que não conseguem falar com a voz no Xbox Live, por medo de serem chamados ”, explica Dave McCarthy, chefe de operações do Xbox da Microsoft, em entrevista ao The Verge. “Se realmente queremos realizar nosso potencial como indústria e fazer com que esse meio maravilhoso chegue a todos, simplesmente não há lugar para isso”.
McCarthy e sua equipe têm procurado várias maneiras de identificar o contexto das mensagens usando uma mistura de inteligência artificial e filtragem. “O contexto é uma coisa realmente complicada no espaço dos jogos”, admite McCarthy. “Uma coisa é dizer que você irá para uma matança quando se preparar para uma missão multiplayer em aréola, e outro quando pronunciado em outra configuração. Encontrar maneiras de entender o contexto e as nuances é uma batalha sem fim. ”
Passei parte do meu encontro com McCarthy e sua equipe em um dos momentos mais bizarros da minha carreira: bombardeando uma conta do Xbox Live com mensagens rudes na tentativa de superar os filtros. Tentei algumas das maneiras básicas de contornar os filtros de texto típicos, manipulando palavrões com acentos ou símbolos, e a Microsoft os pegou. Até mensagens baseadas em contexto sobre o assassinato de ondas de zumbis foram captadas corretamente. Não tive tempo suficiente para testar o sistema completamente, mas nada é infalível, e a Internet pode se adaptar rapidamente para criar frases e memes ofensivos que atacam certas comunidades. A Microsoft demonstrou como ela pode pegar uma frase específica e adicioná-la instantaneamente ao sistema de filtragem da empresa, embora alguém ainda precise sinalizar essa palavra em primeiro lugar.
A Microsoft agora está tentando ser mais aberta e transparente sobre como modera o Xbox Live e as escolhas que faz para aplicar esses filtros em toda a comunidade. “Se pedirmos que nossos usuários sejam responsáveis por suas ações no Xbox Live e outros serviços, precisamos ser transparentes sobre nosso sistema de valores, nossas práticas e por que fazemos o que fazemos”, explica McCarthy. “Tivemos sucesso recentemente em fazer coisas como fornecer evidências e apontar as pessoas de volta aos nossos novos padrões da comunidade Xbox Live, como parte de nosso esforço de transparência nas investigações que realizamos”.
No momento, os usuários do Xbox Live podem acessar o site de imposição da empresa para encontrar dicas sobre qual mensagem específica colocou sua conta em problemas. Mas não é o mesmo que destacar o mau comportamento em uma mensagem para a pessoa responsável pela conta. A Microsoft está considerando algumas mudanças na forma como os proprietários do Xbox Live são notificados quando violam as regras, mas a empresa também está olhando muito além de apenas mensagens baseadas em texto.
A Microsoft também quer enfrentar o desafio da toxicidade do bate-papo por voz no Xbox Live. Muitos comportamentos tóxicos e assédio podem ocorrer quando alguém é convidado para um bate-papo no Xbox Live. A Microsoft Research já desenvolveu recursos de fala para texto para traduzir áudio em tempo real, e a divisão Xbox está usando esse recurso.
“O que começamos a experimentar é ‘Ei, se estamos traduzindo fala em texto em tempo real e temos esses recursos de filtragem de texto, o que podemos fazer em termos de bloquear possíveis comunicações em uma configuração de voz? ‘”Explica McCarthy. “Ainda é cedo, e há uma infinidade de outras IA e tecnologia que estamos procurando empacotar em torno do problema da voz, coisas como detecção de emoções e detecção de contexto que podemos aplicar lá. Acho que estamos aprendendo de maneira geral … estamos nos dedicando a fazer o que é certo “.
Isso é obviamente extremamente complexo, tanto em termos da tecnologia para alcançá-la quanto nos aspectos de privacidade envolvidos, mas o objetivo da Microsoft é ter algo semelhante à filtragem que as emissoras de TV podem obter nas transmissões ao vivo.
“Um objetivo final pode ser semelhante ao que você esperaria na TV aberta, onde as pessoas estão conversando e, em tempo real, somos capazes de detectar uma fase ruim e emitir um sinal sonoro para usuários que não querem ver isso ”, explica Rob Smith, gerente de programa da equipe de engenharia do Xbox Live. “É um grande objetivo, mas teremos que tomar medidas para isso.” A Microsoft também terá que considerar qualquer latência em potencial em torno da análise de amostras de voz em tempo real, já que a maioria das conversas é usada para coordenar movimentos no jogo.
Parece que, antes de qualquer filtragem automatizada de áudio, a Microsoft está analisando a fala do bate-papo de terceiros para detectar toxicidade. “Enquanto isso, poderíamos fazer coisas como analisar o discurso de uma pessoa e descobrir, em geral, qual é o nível de toxicidade que eles estão usando nesta sessão? E talvez fazer coisas como silenciá-las automaticamente ”, revela Smith.
A Microsoft está executando vários testes internamente para descobrir o que funcionará melhor e para consultar sua comunidade Xbox Live na implementação de seus planos de bate-papo. É um plano ambicioso, mas a Microsoft terá que ter muito cuidado ao analisar esse áudio, pois as implicações de privacidade são enormes. “Temos que respeitar os requisitos de privacidade no final do dia para nossos usuários, para que possamos abordar isso de maneira cuidadosa, e a transparência será nosso princípio orientador para que façamos a coisa certa para nossos jogadores”, diz McCarthy .
A Microsoft também pode se encontrar em um debate de liberdade de expressão com esses filtros, embora a Suprema Corte tenha afirmado no início deste ano que os direitos da Primeira Emenda não se aplicam a plataformas privadas como o Xbox Live. A Microsoft está sendo clara sobre suas intenções aqui e o que espera de uma comunidade que controla.
“O Xbox Live não é uma plataforma de liberdade de expressão. É uma comunidade com curadoria em que queremos que você tenha alguns graus de liberdade pessoal, e é por isso que estamos fazendo quatro configurações diferentes para começar aqui ”, explica McCarthy. “Mas não queremos ser ambíguos sobre o que defendemos. Esse deve ser um lugar onde todos se divirtam, e tudo o que fizermos em termos de recursos e de práticas de moderação será vetorizado nesse conjunto de valores. ”
