/i.s3.glbimg.com/v1/AUTH_da025474c0c44edd99332dddb09cabe8/internal_photos/bs/2024/R/1/r9SaB3QXqA4LTto1cd8g/105475182-topshot-us-singer-songwriter-taylor-swift-arrives-for-the-81st-annual-golden-globe-a.jpg)
As imagens falsas de Taylor Swift, geradas por inteligência artificial e espalhadas pelas redes sociais no final de janeiro, provavelmente surgiram como parte de um desafio recorrente em um dos fóruns de mensagens mais notórios da Internet, de acordo com um novo estudo. A Graphika, uma empresa dedicada a investigar a desinformação, rastreou as imagens até uma comunidade no 4chan, o fórum conhecido por partilhar discursos de ódio, teorias de conspiração e, cada vez mais, conteúdos racistas e ofensivos criados com IA.
Os usuários do 4chan que criaram as imagens da cantora fizeram isso em uma espécie de jogo, disseram os pesquisadores – um teste para ver se conseguiam criar imagens obscenas (e às vezes violentas) de figuras femininas famosas. As imagens de Swift se espalharam por outras plataformas e foram visualizadas milhões de vezes. Os fãs se mobilizaram em defesa de Swift e exigiram proteções mais fortes contra imagens criadas por IA.
A Graphika encontrou um tópico no 4chan que incentivava os usuários a burlar as proteções estabelecidas por ferramentas geradoras de imagens, incluindo o DALL-E, da OpenAI, Microsoft Designer e Bing Image Creator. Os usuários foram instruídos a compartilhar “dicas e truques para encontrar novas maneiras de contornar filtros” e foram informados: “Boa sorte, seja criativo”.
Os especialistas sugerem que o compartilhamento desse tipo de imagens, mesmo desagradáveis ou ilegais, através de jogo faz com que esses jovens se sintam parte de comunidade. No tópico do 4chan que levou às imagens falsas de Swift, os autores era elogiados e recebiam pedidos para que os comandos (prompts) usados para a criação das imagens fossem compartilhados. Um usuário lamentou que uma mensagem produzisse a imagem de uma celebridade vestida com um maiô em vez de nua.
“Essas imagens surgiram em uma comunidade de pessoas motivadas pelo 'desafio' de contornar as proteções dos produtos generativos de IA, e as novas restrições são vistas como apenas mais um obstáculo”, disse Cristina López G., analista sênior da Graphika, em um comunicado. “É importante compreender a natureza gamificada desta atividade maliciosa para evitar mais abusos a frente.”
Taylor Swift está “longe de ser a única vítima”, disse López G.. Na comunidade do 4chan que manipulou sua imagem, muitas atrizes, cantores e políticos apareceram com mais frequência do que ela. As regras do 4chan não proíbem imagens sexualmente explícitas de adultos reais geradas por IA.
Os pesquisadores disseram que a primeira imagem de IA sexualmente explícita de Swift no tópico do 4chan apareceu em 6 de janeiro, 11 dias antes de surgirem no Telegram e 12 dias antes do X, anteriormente conhecido como Twitter. A 404 Media informou em 25 de janeiro que as imagens virais do Swift saltaram para as principais plataformas de mídia social do 4chan e de um grupo do Telegram dedicado a imagens abusivas de mulheres. O jornal inglês "Daily Mail" informou naquela semana que um site conhecido por compartilhar imagens sexualizadas de celebridades postou as imagens de Swift em 15 de janeiro.
Por vários dias, o X bloqueou buscas por Taylor Swift “com muita cautela para que possamos ter certeza de que estávamos limpando e removendo todas as imagens”, disse Joe Benarroch, chefe de operações comerciais da empresa.
A OpenAI disse em comunicado que as imagens explícitas da cantora não foram geradas usando suas ferramentas, observando que filtra o conteúdo mais explícito ao treinar seu modelo DALL-E. A empresa também disse que usa outras proteções de segurança, como negar solicitações que perguntem pelo nome de uma figura pública ou busquem conteúdo explícito.
A Microsoft disse que seguia “investigando essas imagens” e que havia "fortalecido os sistemas de segurança existentes para evitar que nossos serviços sejam mal utilizados para ajudar a gerar imagens como essas”. A empresa proíbe os usuários de usar suas ferramentas para criar conteúdo adulto ou íntimo sem consentimento e alerta que os infratores reincidentes podem ser bloqueados.
A pornografia falsa gerada com software tem sido uma praga desde pelo menos 2017, afetando celebridades, figuras governamentais, streamers do Twitch, estudantes e outros. A regulamentação precária deixa as vítimas com poucos recursos legais.
Depois que as imagens falsas de Swift se tornaram virais, Karine Jean-Pierre, secretária de imprensa da Casa Branca, chamou a situação de “alarmante” e disse que a aplicação frouxa das regras das empresas de mídia social afetava desproporcionalmente mulheres e meninas. Ela disse que o Departamento de Justiça financiou recentemente a primeira linha de apoio nacional para pessoas alvo de abuso sexual baseado em imagens, que o departamento descreveu como uma resposta a uma “necessidade crescente de serviços” relacionados com a distribuição de imagens íntimas sem consentimento.
O Screen Actors Guild-American Federation of Television and Radio Artists, o sindicato que representa dezenas de milhares de atores, chamou as imagens falsas de Swift e outras de “roubo de sua privacidade e direito à autonomia”.
Versões do Swift geradas artificialmente também foram usadas para promover golpes envolvendo utensílios de cozinha Le Creuset. A IA foi usada para personificar a voz do presidente Joe Biden em chamadas automáticas, dissuadindo os eleitores de participarem das eleições primárias de New Hampshire. Especialistas em tecnologia dizem que à medida que as ferramentas de IA se tornam mais acessíveis e fáceis de usar, paródias de áudio e vídeos com avatares realistas podem ser criados em poucos minutos.
