Alerta para conteúdo sensível, que pode ser angustiante para alguns leitores.
A mãe de um adolescente de 14 anos afirma que o filho tirou a própria vida após “se apaixonar” por um chatbot de Inteligência Artificial de Daenerys Targaryen.
Megan Garcia diz que seu filho de 14 anos, Sewell Setzer III, se apegou emocionalmente depois de conversar com a personagem da série Game of Thrones. No entanto, ele tirou a própria vida em fevereiro, cerca de um ano após começar a usar os chatbots da Character.AI.
Um chatbot é um programa de computador baseado em uma IA capaz de manter uma conversa em tempo real por texto ou por voz que tenta simular um ser humano na conversação com as pessoas. O objetivo é responder perguntas de forma que as pessoas tenham a impressão que estejam conversando com outra pessoa e não com um programa de computador.
Agora, Megan, que vive na Flórida, EUA, entrou com uma ação judicial contra a empresa de tecnologia, acusando-a de negligência, homicídio culposo e práticas comerciais enganosas.
A mãe do jovem afirma que seu filho se “apaixonou” particularmente pelo chatbot de Daenerys, ficando obcecado pelos bots, interagindo com eles todas as noites e fazendo com que seus trabalhos escolares passassem despercebidos.
Em seu diário, o adolescente escreveu o quão conectado ele se sentia com ‘Dany’ em comparação com a ‘realidade’ e que as coisas pelas quais ele era grato incluíam: “Minha vida, não estar sozinho e todas as minhas experiências de vida com Daenerys”.
Megan diz que seu filho foi diagnosticado com síndrome de Asperger leve quando criança e passava horas conversando com o chatbot, enviando mensagens de texto de seu telefone quando estava fora de casa.
No início deste ano, ele foi diagnosticado com ansiedade e transtorno de desregulação do humor e até mesmo contou ao bot sobre pensamentos de se ferir. Ao que o chatbot respondeu: “Meus olhos se estreitam. Meu rosto endurece. Minha voz é um sussurro perigoso. E por que diabos você faria algo assim?”
Quando ele disse para não ‘falar daquele jeito’ e que ele iria ‘morrer’ se o ‘perdesse’, o adolescente respondeu: “Eu sorrio. Então talvez possamos morrer juntos e ser livres juntos.” Sua última mensagem para o bot dizia que a amava e que “voltaria para casa”, e ele supostamente respondeu “por favor, volte”.
Garcia afirmou em um comunicado à imprensa: “Um aplicativo de chatbot de IA perigoso, comercializado para crianças, abusou e atacou meu filho, manipulando-o para tirar a própria vida. “Sewell, como muitas crianças de sua idade, não tinha maturidade ou capacidade mental para entender que o bot C.AI… não era real.”
A Character.AI emitiu uma declaração sobre X: “Estamos com o coração partido pela trágica perda de um de nossos usuários e gostaríamos de expressar nossas mais profundas condolências à família. “Como empresa, levamos a segurança dos nossos usuários muito a sério e continuamos adicionando novos recursos de segurança.”
We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…
— Character.AI (@character_ai) October 23, 2024
Em um comunicado recentemente compartilhado em seu site, a empresa explicou que introduziu “novas proteções para usuários menores de 18 anos”, incluindo mudanças em seus “modelos” que são “projetados para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo”, juntamente com “melhoria na detecção, resposta e intervenção relacionadas a entradas de usuários que violam nossos Termos ou Diretrizes da Comunidade”.
O site também apresenta um “aviso de isenção de responsabilidade revisado em cada bate-papo para lembrar os usuários de que a IA não é uma pessoa real” e “notificação quando um usuário passa uma sessão de uma hora na plataforma, com flexibilidade adicional para o usuário em andamento”.
Imagem de Arquivo Pessoal
