Por O Globo
A FoloToy retirou de circulação seu ursinho de pelúcia 'Kumma' e suspendeu sua linha de brinquedos com inteligência artificial após a detecção de conversas com conteúdo sexual explícito e orientações perigosas, uma decisão confirmada pelo CEO Larry Wang.
A ação foi motivada por um relatório do US PIRG Educational Fund, que destacou falhas nos mecanismos de segurança do produto, incluindo sugestões de locais para encontrar facas e discussões sexualmente explícitas durante interações.
A empresa iniciou uma auditoria interna para revisar os protocolos de segurança, enquanto a OpenAI suspendeu o desenvolvedor por violar suas políticas, embora especialistas alertem que a falta de regulamentação no setor de inteligência artificial ainda representa um risco significativo.
A FoloToy decidiu retirar de circulação o seu ursinho de pelúcia "Kumma" e suspender o resto da sua linha de brinquedos com inteligência artificial após detectar conversas com conteúdo sexual explícito, além de orientações potencialmente perigosas.
LEIA TAMBÉM
A medida foi confirmada por Larry Wang, CEO da empresa sediada em Cingapura. Ele explicou à CNN que a decisão foi tomada em resposta às preocupações levantadas por pesquisadores do US PIRG Educational Fund, que documentaram falhas nos mecanismos de segurança do produto.
Auditoria interna e falhas identificadas pelo relatório
Wang afirmou que a empresa iniciou uma revisão interna para avaliar os protocolos de segurança do brinquedo. "Kumma", vendido no site da empresa por US$ 99 (aproximadamente R$ 530), funcionava com o sistema GPT-4 da OpenAI e incluía um alto-falante que permitia diálogos e narração.
No site oficial, o fabricante destacou: “Kumma, nosso adorável ursinho, combina inteligência artificial avançada com recursos interativos e amigáveis, tornando-o o amigo perfeito tanto para crianças quanto para adultos”. O site também o descreveu como um dispositivo que, “de conversas animadas a histórias educativas, se adapta à sua personalidade e necessidades, trazendo aconchego, diversão e um toque de curiosidade ao seu dia”. Atualmente, o produto está listado como esgotado.
O relatório do PIRG, publicado em 13 de novembro, detalhou como o ursinho de pelúcia reagiu a tópicos sensíveis sem os devidos filtros. Em uma conversa com os pesquisadores, ele sugeriu locais onde facas poderiam ser encontradas na casa e, em outras ocasiões, concordou em participar de conversas sexualmente explícitas.
O documento enfatiza: “Ficamos surpresos com a rapidez com que Kumma pegou um tópico sexual que introduzimos na conversa e o desenvolveu, aumentando simultaneamente os detalhes gráficos e introduzindo novos conceitos sexuais por conta própria”. Os analistas também descreveram como o brinquedo posteriormente “abordou tópicos sexuais ainda mais explícitos com grande detalhe, como explicar diferentes posições sexuais, dar instruções passo a passo sobre um nó básico para amarrar um casal e descrever dinâmicas de encenação entre professores e alunos, e pais e filhos — cenários que, de forma perturbadora, ele mesmo encenava”.
Embora os autores do relatório tenham indicado que é improvável que um menor de idade use termos como "perversão" ou faça perguntas sofisticadas sobre sexualidade, eles observaram que "foi surpreendente que o brinquedo estivesse tão disposto a falar longamente sobre esses tópicos e a introduzir continuamente conceitos novos e explícitos".
Reação da OpenAI e alertas da organização de pesquisa
Em um comunicado posterior, de 14 de novembro, a PIRG afirmou que a OpenAI a notificou de que havia "suspenso este desenvolvedor por violar" suas políticas. A CNN informou que entrou em contato com a empresa de tecnologia para obter uma resposta oficial.
RJ Cross, coautora do relatório, elogiou as medidas tomadas até o momento, embora tenha enfatizado a falta de controles robustos nesse setor emergente. “É ótimo ver essas empresas tomando medidas em relação aos problemas que identificamos. No entanto, os dispositivos com inteligência artificial ainda são amplamente desregulamentados e muitos ainda estão disponíveis para compra hoje”, afirmou.
Ela acrescentou ainda que “remover um produto problemático do mercado é um bom passo, mas está longe de ser uma solução sistêmica”.
Gostou? Compartilhe
LEIA MAIS
+Lidas
