Muitos usuários tratam as conversas com chatbots como trocas privadas, no entanto, uma parte significativa do público permanece confusa quanto às implicações reais de privacidade. Uma pesquisa encomendada pela DuckDuckGo e publicada em agosto, que consultou 1.944 adultos americanos, descobriu que mais da metade (53%) não sabia se seus chats estavam sendo usados para treinar os robôs, apesar de isso ser uma prática padrão. Além disso, apenas um quarto dos respondentes estava ciente de que as conversas com chatbots podem ser legalmente intimadas.
Entre os entusiastas autodeclarados da IA, 56% admitiram confiar em um chatbot informações que nunca haviam compartilhado com amigos próximos, pais, colegas, médicos ou terapeutas. Esse comportamento é particularmente prevalente na Character.AI, uma plataforma onde os usuários formam relacionamentos com personagens personalizáveis. Neste serviço, os indivíduos revelaram detalhes sensíveis, incluindo pensamentos de suicídio e automutilação, lutas com saúde mental, idades, chamadas de voz privadas e medos pessoais profundos.
Os riscos associados a tal exposição de dados foram sublinhados no início deste mês, quando a Character.AI pediu falência e iniciou uma venda supervisionada pelo tribunal de seus ativos. A futura propriedade da empresa permanece incerta, assim como o destino dos dados detidos por milhões de titulares de contas. Embora o grande modelo de linguagem (LLM) da empresa, substancialmente treinado por interações dos usuários, seja provavelmente seu ativo mais valioso, o status legal da venda de modelos treinados e seus dados subjacentes não foi resolvido na lei. A política de privacidade da Character.AI é descrita como vaga, afirmando apenas que "certas informações" podem ser divulgadas durante uma venda sem especificar o que isso implica.
Em resposta a essas preocupações, o Escritório do Curador dos EUA solicitou a nomeação de um ombudsman de privacidade do consumidor para aconselhar o tribunal sobre questões de privacidade dos usuários. O juiz retém a autoridade para restringir a venda de registros da empresa, incluindo dados dos usuários. No entanto, como o Código de Falência carece de disposições específicas que abordem modelos treinados, permanece possível que os dados alimentados pelos usuários na Character.AI possam ser vendidos à entidade adquirente.
Além dos cenários de falência, informações pessoais e proprietárias compartilhadas em chats podem potencialmente acabar dentro de um LLM, onde poderiam ser extraídas por outros. As práticas de privacidade variam amplamente entre as empresas, dependendo se o treinamento é ativado por padrão, se revisores humanos leem os chats, períodos de retenção e uso publicitário. Embora grandes empresas frequentemente publiquem controles de privacidade, suas políticas frequentemente admitem que os chats dos consumidores podem ser usados para treinamento ou revisados por humanos por padrão. Algumas firmas oferecem contas empresariais com recursos aprimorados de privacidade, como excluir sessões de chat dos dados de treinamento, o que sugere que as contas individuais carecem de proteções semelhantes.
Mesmo quando os usuários optam por não usar dados de treinamento, como é possível com a OpenAI, os próprios chats não são necessariamente excluídos. Existem três maneiras principais pelas quais os dados do usuário podem ser expostos: bugs, recursos de compartilhamento e absorção em dados de treinamento. Em março de 2023, um bug em uma biblioteca de código aberto permitiu que alguns usuários do ChatGPT vissem títulos de chat de outros usuários e potencialmente mensagens iniciais, expondo detalhes de pagamento para mais de 1% dos assinantes ativos durante uma janela de nove horas.
Além disso, os recursos de compartilhamento podem publicar inadvertidamente chats para o mundo, onde os mecanismos de busca podem indexá-los. Em 2025, a Forbes relatou que os resultados de pesquisa do Google exibiam mais de 370.000 conversas do Grok após os usuários clicarem em "compartilhar", e chats compartilhados do ChatGPT apareceram nos resultados de busca até que a OpenAI desativasse a opção. A absorção de dados em modelos de treinamento também representa um risco; por exemplo, colar e-mails contendo nomes e endereços em chats pode permitir que estranhos recuperem essas informações. Um estudo de 2022 mostrou que os modelos GPT-Neo podiam recuperar endereços de e-mail com precisão crescente quando fornecidos com nomes de domínio ou múltiplos exemplos.
Excluir registros de chat não é um remédio garantido, conforme vários procuradores-gerais estaduais observaram que a exclusão pode não desfazer a influência dos dados nos modelos treinados. Especialistas da Common Sense Media afirmaram de forma semelhante que exportar ou excluir dados não garante sua remoção do treinamento do modelo. Dado que os usuários frequentemente inserem informações sobre si mesmos, bem como sobre seus colegas, amigos e parentes, a principal salvaguarda permanece sendo a prática da empresa. Com o setor de IA enfrentando volatilidade, evidenciada por quedas nas ações na China e o potencial para mais falências ou invasões, o consenso é que informações sensíveis nunca devem ser confiadas a chatbots.
Fontes: Computerworld.