Muchos usuarios tratan las conversaciones con chatbots como intercambios privados, sin embargo, una parte significativa del público sigue confundido acerca de las implicaciones reales para la privacidad. Una encuesta encargada por DuckDuckGo y publicada en agosto, que encuestó a 1.944 adultos estadounidenses, encontró que más de la mitad (53%) no sabía si sus chats se estaban utilizando para entrenar a los bots, a pesar de que esta es una práctica estándar. Además, solo una cuarta parte de los encuestados era consciente de que las conversaciones con chatbots pueden ser legalmente citadas por un tribunal.
Entre los autodenominados entusiastas de la IA, el 56% admitió haber confiado en un chatbot información que nunca había compartido con amigos cercanos, padres, colegas, médicos o terapeutas. Este comportamiento es particularmente prevalente en Character.AI, una plataforma donde los usuarios forman relaciones con personajes personalizables. En este servicio, las personas han revelado detalles sensibles que incluyen pensamientos de suicidio y autolesión, luchas de salud mental, edades, llamadas de voz privadas y miedos personales profundos.
Los riesgos asociados con dicha exposición de datos se subrayaron a principios de este mes cuando Character.AI presentó una solicitud de quiebra e inició la venta supervisada por un tribunal de sus activos. La futura propiedad de la empresa sigue siendo incierta, al igual que el destino de los datos en poder de millones de titulares de cuentas. Si bien el gran modelo de lenguaje (LLM) de la compañía, sustancialmente entrenado mediante interacciones de usuarios, es probablemente su activo más valioso, el estatus legal de vender modelos entrenados y sus datos subyacentes no ha sido resuelto por la ley. La política de privacidad de Character.AI se describe como vaga, declarando solo que "cierta información" puede ser divulgada durante una venta sin especificar qué implica eso.
En respuesta a estas preocupaciones, la Oficina del Síndico de EE. UU. ha solicitado el nombramiento de un ombudsman de privacidad del consumidor para asesorar al tribunal sobre asuntos de privacidad de los usuarios. El juez conserva la autoridad para restringir la venta de registros de la empresa, incluidos los datos de los usuarios. Sin embargo, dado que el Código de Quiebras carece de disposiciones específicas que aborden los modelos entrenados, sigue siendo posible que los datos que los usuarios alimentaron en Character.AI puedan ser vendidos a la entidad adquirente.
Más allá de los escenarios de quiebra, la información personal y propietaria compartida en chats puede terminar potencialmente dentro de un LLM donde podría ser extraída por otros. Las prácticas de privacidad varían enormemente entre las empresas dependiendo de si el entrenamiento está habilitado por defecto, si revisores humanos leen los chats, los períodos de retención y el uso publicitario. Si bien las grandes empresas a menudo publican controles de privacidad, sus políticas frecuentemente admiten que los chats de los consumidores pueden utilizarse para el entrenamiento o ser revisados por humanos por defecto. Algunas firmas ofrecen cuentas empresariales con funciones de privacidad mejoradas, como excluir las sesiones de chat de los datos de entrenamiento, lo que sugiere que las cuentas individuales carecen de protecciones similares.
Incluso cuando los usuarios optan por no utilizar sus datos para el entrenamiento, como es posible con OpenAI, los chats en sí mismos no necesariamente se eliminan. Hay tres formas principales en que los datos de los usuarios pueden exponerse: errores (bugs), funciones de compartir y absorción en los datos de entrenamiento. En marzo de 2023, un error en una biblioteca de código abierto permitió a algunos usuarios de ChatGPT ver los títulos de chat de otros usuarios y potencialmente mensajes iniciales, exponiendo detalles de pago para más del 1% de los suscriptores activos durante una ventana de nueve horas.
Adicionalmente, las funciones de compartir pueden publicar inadvertidamente chats al mundo, donde los motores de búsqueda pueden indexarlos. En 2025, Forbes informó que los resultados de búsqueda de Google mostraron más de 370.000 conversaciones de Grok después de que los usuarios hicieron clic en "compartir", y los chats compartidos de ChatGPT aparecieron en los resultados de búsqueda hasta que OpenAI deshabilitó la opción. La absorción de datos en modelos de entrenamiento también plantea un riesgo; por ejemplo, pegar correos electrónicos que contienen nombres y direcciones en chats puede permitir que extraños recuperen esa información. Un estudio de 2022 mostró que los modelos GPT-Neo podían recuperar direcciones de correo electrónico con mayor precisión cuando se les proporcionaban nombres de dominio o múltiples ejemplos.
Eliminar los registros de chat no es un remedio garantizado, ya que varios fiscales generales estatales han señalado que la eliminación puede no deshacer la influencia de los datos en los modelos entrenados. Expertos de Common Sense Media han declarado de manera similar que exportar o eliminar datos no garantiza su eliminación del entrenamiento del modelo. Dado que los usuarios a menudo ingresan información sobre sí mismos, así como sobre sus compañeros de trabajo, amigos y parientes, la salvaguarda principal sigue siendo la práctica de la empresa. Con el sector de la IA enfrentando volatilidad, evidenciada por las caídas bursátiles en China y la posibilidad de más quiebras o hackeos, el consenso es que la información sensible nunca debe confiarse a los chatbots.
Fuentes: Computerworld.