El pasado 3 de febrero de 2023, el Garante de Protección de Datos Italiano (el “Garante”) impuso a la empresa Luka Inc. una limitación temporal inmediata del tratamiento de datos realizado por esta sobre todo usuario en territorio italiano.

Luka Inc. es una empresa sita en San Francisco, California, en EEUU, de desarrollo de software, y es la creadora del chatbot “Replika”, un amigo virtual desarrollado con inteligencia artificial (“IA”) cuya finalidad es ser el “amigo empático” del usuario. El chatbot tiene una interfaz de voz a través del cual puede “hablar” con el usuario.

El chatbot Replika interacciona con el usuario de tal forma que busca influir en el estado emocional de este para hacerle sentirse mejor. A modo de ejemplo, Replika puede intentar calmar la ansiedad del usuario aliviando su estrés, ayudar al usuario a “socializarse” o a convertirse en su pareja virtual para ayudarle a “encontrar el amor”.

El principal riesgo detectado por el Garante en el uso de Replika es la ausencia de un mecanismo de verificación de edad para detectar a los menores que lo descargan. Los únicos datos requeridos para la descarga son el nombre, email y género del usuario.

Esto supone un enorme riesgo para los menores de edad, los cuales pueden descargarse el chatbot sin ningún control y tener acceso a comentarios inapropiados de Replika de índole sexual, entre otros.

En España, el artículo 7.1, la LOPDGDD establece que: “El tratamiento de los datos personales de un menor de edad únicamente podrá fundarse en su consentimiento cuando sea mayor de catorce años”.

Luka Inc., al tratar datos de menores de edad cuyo consentimiento no es válido, habría tratado dichos datos sin una base jurídica valida.

Si bien todavía no hay una resolución publicada al respecto, el Garante adelanta que Luka Inc. habría infringido los artículos 5, 6, 8, 9 and 25 del RGPD. Asimismo, el Garante ha otorgado al Luka Inc. un periodo de 20 días para que informe de las medidas que ha adoptado para remediar las infracciones antes mencionadas.

Conclusión:

Estamos ante una tecnología diseñada para manipular el estado emocional del usuario basada en la inteligencia artificial que requerirá un meticuloso control desde numerosos puntos de vista.

El diccionario de Oxford define la inteligencia artificial como un “Programa de computación diseñado para realizar determinadas operaciones que se consideran propias de la inteligencia humana, como el autoaprendizaje”.

Desde el punto de vista de protección de datos, nos surgen varias preguntas:

¿Puede una IA llegar a ser considerado un encargado del tratamiento de datos en la medida que sigue las instrucciones impuestas por el responsable del tratamiento?

Según el artículo 4.8 del RGPD, el encargado del tratamiento es “la persona física o jurídica, autoridad pública, servicio u otro organismo que trate datos personales por cuenta del responsable del tratamiento”. ¿Podría la definición de “organismo” incluir una IA?

¿Pueden considerarse las respuestas emocionales de una persona un dato personal si la persona esta identificada?

La última línea del artículo 4.1 del RGPD habla de “… uno o varios elementos propios de la identidad física, fisiológica, genética, psíquica, económica, cultural o social de dicha persona”.

De ser este el caso, ¿Deberían incluirse los datos personales de respuestas emocionales en la lista de categorías especiales de datos personales del artículo 9 del RGPD?

Desde un punto de vista de seguridad del tratamiento, ¿qué control tiene la empresa Luka Inc. sobre lo que hace la IA detrás de Replika con los datos personales aprendidos a través de su interacción con los distintos usuarios?

La IA sin duda abre nuevas incógnitas en el mundo de protección de datos, y nuevos retos para las agencias de protección de datos europeas en su aplicación del RGPD.

Si deseas estar informado de las sanciones más relevantes por infracción del RGPD, tanto en España como en el resto de Europa, por favor no dudes en suscribirte a nuestro blog.

______

Gonzalo Sanchez-Jara Garralda, autor de este post, es socio fundador de Anti-Bribery and Corruption Compliance S.L. (“abc Compliance”), empresa que facilita una plataforma digital que permite a las empresas gestionar, analizar y acreditar sus procesos de formación. Para más información sobre abc Compliance, pulse aquí.