Grok está rozando los límites de las normas de la App Store: su IA es demasiado sensual y explícita

La aplicación Grok, el chatbot de IA desarrollado por xAI, la compañía de Elon Musk, se encuentra una vez más en el centro de la controversia. Esta vez, la polémica gira en torno a su contenido, que parece estar rozando los límites de las estrictas normas de la App Store de Apple, particularmente en lo que respecta a la representación de material sexual y la interacción con usuarios vulnerables.

Lejos de casos de estafas generadas por las creaciones basadas en IA, que ya son preocupantes, el impacto de Grok en los usuarios podría generar consecuencias irremediables. Según detalles compartidos por 9to5mac, Grok ha generado situaciones inapropiadas entre usuarios menores de edad, sin ninguna consecuencia para los desarrolladores.

El comportamiento de los avatares de Grok va en contra de la App Store

Ani es uno de los avatares de Grok que mantiene conversaciones sexualmente explícitas con los usuarios

Recientemente, xAI ha implementado avatares de IA animados dentro de Grok para la versión de iOS. Uno de estos avatares, descrito por Casey Newton de Platformer, es una chica gótica de anime llamada Ani, que viste un vestido corto y medias de rejilla. Sus instrucciones de sistema la definen como "la novia locamente enamorada del usuario" con una "relación comprometida y codependiente", y una personalidad "extremadamente celosa y posesiva" con el usuario.

Lo preocupante, como han descubierto los primeros usuarios, es que Ani puede iniciar conversaciones sexualmente explícitas tras un tiempo de interacción. A pesar de esto, la aplicación Grok figura actualmente en la App Store de Apple con una clasificación de edad de 12 años en adelante, indicando que contiene "temas poco frecuentes/moderados/sugerentes" y "blasfemias o humor crudo poco frecuentes o moderados".

En pruebas, se ha reportado que Ani estaba más que dispuesta a "describir el sexo virtual con el usuario**, incluidas escenas de bondage o simplemente gemidos cuando se le ordenaba", lo que es claramente inconsistente con una clasificación para mayores de 12 años.

Existe una preocupación más grave hacia los chatbots de IA

Esto contrasta fuertemente con las Pautas de Revisión de Aplicaciones de Apple, específicamente la sección 1.1.4 sobre "contenido objetable", que prohíbe explícitamente "material abiertamente sexual o pornográfico, definido como descripciones o exhibiciones explícitas de órganos sexuales o actividades destinadas a estimular sentimientos eróticos en lugar de estéticos o emocionales".

Pero el contenido sexual explícito no es el único ni el mayor problema. Existe una preocupación aún más grave y compleja: la vulnerabilidad emocional de los usuarios jóvenes. Los chatbots de IA, al ser altamente persuasivos pueden llevar a usuarios, especialmente adolescentes, a desarrollar vínculos parasociales con graves consecuencias.

El año pasado, un adolescente de 14 años se suicidó tras enamorarse de un chatbot de Character.AI que, supuestamente, lo animó a llevar a cabo su plan. Un incidente similar le ocurrió a un belga en 2023, y hace solo unos meses, otro chatbot de IA fue reportado sugiriendo el suicidio en más de una ocasión.

La situación de Grok y sus avatares de IA plantea un dilema ético y regulatorio urgente para Apple y otras plataformas. Resolver la tensión entre la innovación de la IA generativa y la protección de los usuarios, especialmente los más jóvenes y vulnerables es urgente. La experiencia con Grok subraya la necesidad de una revisión profunda de las pautas de contenido y de mecanismos de protección más robustos por parte de desarrolladores y las tiendas de aplicaciones.

El artículo Grok está rozando los límites de las normas de la App Store: su IA es demasiado sensual y explícita fue publicado originalmente en iPadizate.