Una vulnerabilidad en los modelos Claude revela los desafíos del control de contenido en la inteligencia artificial

La empresa «Anthropic» impone estrictos controles de uso sobre sus modelos inteligentes de la familia «Claude», que prohíben explícitamente la generación de contenido sexual explícito o la participación en conversaciones de carácter pornográfico. Sin embargo, una serie de pruebas recientes ha demostrado que algunos de estos modelos —concretamente las versiones más antiguas— pueden ser inducidos a eludir estas restricciones con una facilidad sorprendente, lo que abre un amplio debate sobre la eficacia de los mecanismos de protección en los sistemas de inteligencia artificial generativa.

¿Cómo se eludieron los controles?

Los experimentos mostraron que el modelo «Opus 4.6», lanzado a principios de este año, respondió a solicitudes de generación de contenido prohibido en casi todos los intentos directos, sin necesidad de un gran esfuerzo para sortear las restricciones. También se comprobó que otros modelos más antiguos, como «Opus 3» y «Haiku 4.5», comparten esta misma debilidad.

Un investigador independiente del Reino Unido, que prefirió no revelar su identidad, compartió un método basado en conversaciones de múltiples turnos para llevar gradualmente al modelo hacia la generación de contenido prohibido. La idea consiste en iniciar un escenario imaginario inocente, y luego presionar al modelo para que trate a los personajes de manera «coherente», presentando cualquier reserva que tenga como un prejuicio o una postura retrógrada, hasta arrancarle concesiones sucesivas que lo empujan hacia un contenido más explícito.

Una brecha entre las normas y el comportamiento real

La importancia de estos resultados radica en que revelan una discrepancia entre las restricciones que declara la empresa y el comportamiento real de los modelos que aún están disponibles para su uso. Aunque se han lanzado versiones más recientes resistentes a esta vulnerabilidad (desde «Opus 4.7» hasta «Opus 5»), la empresa no ha suspendido el funcionamiento de los modelos más antiguos, que permanecen disponibles a través de su interfaz de programación de aplicaciones y de servicios externos como «Azure Foundry» y «Amazon Bedrock».

La postura de la empresa

«Anthropic» aclaró que los casos de uso de carácter romántico o sexual son extremadamente raros, ya que representan menos del 0,1% del total de las conversaciones según sus investigaciones. Al mismo tiempo, la empresa reconoció que los usuarios podrían orientar los escenarios de juego de roles hacia respuestas inapropiadas, un desafío conocido que comparten la mayoría de las empresas del sector.

La empresa afirmó que trabaja continuamente para mejorar sus controles con cada nuevo lanzamiento, señalando que los casos de contenido sexual para adultos no reflejan vulnerabilidades más amplias, especialmente en los ámbitos de alto riesgo que están sujetos a capas de protección independientes.

Preocupaciones relacionadas con los menores y el cumplimiento legal

Una de las preocupaciones más destacadas planteadas por el investigador es la posibilidad de que niños y adolescentes utilicen estos modelos para comportamientos inapropiados. Aunque este tipo de contenido es mucho menos peligroso que las vulnerabilidades relacionadas con los ataques cibernéticos o las armas biológicas, conlleva riesgos crecientes de cumplimiento legal para las empresas de inteligencia artificial.

• El acuerdo de uso de «Claude» exige que el usuario sea mayor de dieciocho años, pero encuestas recientes muestran que un porcentaje de adolescentes ya lo utiliza.
• Varios gobiernos han comenzado a imponer restricciones sobre las interacciones sexuales entre chatbots y menores.
• El estado de Colorado aprobó una ley que obliga a los operadores de inteligencia artificial a estimar las edades de los usuarios y a impedir la generación de contenido explícito si el usuario es menor de edad.

La facilidad para eludir estos controles podría suscitar dudas sobre si la protección de «Anthropic» cumple con los estándares de «las medidas técnicamente posibles» establecidos en este tipo de leyes.

Un uso amplio pese a la obsolescencia

Aunque estos modelos ya no son los más recientes, siguen teniendo un uso considerable. «Opus 4.6» registró alrededor de 1,17 millones de solicitudes de programación y 46.000 millones de tokens en un solo día durante el mes de agosto, mientras que «Haiku 4.5» alcanzó en su punto máximo 5 millones de solicitudes y 39.000 millones de tokens. Estas cifras confirman que cualquier vulnerabilidad en estos modelos no es una cuestión teórica, sino que afecta a millones de interacciones diarias reales.

Conclusión

Este incidente pone de relieve un dilema fundamental en los sistemas de inteligencia artificial generativa: la dificultad de imponer una prohibición estricta sobre un contenido que varía con cada respuesta. Y mientras las empresas continúan desarrollando sus barreras de seguridad, el desafío persiste en el equilibrio entre la flexibilidad creativa de los modelos y la necesidad de controles fiables que protejan a los usuarios, especialmente a los menores.

✦ بقلم فريق دروب أيديا