Anthropic, la compañía detrás de Claude, acaba de tomar una decisión bastante curiosa. Casi de la misma forma que si fuera un niño, la compañía ha actualizado los términos de uso para prohibir a los usuarios que sometan a su IA a "comportamientos abusivos o crueles, sostenidos e innecesarios". Aunque, por el momento, matizan que solo se aplica en casos extremos.
Tratar bien a la IA será un requisito
Anthropic ha actualizado sus políticas de uso de Claude, con cambios que entrarán en vigor el 12 de noviembre de 2026. Aunque algunas de las novedades más llamativas afectan al trato hacia la IA, la compañía también introduce aclaraciones y restricciones relacionadas con las campañas de desinformación, las armas y la vigilancia. Estos son los puntos principales:
- Prohibido ser cruel con la IA: Anthropic prohíbe el comportamiento abusivo o cruel, reiterado e innecesario hacia sus modelos. La norma se dirige a casos extremos y no afecta a las críticas puntuales, la frustración de los usuarios, las pruebas del modelo o la creación de historias con temas oscuros.
- Claude puede terminar una conversación: la IA ya cuenta con la capacidad de finalizar conversaciones cuando un usuario mantiene un comportamiento persistentemente abusivo. Esta seguirá siendo la principal medida para hacer cumplir la nueva norma.
- Prohibición de campañas engañosas: Anthropic agrupa las restricciones contra las campañas políticas y comerciales basadas en el engaño. Esto incluye crear redes de cuentas falsas, publicar reseñas fraudulentas, simular identidades humanas o generar sitios web ficticios para manipular la opinión pública.
- Más restricciones para interferir en elecciones: se prohíbe utilizar Claude para engañar a los votantes o alterar procesos electorales, por ejemplo, difundiendo información falsa sobre candidatos o sobre cómo votar, suplantando a responsables electorales o intentando reducir la participación.
- Ampliación de las restricciones sobre armas: la prohibición se extiende al desarrollo de software y componentes que permitan el funcionamiento de armas, así como a acciones como armar drones y otros vehículos autónomos. También se prohíbe modificar agentes biológicos o químicos para aumentar su letalidad o capacidad de transmisión.
- Límites más claros a la vigilancia: Claude no puede utilizarse para rastrear a personas sin su consentimiento ni para desarrollar o mejorar herramientas de vigilancia. Tampoco puede emplearse para decidir o recomendar a quién investigar, detener o acusar dentro de procesos policiales o judiciales.
- Supervisión humana en sistemas físicos autónomos: cuando Claude controle equipos capaces de causar daños físicos, una persona cualificada deberá poder supervisar su funcionamiento e intervenir para detenerlos si fuera necesario. Además, los equipos deberán poder permanecer en un estado seguro si se pierde la conexión con la IA.
- Protección en ámbitos de alto riesgo: Anthropic aclara los requisitos para utilizar sus modelos en ámbitos como la salud, las finanzas o las decisiones que afectan a los derechos y al acceso a servicios esenciales. En estos casos, debe existir supervisión humana cualificada y se debe informar a las personas afectadas de que se ha utilizado IA.
Suena bastante lógico todo, aunque habrá que ver dónde se establece el límite para ser cruel con la IA. Aunque parece que se centrarán en el contenido reiterado. Todo lo demás está destinado a que Cloude no tome decisiones que puedan afectar gravemente a la sociedad sin la aprobación de un ser humano. Lo que tiene bastante sentido.