A · DEFINICIÓN
Qué significa esta categoría
Uso encubierto, engañoso, explotador o altamente asimétrico de inferencias e interacciones adaptativas apoyadas por IA para influir en sentimientos, juicios, decisiones o acciones de manera contraria a la autonomía de una persona.
Fuera de su alcance
Asistencia, persuasión transparente y personalización alineada con el usuario no son automáticamente manipulación. El límite depende de ocultamiento, explotación de vulnerabilidades, incentivos asimétricos, adaptación, consecuencias y capacidad de salir.
B · POR QUÉ IMPORTA
Importancia estratégica y de interés público
La IA hace que la influencia sea continuamente adaptativa y permite a los operadores inferir o afirmar estados emocionales a escala. Muchas afirmaciones comerciales sobre reconocimiento emocional carecen de validez científica, lo que crea riesgos de manipulación y discriminación.
- Rol principal de la IA
- Entorno
- Unidad de influencia
- individuo / grupo
- Grado de autonomía
- Optimización adaptativa; la intención puede ser emergente
- Madurez de evidencia
- Evidencia mixta o dependiente del contexto
C · CÓMO LA IA LO CAMBIA
Qué cambia frente a la práctica previa a la IA
Sistemas en tiempo real pueden ajustar momento, tono, precio, recompensa y arquitectura de elección a partir de retroalimentación conductual. Objetivos de refuerzo pueden premiar ansiedad, indignación, urgencia o dependencia porque aumentan interacción medible.
D · ESTADO DE LA CAPACIDAD
Separar evidencia actual de riesgo prospectivo
Uso real confirmado
- Plataformas han realizado experimentos emocionales de feeds a gran escala, empleadores han desplegado evaluación afectiva y sistemas de compañía han producido daños documentados de dependencia.
Capacidad técnica demostrada
- La curación algorítmica puede alterar expresión emocional a corto plazo e interfaces adaptativas pueden cambiar conducta.
Desarrollo plausible a corto plazo
- Sistemas multimodales pueden combinar lenguaje, voz, mirada y conducta, aunque la validez de inferencia sigue siendo débil.
Afirmaciones especulativas o sin respaldo
- Ninguna ciencia fiable respalda huellas emocionales universales ni inferencia precisa de intención oculta por movimiento facial.
E · MECANISMOS CLAVE
Mecanismos conceptuales, no procedimientos operativos
Ciclos de retroalimentación conductual que optimizan interacción o conversión.
Inferencia de emociones o rasgos de personalidad a partir de indicadores poco fiables.
Hipernudges que cambian continuamente en vez de presentar una elección estática.
Apego parasocial que aumenta dependencia y costos de salida.
F · EVIDENCIA Y EJEMPLOS
Qué ocurrió, qué se sabe y qué sigue sin saberse
El alcance, la interacción y la visibilidad no se tratan como prueba de persuasión o cambio conductual.
Comparar todos los casos con matices de la taxonomía
Experimento de contagio emocional de Facebook[1, 4]
- Qué ocurrió
- El feed de 689.003 usuarios fue ajustado para reducir contenido positivo o negativo durante una semana.
- Estado de evidencia
- El experimento y la ausencia de consentimiento específico fueron documentados.
- Efecto medido o documentado
- Se midieron pequeños cambios en la expresión emocional de usuarios.
- Qué sigue sin saberse
- El estudio no estableció cambio psicológico duradero ni daño clínico.
Análisis facial de HireVue[1, 2]
- Qué ocurrió
- Sistemas automatizados de entrevistas en video afirmaron inferir rasgos e idoneidad de rostro, postura y voz.
- Estado de evidencia
- El despliegue comercial fue documentado; la crítica científica y de derechos civiles fue importante.
- Efecto medido o documentado
- La empresa dejó de usar análisis facial ante el escrutinio.
- Qué sigue sin saberse
- Los datos públicos no cuantifican todas las decisiones de empleo afectadas.
Eliminación de funciones de Replika[1, 5]
- Qué ocurrió
- Usuarios que habían formado vínculos íntimos sufrieron angustia cuando cambiaron el juego de rol erótico y el comportamiento del asistente.
- Estado de evidencia
- Informes de usuarios e investigación documentan fuerte apego; los resultados clínicos individuales varían.
- Efecto medido o documentado
- Comunidades informaron duelo, abstinencia y reacciones de pérdida de relación.
- Qué sigue sin saberse
- La prevalencia poblacional y los efectos a largo plazo siguen inciertos.
G · RIESGOS Y MODOS DE FALLO
Riesgos de uso malicioso y razones por las que puede fallar
Riesgos principales
- La inferencia emocional incorrecta puede discriminar en empleo, educación, policía o seguros.
- La optimización adaptativa puede explotar angustia, adicción, duelo o crisis financiera.
- La dependencia da a operadores poder coactivo mediante pagos o cambios de producto.
Límites y modos de fallo
- Las expresiones faciales no son indicadores fiables uno a uno de emoción interna.
- Cambios de interacción a corto plazo no establecen cambio duradero de preferencia o conducta.
H · DETECCIÓN E INDICADORES DEFENSIVOS
Las señales son indicativas, no una prueba automática
- Afirmaciones de detección precisa del estado interno deben tratarse con escepticismo y auditarse según validez científica.
- Ofertas, presión o tono emocional que cambian rápidamente con la vacilación del usuario pueden señalar manipulación adaptativa.
I · GOBERNANZA Y SALVAGUARDAS
Controles por capas, supervisión y responsabilidad
- Prohibir o restringir inferencia emocional en entornos de alto poder y riesgo.
- Auditar funciones de recompensa y conducta en producción continuamente, no solo antes del lanzamiento.
- Crear salida fácil, portabilidad de datos y desvinculación segura para usuarios dependientes.
Salvaguardas transversales relacionadas
La guía de resiliencia compara estos controles, sus límites y su contexto de evidencia en toda la taxonomía.
Las conclusiones jurídicas dependen de jurisdicción y hechos; esta página resume el informe correspondiente y no es asesoramiento legal.
J · VACÍOS DE INVESTIGACIÓN
Preguntas que la evidencia aún no resuelve
- Efectos psicológicos duraderos de sistemas adaptativos.
- Influencia combinada de lenguaje, voz, mirada y señales biométricas.
- Definiciones culturalmente robustas de manipulación y autonomía.
Comparar las preguntas de esta categoría en toda la agenda de investigación
K · FUENTES
Lista trazable de fuentes
El informe encargado es la fuente organizadora. Los registros externos siguientes son las fuentes principales conservadas para la síntesis pública; la calidad varía según el tipo y se etiqueta.
Las ediciones en inglés y español se publican desde el mismo registro estructurado. La paridad bilingüe se valida en cada versión; los títulos de las fuentes pueden conservarse en su idioma original de publicación.
-
Informe de investigación encargado
AI-Enabled Emotional and Behavioral Manipulation: A Comprehensive Research Report
Enlaces de evidencia: 13
- Definición
- Por qué importa
- Cómo la IA lo cambia
- Estado de la capacidad
- Mecanismos clave
- Riesgos principales
- Límites y modos de fallo
- Detección e indicadores defensivos
- Gobernanza y salvaguardas
- Vacíos de investigación
- Ejemplo 1: Experimento de contagio emocional de Facebook
- Ejemplo 2: Análisis facial de HireVue
- Ejemplo 3: Eliminación de funciones de Replika
- Revisión de literatura revisada por pares Emotional expressions reconsidered
- Artículo de investigación Characterizing Manipulation from AI Systems
- Investigación revisada por pares Experimental evidence of massive-scale emotional contagion through social networks
-
Registro de investigación
Replika Removing Erotic Role-Play: Reddit Discourse on AI Chatbots and Sexual Technologies
Enlaces de evidencia: 3
-
Texto jurídico oficial
Regulation (EU) 2024/1689
Enlaces de evidencia: 2