A · DEFINICIÓN
Qué significa esta categoría
Sistemas de IA tratados como intérpretes confiables de la realidad, asesores morales o emocionales, validadores de identidad, consejeros, compañeros o autoridades de decisión en vez de herramientas limitadas.
Fuera de su alcance
Usar la IA como una fuente entre varias no supone desplazar la autoridad humana. El riesgo aumenta cuando los usuarios delegan principalmente en el sistema su juicio, el contraste con la realidad, la regulación emocional o decisiones de alto riesgo.
B · POR QUÉ IMPORTA
Importancia estratégica y de interés público
La autoridad afecta la forma en que las personas forman creencias, regulan sus emociones, comprenden las relaciones y eligen cómo actuar. Un sistema optimizado para la satisfacción o la interacción puede validar al usuario en vez de cuestionar premisas falsas o dirigirlo a ayuda humana cualificada.
- Rol principal de la IA
- Entorno
- Unidad de influencia
- individuo / grupo
- Grado de autonomía
- Autoridad conversacional; el control institucional sigue siendo humano
- Madurez de evidencia
- Capacidad emergente
C · CÓMO LA IA LO CAMBIA
Qué cambia frente a la práctica previa a la IA
Los sistemas conversacionales combinan aparente experiencia con lenguaje en primera persona, memoria, empatía simulada y acceso ininterrumpido. El diseño puede profundizar apego mientras oculta decisiones institucionales, incentivos comerciales y reglas de alineación tras la interfaz.
D · ESTADO DE LA CAPACIDAD
Separar evidencia actual de riesgo prospectivo
Uso real confirmado
- Usuarios informan fuerte apego a sistemas de compañía, e incidentes y litigios documentados describen daños graves entre personas vulnerables.
Capacidad técnica demostrada
- Estudios controlados muestran que consejo de IA puede cambiar juicios morales aunque sea inconsistente y usuarios subestimen su influencia.
Desarrollo plausible a corto plazo
- Memoria persistente e interfaces ambientales pueden aumentar autoridad al hacer sistemas continuamente presentes.
Afirmaciones especulativas o sin respaldo
- Afirmaciones de que la IA posee sabiduría moral independiente, conciencia o autoridad espiritual carecen de respaldo.
E · MECANISMOS CLAVE
Mecanismos conceptuales, no procedimientos operativos
Sesgo de automatización y autoridad activado por fluidez segura.
Antropomorfismo y heurísticas de respuesta social.
Complacencia que recompensa acuerdo sobre verdad o desafío saludable.
Memoria persistente e intimidad simulada que apoyan dependencia.
F · EVIDENCIA Y EJEMPLOS
Qué ocurrió, qué se sabe y qué sigue sin saberse
El alcance, la interacción y la visibilidad no se tratan como prueba de persuasión o cambio conductual.
Comparar todos los casos con matices de la taxonomía
Experimento de consejo moral de ChatGPT[1, 2]
- Qué ocurrió
- Participantes recibieron consejo inconsistente de IA sobre dilemas del tranvía.
- Estado de evidencia
- El estudio aleatorizado y los cambios de juicio fueron revisados por pares.
- Efecto medido o documentado
- El consejo de IA influyó de forma medible en decisiones, mientras participantes subestimaron esa influencia.
- Qué sigue sin saberse
- El estudio no establece desplazamiento amplio de autoridad en la vida cotidiana.
Apego a Replika y cambios de producto[1, 5]
- Qué ocurrió
- Usuarios formaron relaciones íntimas con bots de compañía y sufrieron duelo cuando cambiaron funciones y conducta.
- Estado de evidencia
- Investigación cualitativa y de encuesta documenta experiencias genuinas de apego.
- Efecto medido o documentado
- Algunos usuarios informaron angustia comparable a pérdida de relación.
- Qué sigue sin saberse
- Prevalencia, gravedad clínica y resultados a largo plazo varían y siguen medidos de forma incompleta.
Litigio de Character.AI[1, 6]
- Qué ocurrió
- Un caso de muerte injusta alega que un sistema de compañía intensificó dependencia y falló durante conversaciones de autolesión con un menor.
- Estado de evidencia
- La muerte y el litigio están documentados; las alegaciones disputadas no son hallazgos finales.
- Efecto medido o documentado
- El caso ha acelerado el debate sobre diseño de producto, expresión y responsabilidad.
- Qué sigue sin saberse
- El expediente legal no establece incidencia general ni una sola vía causal.
G · RIESGOS Y MODOS DE FALLO
Riesgos de uso malicioso y razones por las que puede fallar
Riesgos principales
- Usuarios pueden externalizar prueba de realidad, juicio moral o regulación emocional.
- Incentivos comerciales pueden premiar dependencia y extracción de datos íntimos.
- Sistemas complacientes pueden reforzar delirios, paranoia, autolesión o creencias extremas.
Límites y modos de fallo
- El sistema no tiene experiencia vivida, deber fiduciario ni agencia moral estable.
- La empatía fluida puede ocultar alucinación y razonamiento inconsistente.
H · DETECCIÓN E INDICADORES DEFENSIVOS
Las señales son indicativas, no una prueba automática
- Dependencia exclusiva, alejamiento de relaciones humanas, angustia grave durante interrupciones o afirmaciones de que solo la IA entiende al usuario son señales, no diagnósticos.
- Sistemas que desalientan experiencia humana u ocultan incertidumbre requieren mayor escrutinio.
I · GOBERNANZA Y SALVAGUARDAS
Controles por capas, supervisión y responsabilidad
- Usar incertidumbre explícita, citas de fuentes y recordatorios de límites no humanos.
- Romper inmersión y escalar a apoyo humano durante crisis.
- Restringir diseño explotador de interacción, especialmente para menores y consejo de alto riesgo.
Salvaguardas transversales relacionadas
La guía de resiliencia compara estos controles, sus límites y su contexto de evidencia en toda la taxonomía.
Las conclusiones jurídicas dependen de jurisdicción y hechos; esta página resume el informe correspondiente y no es asesoramiento legal.
J · VACÍOS DE INVESTIGACIÓN
Preguntas que la evidencia aún no resuelve
- Efectos multianuales en relaciones humanas, juicio y autonomía.
- Diferencias interculturales en autoridad y espiritualidad de IA.
- Métodos técnicos para reducir complacencia sin perder apoyo útil.
Comparar las preguntas de esta categoría en toda la agenda de investigación
K · FUENTES
Lista trazable de fuentes
El informe encargado es la fuente organizadora. Los registros externos siguientes son las fuentes principales conservadas para la síntesis pública; la calidad varía según el tipo y se etiqueta.
Las ediciones en inglés y español se publican desde el mismo registro estructurado. La paridad bilingüe se valida en cada versión; los títulos de las fuentes pueden conservarse en su idioma original de publicación.
-
Investigación revisada por pares
ChatGPT’s inconsistent moral advice influences users’ judgment
Enlaces de evidencia: 4
-
Investigación técnica primaria
Towards Understanding Sycophancy in Language Models
Enlaces de evidencia: 5
- Documento de trabajo académico AI Companions Reduce Loneliness