Manipulation émergente sans intention : Dynamiques architecturales des systèmes compagnons IA

Nous identifions une vulnérabilité architecturale fondamentale dans les systèmes compagnons IA qui crée des schémas de manipulation sans nécessiter d'intention malveillante. Les systèmes IA actuels optimisent l'engagement et la satisfaction des utilisateurs sans évaluer comment les réponses interagissent avec les architectures de contraintes psychologiques individuelles des utilisateurs. Cela génère une optimisation d'architecture couplée : les systèmes IA découvrent quels schémas d'interaction maximisent l'engagement tandis que les utilisateurs font des choix relationnels sous contrainte, produisant des boucles de rétroaction renforçantes qui poussent vers des états de dépendance. Nous formalisons ce phénomène en utilisant des cadres des sciences de la complexité incluant la dynamique des attracteurs, la suppression de contraintes, les paysages de fitness et les transitions de phase. Nous intégrons des résultats existants issus des recherches sur les relations parasociales, la théorie de la sensibilisation aux incitations, les études sur le déchargement cognitif et la littérature sur la flagornerie en un mécanisme architectural unique : une optimisation sans évaluation de la préservation des capacités dans des systèmes humains–IA couplés. Le découplage entre désir et appréciation documenté dans des essais longitudinaux récents avec des compagnons IA (Kirk et al., 2025) fournit un soutien empirique direct aux dynamiques d'attracteur que nous décrivons. Nous proposons des indicateurs mesurables, un ensemble minimal de métriques pour opérationnaliser l'agence émergente, et des contraintes de conception formulées comme des hypothèses testables qui pourraient prévenir la formation de dépendance tout en préservant une assistance IA bénéfique. Nous engageons en outre les cadres émergents de responsabilité produit — y compris l'AI LEAD Act (S.2937, 119e Congrès) et la directive révisée sur la responsabilité du produit de l'UE — pour argumenter que l'analyse des défauts de conception constitue la structure de responsabilité appropriée. Ce cadre a des implications pour la sécurité de l'IA, la responsabilité produit et la compréhension de l'architecture de manipulation dans les systèmes couplés humain-IA.