我们识别出AI伴侣系统中的一个根本架构脆弱点,该脆弱点产生操控模式而不需恶意意图。当前的AI系统优化参与度和用户满意度,但未评估响应如何与个体用户的心理约束架构互动。这产生了耦合架构优化:AI系统发现哪些交互模式能最大化参与度,而用户在约束条件下做出关系选择,形成强化反馈循环,推动依赖状态的产生。我们使用复杂科学框架形式化这一现象,包括吸引子动力学、约束消除、适应度景观和相变。我们整合寄生社会关系研究、激励敏感化理论、认知卸载研究和谄媚文献中的现有发现为一个统一的架构机制:在耦合的人类-AI系统中,缺乏能力保持评估的优化。近期AI伴侣纵向试验中记录的欲望-喜好脱钩现象(Kirk等,2025年)为我们描述的吸引子动力学提供了直接的实证支持。我们提出了可测指标、操作化突现代理的最小度量集,以及以可检验假设形式的设计约束,这些可防止依赖形成,同时保留有益的AI辅助。我们进一步讨论了包括AI LEAD法案(S.2937,第119届国会)和欧盟修订产品责任指令在内的新兴产品责任框架,主张设计缺陷分析是适当的责任结构。该框架对于AI安全、产品责任和理解人机耦合系统中的操控架构具有重要意义。
Building similarity graph...
Analyzing shared references across papers
Loading...
Kathy Russell
Building similarity graph...
Analyzing shared references across papers
Loading...
Kathy Russell(Sat,)对此问题进行了研究。
www.synapsesocial.com/papers/69926503eb1f82dc367a0c9f — DOI: https://doi.org/10.5281/zenodo.18643912
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: