loading...
全球40多位顶尖人工智能安全研究人员近日联合发布一篇新论文，呼吁企业在部署AI系统前，必须监控其“思维链”——即模型在生成回答前的逐步推理过程。这一被称为“思维链监控”（Chain-of-Thought Monitoring, CoT）的技术，旨在提前识别并干预潜在的不当行为，防止AI产生有害输出。
尽管该技术被定位为防范AI失控的关键手段，但专家警告称，它也可能成为一种隐蔽的监控工具。由于思维链通常以原始令牌形式记录用户的输入内容，包括健康问题、财务困境乃至自白，一旦被企业长期存储，极易构成个人敏感信息泄露的风险。
商业黑客初创公司0rcus首席执行官尼克·亚当斯指出：“原始思维链本质上是用户机密的逐字复刻。如果缺乏强制加密和访问限制，这类日志将重演历史——如同9·11后电信元数据被用于商业追踪，最终脱离初衷。”
谷歌设计主管泰吉·卡利安达强调，用户无需了解模型内部全部细节，但应获得足够的解释性信息。“我们不需要黑匣子，而需要一扇窗户。”她表示，类似搜索引擎中可见的来源标注，应在AI交互中恢复，让用户知晓为何得出某结论。
职业游牧者首席执行官帕特里斯·威廉姆斯-林多则警告：“这正是社交媒体曾走过的老路——从连接朋友演变为数据监控经济。若无真正透明的设计，我们将迎来‘同意剧场’，即企业用冗长条款伪装尊重隐私。”
针对潜在滥用风险，亚当斯提出多项缓解措施：零日保留内存跟踪、对个人身份信息进行确定性哈希处理、支持用户端编辑功能，以及在聚合分析中引入差异隐私噪声。
然而，威廉姆斯-林多仍持怀疑态度：“我们需要的是负责任的人工智能，而非表演性合规。真正的解决方案不是加强监控，而是从设计之初就杜绝默认监视。”
目前，相关技术尚未大规模落地，但随着大模型推理能力增强，思维链监控的必要性上升，其应用边界也愈发模糊。如何在保障系统安全的同时，防止用户思想被持续记录与利用，已成为当前人工智能治理的核心议题。
正如亚当斯所提醒：“警惕那些看似受控却存在90%以上规避率的基准测试，以及未来可能将思维链列为受保护个人数据的法规变动。真正的问题不在于是否能看见AI的思维，而在于谁有权看见，以及为何看见。”
215
798
144
869
552
233
858
915
788
533
