新研究揭示语言模型与人类认知过程的相似性

发生了什么

Anthropic AI发布了一系列深入探讨其语言模型Claude内部结构的研究。特别是，他们识别出一个称为“J空间”的组件，作为一个全局工作空间，使Claude能够进行内部推理并保持类似人类认知过程的情境意识，如有意识的思考、虚假信息检测或多步骤推理。这些能力类似于人类大脑中自动处理与深思熟虑处理的区别。

与此同时，NVIDIA AI强调了一项在ICML上发表的学术研究，该研究评估了GPT风格语言模型的记忆能力，估计该能力约为每参数3.6比特。此外，该研究区分了无意记忆和泛化，为基础模型中的隐私和数据可扩展性等关键问题提供了新的视角。

为什么重要

Anthropic的工作代表了人工智能模型可解释性和信任度方面的重要进展。能够观察和审计“J空间”为开发提升模型内部推理透明度的工具打开了大门，这对于在技术复杂度和能力不断提升的过程中保持可靠性和控制不良行为至关重要。

同时，NVIDIA的研究提供了一个新颖的定量指标，用于理解参数容量与记忆之间的关系，这对于管理训练数据隐私相关风险以及优化未来GPT模型的设计和可扩展性至关重要。

这两项贡献显示了计算机科学与认知科学日益融合的趋势，暗示语言模型的结构和功能可能越来越多地受到神经科学和心智哲学的启发。

仍需确认的事项

尽管Anthropic关于“J空间”的发现提供了引人注目的证据，但仍需多项独立验证和全面评估，以将这些概念推广到其他模型和实际应用场景。此外，这些内部审计在商业规模上提升AI信任度的实际应用仍需证明。

另一方面，NVIDIA关于记忆能力的研究需要补充分析这些指标在实际运营环境中对隐私和安全的影响，以及针对不良记忆的缓解方法的有效性。

来源

- AnthropicAI，公开推文 - 关于Claude中“J空间”和认知的研究：https://x.com/AnthropicAI/status/2074185348142280912 https://x.com/AnthropicAI/status/2074185387577094398 https://x.com/AnthropicAI/status/2074185378404192561 https://x.com/AnthropicAI/status/2074185358678364414 https://x.com/AnthropicAI/status/2074185384792109380

- NVIDIA AI，公开推文 - GPT模型中的记忆：https://x.com/NVIDIAAI/status/2074162777535516985