信息论

揭开大模型的秘密！那些 “思考词” 背后藏着惊人的信息量

近日，来自中国人民大学、上海人工智能实验室、伦敦大学学院和大连理工大学的研究团队揭示了大模型推理过程中的一个重要发现:当模型在思考时，所使用的 “思考词” 实际上反映了其内部信息量的显著提升。这一研究成果通过信息论的方法，为我们更好地理解人工智能的推理机制提供了新的视角。论文地址：，会输出一些看似人类化的语言，比如 “嗯……”、“让我想想……” 或 “因此……”。

7/5/2025 7:46:41 AM

AI在线

资讯热榜

DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜 Meta 新超级智能实验室遭遇离职潮，AI 人才流失引发担忧宾州州立大学推出首个人工智能工程学位，抢占教育先机多模态新旗舰MiniCPM-V 4.5：8B 性能超越 72B，高刷视频理解又准又快联合国成立人工智能咨询小组 AI 安全测试揭示聊天机器人助长恐怖活动与网络犯罪亿万富翁丹・洛布减持台积电，转投另一家万亿人工智能公司刚刚更新，全球AI百强：中国五款产品进前20，ChatGPT背腹受敌，氛围编程成黑马

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能用户 Meta 微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体英伟达 Anthropic 论文代码 AI新词训练算法 Stable Diffusion 芯片 LLM 蛋白质开发者腾讯 Claude 苹果生成式 AI for Science Agent 神经网络 3D 机器学习研究 xAI 生成人形机器人 AI视频计算百度 Sora GPU AI设计华为工具大语言模型 RAG 搜索具身智能字节跳动大型语言模型场景深度学习预测视频生成伟达视觉 Transformer AGI 架构亚马逊神器推荐 Copilot DeepMind 特斯拉应用