AIGC宇宙 AIGC宇宙

陶哲轩:初学者不宜用AI工具做专家级任务,GPT对专家帮助不大

作者:机器之心
2023-09-11 07:24
对于不同技能水平的人,使用 GPT 等 AI 工具收获的成效也大不一样。

机器之心 2023-09-10 12:11 发表于北京

机器之心报道

编辑:杜伟

近几个月来,著名数学家陶哲轩一直尝试用 ChatGPT 等大模型 AI 工具来辅助解决数学问题,并与大家分享结果、交流心得,比如用 ChatGPT 写代码、证明数学定理、生成 LaTeX 表达式程序代码等。

对于自己的研究以及人们来说,GPT 等 AI 工具的作用究竟大不大呢?近两天,陶哲轩似乎得出了他的结论。

陶哲轩发现,虽然 AI 工具对自己研究中的核心数学部分并不是那么有用(或者可能只是因为不想在自认为可以熟练完成的任务上尝试),但是在生成代码和创建论文中的流程图初稿(他使用了自己过去很少用的 LaTeX 包 (tikz))等任务中都非常有用。

总的来说,他发现 GPT 允许自己为一项计算任务抽象出特定语言,比如 Python、SAGE、正则表达式、LaTeX 等。他可以用自然语言向 GPT 表达自己的请求,然后 GPT 会以合适的语言提供适当的代码。尽管在没有完全集成的情况下,他依然必须将 GPT 输出内容复制粘贴到可以编译的文档中。

陶哲轩承认 GPT 开始改变他的工作流程,过去会避免使用代码密集型解决方案来解决任务,但现在这种状况正在消失。他发现自己更愿意将编码作为日常工作的一部分了。

图片

就拿 GitHub Copilot 而言,陶哲轩惊喜地发现,在使用 VSCode+LaTeXworkshop 设置后,它可以自动完成标准信函了。仅给出开头段落和接下来的句子,Copilot 提供的其余段落与他实际要写的内容非常接近。并且通过对 Copilotshuchu 内容的小修小改,他可以将完成标准信函的时间省掉一大半。

图片

陶哲轩分享了自己在论文中使用自动完成功能的一张截图。在尝试自动完成证明大纲时,Copilot 确实引用了论文其余部分的相关结果,但随后给出了一些随机分析数论的废话。

到目前为止,除了一些非常短的自动完成工作或编写重复的文本模式之外,他发现 Copilot 在写数学论文时更有趣而不是有用,但未来可能会有令他惊讶的效果。

图片

事实证明,GPT 提供的正则表达式虽然没有按照陶哲轩想要的方式来处理嵌套分隔符,但足够接近。他可以在自己阅读正则表达式文档后调整成想要的。在他看来,需要一定的正则表达式技能才能完成类似的任务,但要比没有 GPT 辅助时所需要的技能少。

一般来说,GPT 似乎允许人们在基于文本的任务中提升自己的技能,但随着技能水平的提高,「收益」递减。完全不熟悉任务的人可能会通过 GPT 成为高级初学者,初学者可以达到中级技能水平,中级水平的人可能会成为专家,至少在某些方面是这样。但对于专家而言,使用 GPT 进一步提供的收益相对不大。

图片

因此,陶哲轩不建议初学者使用 AI 工具来完成专家级的任务,因为无法正确地对输出进行检查。不过他也认为,人们可以用 AI 工具来完成比正常水平高出一个技能水平的任务,这样有足够的能力来检查输出的结果,并决定是否接受或者额外调整。

图片

有人问了,万一人们没有清楚意识到这种技能水平上的差距呢?陶哲轩表示,他相信随着 AI 工具变得越来越熟悉,大多数人会对这些工具能做什么、不能做什么有更准确的心理模型,并进行相应的校准。

当然陶哲轩也同意对公众展开 AI 教育以及进行独立的输出验证,这些都会成为现代世界越来越重要的技能。

图片

你赞同陶哲轩的观点吗?

原文链接:https://mathstodon.xyz/@tao/111024521278833999

相关标签:

相关资讯

人工智能冲击创意岗位,OpenAI 首席技术官:一些岗位本来就不该存在

人工智能就像一把达摩克利斯之剑,正威胁着越来越多的创意工作岗位。OpenAI 的首席技术官米拉・穆拉蒂 (Mira Murati) 上个月在达特茅斯大学 Thayer 工程学院的采访中表示:“一些创意岗位可能会消失。但也许它们本来就不应该存在 —— 如果产出内容质量不是很高的话。”OpenAI 的首席技术官表示:“我不是经济学家,但我确实预计许多工作将会发生变化。一些工作会消失,一些新的工作将会产生。”这位 OpenAI 高管预见到人工智能将自动化重复性的工作和任务,创意岗位也岌岌可危。使用人工智能创作歌曲、撰写文
6/27/2024 7:29:29 AM
远洋

陶哲轩提前实测满血版 OpenAI o1:能当研究生使唤

原来早在 8 月份,陶哲轩就已经用上了 OpenAI o1。还是现在大家都用不上的满血版本(眼泪不争气地从嘴角流出来)。提前批大佬是怎么玩最新天花板的呢?他向 o1 模型提出一个措辞模糊的数学问题,发现它竟然能成功识别出克莱姆定理。而且答案是“完全令人满意的”那种。当然,陶哲轩还做了一些其它测试,测下来总体体验就是:比以前的模型更牛,多堆点提示词表现还不错,但仍然会犯不小的错误,也没有产生啥自己的思想。陶哲轩是这样形容的:这种感觉,就像给一个平庸无奇但又有点小能力的研究生提供建议。不过,这已经比以前的模型有所改进,
9/16/2024 6:51:12 PM
清源

ChatGPT真的是「通才」吗?杨笛一等人给它来了个摸底考试

ChatGPT 真的是「通才」吗?单拎出哪项能力都能完胜其他模型吗?哪些任务是 ChatGPT 擅长的,哪些不是?为了系统地探索这些问题,南洋理工大学博士生 Chengwei Qin、斯坦福大学计算机科学助理教授杨笛一等人进行了大量实验。
2/15/2023 2:17:00 PM
机器之心
  • 1