Nature：OpenAI的Deep Research对科学家有多大用处？

文 | 学术头条

继谷歌前年 12 月发布 Gemini Deep Research 之后，ChatGPT 母公司 OpenAI 于日前推出了一款相同产物——“Deep Research”，该产物不祥抽象数百个网站的信息进而生成长达数页的引文讲明，充任个东谈主智能助手，在短短几十分钟内完成相配于数小时的责任。

很多试用过它的科学家王人对它撰写文件综述或综述论文全文，甚而找出学问空缺的智商印象深入。不外，也有一些东谈主的反应并不那么积极。在一段在线视频指摘中，来自莫菲特菲尔德湾区环境商榷所的数据科学家 Kyle Kabasares 就评价谈：“如若是东谈主类写的，我会以为，这还需要大王人的转变”。

OpenAI 和谷歌将此类产物的推出视为迈向不祥处理复杂任务的 AI 智能体的一步。不雅察东谈主士也指出，Deep Research 之是以引东谈主能干，是因为它将 o3 空话语模子（LLM）的转变推奢睿商与互联网搜索智商赓续在了沿途。比较之下，谷歌的 Gemini Deep Research 目下基于 Gemini 1.5 Pro，而非其卓绝的推理模子 2.0 Flash Thinking。

综述撰写

关于 OpenAI 和谷歌的这两款产物，很多用户王人示意印象深入。来自初创公司 FutureHouse 的化学家兼东谈主工智英雄人 Andrew White 认为，谷歌的产物“真实阐扬了谷歌在搜索和谋划方面的上风”，能让用户快速了解某个主题，而 o3 的推理手段则为 OpenAI 的产物所撰写的讲明增添了精准性和复杂性，拓展了深度。

来自杰克逊现实室的免疫学家 Derya Unutmaz 示意，他曾通过 OpenAI 提供的 ChatGPT Pro 免费探访权限进行医学商榷。他认为 OpenAI 的 Deep Research 所撰写的讲明“止境令东谈主印象深入”何况“值得信托”，“与已发表的综述论文不相盘曲，甚而更好”。他评价谈：“我认为（东谈主工）撰写综述正在变得逾期”。

White 展望，此类 AI 产物改日不错用于更新东谈主类撰写的综述。毕竟，“每 6 个月王人由东谈主工更新一次泰斗综述不太可行”。

天然，有不少东谈主警示到，悉数基于 LLM 的产物仍然存在不准确或有误导性的问题。OpenAI 也在其官网指出，其产物“仍处于早期阶段，存在局限性”——它可能会弄错引文、欺凌事实、无法辞别泰斗信息和坏话，也无法准确抒发其不笃定性。OpenAI 展望，这些问题会跟着使用量增多和时辰推移而改善。谷歌为 Gemini Deep Research 出具的免责声明中也写谈：“Gemini 可能会出错，请务必仔细查验”。

马克斯·普朗克光科学商榷所东谈主工科学家现实室认真东谈主 Mario Krenn 指出，这些 AI 产物并不是在进行科学家接续道理道理上的“商榷”。他示意，科学家们会浪费数年时辰深入商榷单一主题，并迟缓发展新的念念想。“这种智商目下尚未在 AI 上得到考证”。Krenn 补充谈：“也许很快就会已矣，谁也无法猜想这些天会发生什么”。

测试成果

OpenAI 对其产物进行了一系列测试。举例，在东谈主类的终末教师（Humanity's Last Exam，HLE）中， Deep Research 阐扬出色。HLE 是一项 3000 谈题的基准测试，涵盖了从话语学到科学等各个学科的大家级学问，其想象难度远高于当今东谈主工智能所能胜任的其他常见测试（如 GPQA）。该测试涵盖了从话语学到科学等各个领域的大家级学问。在测试中，Deep Research 在 HLE 的纯文本问题上以 26.6% 的收获名列第一。

OpenAI 还针对 GAIA 基准进行了测试。GAIA 基准于 2023 年缔造，用于测试不祥进行多步推理和网页浏览来去答问题的东谈主工智能。在公开的 GAIA 名次榜上，跨国公司 H2O.ai 的智能体位居榜首，该智能体由 Anthropic 的 Claude 3.5 Sonnet 提供维持，并在最高难度级别上得分 40.82%。而 OpenAI 的 Deep Research 得分为 58.03%。

相较于 OpenAI 的测试成果，谷歌则示意，该公司目下莫得可共享的基准测试成果。可是，White 指出，OpenAI 遴荐的基准测试仅针对谜底纯粹、可考证的问题，可能并不适用于测试生成长篇且莫得固定回答的问题。“我认为这些基准测试最终会被功能性基准取代，”他说，举例通过东谈主工评估著述的质地和实用性。White 之前曾参与一项商榷，其中东谈主类大家对 AI 生成和东谈主类撰写的维基百科立场科学主题摘要进行了盲评，成果 AI 告捷。

这两款产物王人有一些局限性。它们王人无法索求付费信息，其中包括很多科学论文。这“是一个止境、止境要紧的问题，”维持绽开科学的 Unutmaz 示意，“赢得这些学问比以往任何手艺王人愈加伏击”。一些科学家在线论坛上冷漠，他们应该不祥将我方的期刊密码输入 AI 器具，并揣度不错诓骗 OpenAI 的新“operator”智能体来已矣这少量。对此，OpenAI CEO Sam Altman 也在推特上复兴谈：“咱们如实需要找到一个处分决策“。