栏目分类
发布日期:2025-01-28 14:43 点击次数:123
【起首:环球网】
【环球网科技详细报谈】近日,一项对于大模子核形态论“Scaling Law”的发源商议正在外网强烈张开。最新不雅点提到,中国科技巨头百度比OpenAI更早示寂了这一冲突。
《南华早报》在其报谈《百度在OpenAI之前就发现了Scaling Law?AI边界的辩白从头燃起》中指出,尽管好意思国在AI模子翻新方面一直被视为首先者,但最新的商议夸耀,中国在探索这些观念上可能更为超前。
大模子发展的中枢是“Scaling Law”——这一原则觉得,本质数据和模子参数越大,模子的智能本事就越强。这一念念想平庸归功于OpenAI在2020年发表的论文《Scaling Laws for Neural Language Models》,自那以后,这个观念已成为AI探究的基石。
然则,OpenAI论文的合著者、前OpenAI探究副总裁 、Anthropic独创东谈主Dario Amodei ,在11月的一期播客中露馅,他在2014年与吴恩达在百度探究AI时,就如故发现了模子发展的规矩Scaling Law这一振作。Dario Amodei示意,跟着提供给模子的数据量加多、模子边界的扩大以及本质时刻的蔓延,模子的性能运行显耀普及。这一非致密的不雅察其后在OpenAI的GPT-1话语模子中得到了考据,并被觉得是大模子发展的“金口玉音”。
此外,行业东谈主士也发文称,对于Scaling Law的原始探究本体上来自2017年的百度,而不是2020年的OpenAI。Meta探究员、康奈尔大学博士候选东谈主Jack Morris在X(前Twitter)上援用了一篇标题为《Deep Learning Scaling is Predictable, Empirically》论文,论文于2017年由百度硅谷东谈主工智能实验室发布,谨慎商议了机器翻译、话语建模等边界的Scaling振作。
但这篇论文的瑕疵性被严重疏远,OpenAI在 2020年的Scaling Law探究中援用了百度探究东谈主员在2019年发表的论文 《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》(高出东谈主类水平的准确性: 深度学习的贪图挑战)。品评者称,OpenAI 有聘用地援用了百度 2019 年的论文,而忽略了 2017 年早些时候的探究,而该探究才是Scaling Law观念的真确原始起首。
有探究者示意,恰是百度的早期探究为AI大模子的发展奠定了表面基础,并在2019年发布了第一代文心大模子,险些与OpenAI处于归并期间。“中国在大型模子方面的跳跃也获取海外招供。”据《南华早报》,在上海举行的百度宇宙大会2024上,百度秘书了新本事,用以镇静图像生成中的幻觉问题——即生成误导性或事实不一致的图像。百度还露馅,松手11月初,百度文心大模子的日均调用量如故达到了15亿,相较一年前初次败露的5000万次,增长约30倍。
跟着AI本事的收敛跳跃和诈欺的深刻,中国在各人AI边界的影响力和指令地位将愈加突显。 (古雨)