硬刚OpenAI！谷歌推出Gemini 2.0，全面转向Agent，多模态输入输出

作家：赵雨荷

起原：硬AI

为应酬OpenAI此前推出的开阔新产物，谷歌周三推出下一代垂危东说念主工智能模子Gemini 2.0 Flash，不错原生生成图像和音频，同期维持文本生成。2.0 Flash还不错使用第三方诳骗纪律和处事，使其省略走访谷歌搜索、施行代码等功能。

从周三起，2.0 Flash的实验版块将通过Gemini API和谷歌的AI确立平台（AI Studio和Vertex AI）提供。然则，音频和图像生成效用仅对“早期接入合营伙伴”绽开，并诡计在来岁1月全面推出。

畴昔几个月内，谷歌示意将推出2.0 Flash的不同版块，用于Android Studio、Chrome DevTools、Firebase、Gemini Code Assist等产物。

Flash的升级

第一代Flash（1.5 Flash）只可生成文本，且并未设想用于额外高要求的责任负载。据谷歌称，新版块2.0 Flash模子更具各样性，部分原因是它省略调用用具（如搜索）并与外部API交互。

谷歌Gemini模子产物弘扬东说念主Tulsee Doshi示意，

“咱们知说念，Flash因其在速率和性能上的细腻均衡而备受确立者细心。在2.0 Flash中，它依然保合手了速率的上风，但咫尺愈加遒劲。”

谷歌宣称，根据公司里面测试，2.0 Flash在某些基准测试中的运行速率是Gemini 1.5 Pro模子的两倍，并在编码和图像分析等领域“权贵”矫正。事实上，该公司示意，2.0 Flash凭借其更好的数学性能和“事实性”取代了1.5 Pro，成为Gemini的旗舰模子。

2.0 Flash不错生成并修改图像，同期维持文本生成。该模子还不错读取像片、视频以及音频录制实验，从而回话与这些实验研究的问题。

音频生成是2.0 Flash的另一个要津功能，Doshi将其样式为“可操控”和“可定制”。举例，该模子不错用八种针对不同口音和言语优化的声息来诵读文本。

不外，谷歌并未提供2.0 Flash生成的图像或音频样本，因此无法判断其输出质料与其他模子的比较。

谷歌示意，它正在使用其SynthID技巧为2.0 Flash生成的通盘音频和图像添加水印。在维持SynthID的软件和平台（即部分谷歌产物）上，该模子的输出将被瑰丽为合成实验。

此举旨在缓解东说念主们对销耗的担忧。事实上，“深度伪造”（deepfake）正成为日益严重的要挟。据身份考据处事Sumsub的数据，从2023年到2024年，巨匠检测到的深度伪造数目增长了四倍。

多模态API

2.0 Flash的坐褥力版块将于来岁1月推出。但与此同期，谷歌推出了一个API，名为Multimodal Live API，以匡助确立者构建具有及时音频和视频流功能的诳骗纪律。

通过Multimodal Live API，谷歌示意确立者不错创建具有来自录像头或屏幕音频和视频输入的及时多模态诳骗纪律。该API维持用具集成以完成任务，并省略处理“当然对话模式”，举例打断——与OpenAI的及时API功能近似。

Multimodal Live API已于周三上昼全面绽开使用。

AI代理操作网页

谷歌周三还发布了其首个省略在网页上施行操作的AI代理，这是由其DeepMind部门推出的商榷模子，名为Project Mariner。该代情理Gemini驱动，省略接管用户的Chrome浏览器，挪动屏幕上的光标，点击按钮，填写表单，从而像东说念主类同样使用和浏览网站。

谷歌示意，从周三开动，这款AI代理将率先面向一小部分事前采选的测试者推出。

媒体报说念，谷歌正在不息尝试新的时势，让Gemini省略读取、回来以致使用网站。一位谷歌高管告诉媒体，这标志着一种“全新的用户体验范式革新”：用户不再获胜与网站交互，而是通过生成式AI系统完成这些交互。

分析以为，这种革新可能会影响数百万家企业——从TechCrunch等出书商到沃尔玛等零卖商——这些企业一直以来齐依赖谷歌将实在用户指导到他们的网站。

在与科技媒体TechCrunch的演示中，谷歌实验室总监Jaclyn Konzelmann展示了Project Mariner的责任旨趣。

在Chrome浏览器中装置一个蔓延纪律后，浏览器右侧会弹出一个聊天窗口。用户不错指示代理完成诸如“根据这份清单在超市创建购物车”之类的任务。

接着，AI代招待导航到一家超市的网站，然后搜索并将商品添加到编造购物车中。一个不言而谕的问题是代理运行速率较慢——每次光标挪动之间约有5秒的延伸。随机，代招待中断任务并复返到聊天窗口，要求澄澈某些物品（比如需要几许胡萝卜等）。

谷歌的代理无法完成结账，因为它不会填写信用卡号或账单信息。此外，Project Mariner也不会为用户接受cookies，或签署处事条目公约。谷歌示意，这是出于对用户更好限度的研究，有益不允许代理施行这些操作。

在后台，谷歌的代招待截取用户浏览器窗口的截图（用户需在处事条目中喜悦这极少），并将其发送到云霄的Gemini进行处理。然后，Gemini会将导航网页的指示发送回用户的电脑。

Project Mariner还不错用于搜索航班和酒店、购物家居用品、查找食谱以过甚他咫尺需要用户点击网页才略完成的任务。

不外，Project Mariner仅能在Chrome浏览器的最前端活动标签页上责任，这意味着在代理后台运行时，用户无法用电脑作念其他事情，而是需要不雅看Gemini逐渐地点击操作。谷歌DeepMind首席技巧官Koray Kavukcuoglu示意，这是一个相等专诚的决定，主义是让用户知说念谷歌的AI代理正在作念什么。

Konzelmann示意，

“[Project Mariner]标志着咱们咫尺看到的一种根人性的新用户体验范式革新。咱们需要探索一种正确的方法，让这一切改变用户与网页互动的时势，同期也改变出书商为用户以及代理创建体验的时势。”

AI代理作念商榷、写代码、老到游戏

除了Project Mariner，谷歌周三还推出了几款专门用于特定任务的新AI代理。

其中一个AI代理Deep Research旨在通过创建多要领商榷诡计匡助用户商榷复杂商榷。它似乎是OpenAI的o1的竞争敌手，后者也省略进行多要领推理。然则，谷歌发言东说念主指出，该代理并无谓于处分数学和逻辑推理问题、编写代码或进行数据分析。Deep Research现已在Gemini Advanced中推出，并将在2025年登陆Gemini诳骗。

当收到一个不毛或范围较大的问题时，Deep Research会创建一个多要领的当作诡计往复话问题。在用户批准诡计后，Deep Research需要几分钟的时间往复话问题、搜索网页，然青年景一份翔实的商榷酬谢。

另一个新AI代理Jules旨在匡助确立者完成代码任务。它获胜集成到GitHub责任流中，使Jules省略稽察现存责任并获胜在GitHub中进行编削。Jules现已向一小部分测试者推出，并将在2025年晚些时候发布。

临了，谷歌DeepMind示意正在确立一款用于匡助用户老到游戏的AI代理，这是基于其在创建游戏AI方面的始终警戒。谷歌正在与Supercell等游戏确立商合营测试Gemini讲明《部落打破》等游戏全国的才略。

AI生成选录

谷歌周三还发布了基于Gemini 2.0模子的AI生成选录功能“AI Overviews”，为某些Google搜索查询提供的选录实验，将很快省略处理“更复杂的话题”，以及“多模态”和“多要领”的搜索实验。谷歌示意，这包括高等数常识题和编程问题。

新的AI Overviews功能将在本周开动进行有限测试，并将在来岁头粗拙推行。

不外，自本年春天推出以来，AI Overviews激发了很多争议，其提供的某些可疑证据和提倡（举例保举在披萨上加胶水）曾在网上激发烧议。根据SEO平台SE Ranking的一份最近酬谢，AI Overviews援用了“并不透彻可靠或基于凭据的”网站，包括过期的商榷和付费产物列表。

分析以为，主要问题在于，AI Overviews随机难以分别信息起原是事实、虚构、调侃如故严肃实验。昔时几个月里，谷歌改变了AI Overviews的责任时势，限度了与步地和健康话题研究的谜底。但谷歌并不宣称这一功能照旧恢恢有余。

尽管如斯，谷歌示意，AI Overviews培植了搜索参与度，尤其是在18到24岁这一要津用户群体中——这是谷歌的要点所在东说念主群。

最新AI加快器芯片Trillium 专供Gemini 2.0

谷歌周三发布了其第六代东说念主工智能加快器芯片Trillium，宣称这一芯片的性能矫正可能从压根上改变AI确立的经济模式。

这款定制处理器用于进修谷歌最新发布的Gemini 2.0 AI模子，其进修性能是上一代的四倍，同期大幅裁汰了能耗。

谷歌首席施行官桑达尔·皮查伊（Sundar Pichai）在一篇公告著作中讲明说念，谷歌照旧将卓绝10万颗Trillium芯片一语气在一个单一的采辘集构中，变成了巨匠最遒劲的AI超等筹备机之一。

Trillium在多个维度上遣散了权贵的越过。与其前代比较，这款芯片每颗芯片的峰值筹备性能培植了4.7倍，同期高带宽内存容量和芯片间互联带宽均翻了一倍。更为垂危的是，它的能效培植了67%，这是数据中心在应酬AI进修弘大能耗需求时的一个要津经营。

Trillium的贸易影响不仅限于性能经营。谷歌宣称，与上一代芯片比较，该芯片在每好意思元的进修性能方面培植了2.5倍，这可能会重塑AI确立的经济模式。

分析以为，Trillium的发布加重了AI硬件领域的竞争，而英伟达凭借其基于GPU的处分决议始终占据主导地位。固然英伟达的芯片仍然是很多AI诳骗的行业纪律，但谷歌的定制芯片方法可能在特定责任负载，额外是进修相等大的模子方面具有上风。

还有分析称，谷歌在定制芯片确立上的无数投资反应了其对AI基础设施垂危性的策略押注。谷歌决定将Trillium提供给云客户，这标明其但愿在云AI市集上更具竞争力，与微软Azure和亚马逊AWS伸开浓烈竞争。关于通盘科技行业而言，Trillium的发布标明AI硬件霸主之争正插足新阶段。

本文来自微信公众号“硬AI”，眷注更多AI前沿资讯请移步这里

风险教唆及免责条目 市集有风险，投资需严慎。本文不组成个东说念主投资提倡，也未研究到个别用户出奇的投资所在、财务景况或需要。用户应试虑本文中的任何观点、不雅点或论断是否合适其特定景况。据此投资，职守欢喜。