栏目分类
发布日期:2025-04-02 15:33 点击次数:110
智东西
作家 | ZeR0
裁剪 | 漠影
智东西2月17日报谈,跟着DeepSeek展现出开源的威力,大模子竞赛有了新的叙事形貌,各路云预计厂商接连晓喻接入DeepSeek模子,但实质提供的办事质地却散乱不皆。这与云办事背后的基础方法和工程化才能密切干系。
企业部署和使用模子过程中,需要综合考量性能与本钱之间的量度、能否针对独迥殊据进行定制优化、数据和模子安不安全、是否便于完了各式智能体的复杂转变等身分。亚马逊云科技则通过在云和AI界限张开的全栈式窜改,兼具云表自身的上风、千般化模子聘用的上风,并提供了一系列快速将模子愚弄到企业化坐蓐环境中所需的遑急用具。
行动最早适配并上线DeepSeek的云巨头之一,亚马逊云科技现已推出针对DeepSeek-R1模子多种不同的部署形貌,以便企业能在熟悉的亚马逊云科技环境中狂放部署该系列模子,举例在Amazon Bedrock Marketplace中部署,或在Amazon SageMaker Jumpstart中部署,也不错通过Amazon Bedrock自界说导入功能或Amazon EC2 Trn1实例中部署DeepSeek-R1-Distill系列模子。
一、云表部署:天真可推广,与丰富办事无缝集成比较土产货部署,云表部署的上风是算力资源更饱和,何况天真可推广。同期在云表部署梗概与丰富且练习的分析、数据等基础办事进行无缝集成。行动众人云预计的草创者,亚马逊云科技近20年来积攒了深厚的本事根基,引颈了一代代的云表基础方法窜改,在提高算力利用率、加快模子开荒等方面都有耐久陶冶。
比如在自研芯片界限,亚马逊云科技推出了基于Amazon Trainium2的EC2 Trn2实例,性价比比那时GPU实例高30%-40%。还有第二代的UltraCluster收罗架构,撑捏跨越20000个GPU协同使命,带宽达10Pb/s,蔓延低于10ms,这一升级梗概将模子检会时期镌汰至少15%。
亚马逊云科技推出的新一代Amazon SageMaker,将快速SQL分析、PB级大数据处理、数据探索和集成、模子开荒和检会以及生成式AI等功能长入到一个集成平台,从而为客户提供一个单一的数据和AI开荒环境,用户不错在其中查找和拜访其组织中的所迥殊据,为各式常见的数据用例聘用最好用具,并将数据和AI技俩推广至团队内不同单干扮装以完了地作。
亚马逊云科技大中华区家具部总司理陈晓建谈谈,亚马逊云科技不仅在云的中枢办事层面捏续窜改,更在从芯片到模子,再到应用的每一个本事堆栈取得芜乱,让不同层级的窜改互相赋能、协同进化。
他服气惟一这么全栈联动的大限度窜改,才能真的餍足当前客户的发展需求,加快前沿本事的价值开释。
二、千般化模子聘用,按需组出性价比跟其他云办事大厂比较,亚马逊云科技生成式AI办事的一大脾气,即是模子聘用多。
基于“不会有一个模子一统寰宇”的判断,亚马逊云科技在自研大模子的同期,也将来自不同企业、不同功能的当先大模子集聚在扫数,放到云中的“大模子货架”上,供客户按需完了最具性价比的组合。
在实质构建生成式AI应用时,不同应用场景需要的性能、本钱、反应速率、微调才能、学问库谐和才能、多模态撑捏才能等本事方向各不交流。比如在快速反应场景,需要花一些时期推理的DeepSeek R1深层念念考样子就不太适用,其生成首个token的用时可能要跨越30秒;而Amazon Nova模子的反应就极度快,只耗时数百毫秒。
此前其“大模子货架”上还是有来自AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI、Luma AI和poolside等有名厂商的大模子。亚马逊云科技还在束缚推广其模子“一又友圈”。
比如上个月Amazon Bedrock平台刚刚上线了Luma AI的最新版视频生成模子Ray 2模子,不错平凡用于内容创建、文娱、告白和媒体使用案例,从而简化从主意到试验的创意经过。
亚马逊云科技的Amazon Bedrock Marketplace功能为客户提供100多个热点、新兴及专科模子,DeepSeek-R1就包含在内。
▲在Amazon SageMaker Jumpstart中快速部署DeepSeek模子
聘用合乎的模子,下一步是怎么高效搞定工程化难题。
Amazon Bedrock聚焦企业应用AI的实质需求,提供了企业AI用具全家桶,波及模子从原型走向企业化坐蓐环境时必须要辩论的方方面面的用具,以便开荒者基于当先模子来快速构建应用。
举例DeepSeek模子有不同参数目,小至几十亿,多达6710亿。要完了竣工部署R1并完了尽可能好的推理和反应,需要如Amazon EC2 P5e性能级别的硬件和配套的方便用具。
▲通过Amazon Bedrock Marketplace部署DeepSeek-R1,可选实例包括EC2 P5e的48xlarge型号,单个实例包含8颗H200 GPU,以及3200Gbps的收罗带宽,充分餍足DeepSeek-R1的性能需求
亚马逊云科技提供的实用用具有助于优化本钱、把柄自迥殊据定制升迁准确性、安全性以及针对异日复杂的多智能体构建和照拂等。不错简要概述为以下4类:
1、优化着力、蔓延和本钱:如低蔓延优化推理、模子蒸馏、领导词缓存等功能,大幅升迁推理着力。其中模子蒸馏功能可将特定学问从功能广漠的大模子升沉到更小更高效的模子,开动速率最快可提高500%,本钱斥责75%。
2、基于企业自迥殊据的定制优化:模子微调功能、学问库功能束缚丰富,现已撑捏GraphRAG等图数据,梗概快速且经济高效地从文档、图像、音频以及视频中索要信息,并将其转化为结构化时事的Amazon Bedrock Data Automation功能等。
3、负包袱AI的安全和审查:Amazon Bedrock束缚丰富其护栏功能,以简化企业实施负包袱AI所需的插足,举例为其加入自动推理搜检功能,从而梗概狂放识别事实性空虚,以升迁生成回答的准确性。
4、完了复杂功能的多智能体功能:Amazon Bedrock不但提供智能体功能,还进一步推出了多智能体合作功能,使客户梗概狂放地构建和谐和专科智能体来试验复杂的使命经过。客户不错通过为技俩的特定时事创建和分拨专用智能体,赢得更准确的限度并加快任务。
▲在Amazon Bedrock模子定制页面部署DeepSeek 88Llama Model
结语:用全栈式窜改托举企业级AI构建在2024 re:Invent上,亚马逊CEO Andy Jassy曾共享亚马逊自身部署AI中的三项要津细察:发轫,跟着生成式AI应用限度的扩大,预计本钱变得至关遑急;东谈主们极度渴慕赢得更高的性价比;其次,构建一个真的优秀的生成式AI应用极度贫苦;第三,耐久不会有单一的用具梗概总揽宇宙,要提供千般化的模子,让开荒者解放聘用。
亚马逊云科技在云表部署方面的天真可推广性、千般化模子聘用以及实用用具的提供,则无一不是对这些细察的有劲恢复。
通过上述三大上风,亚马逊云科技正在匡助企业更快更好地愚弄当先的模子。亚马逊云科技对DeepSeek的积极拥抱,也在践行其此前向客户所答应的——托管最流行的、具有窜改性的AI模子。跟着DeepSeek催化开源风暴,异日咱们将看到更多优质新模子的出身,而不管模子种类怎么繁密,亚马逊云科技的全栈式窜改都酿成通晓的托举。