亚马逊云科技告示Amazon Trainium2负责可用，推出新一代AI考试芯片

北京——2024年12月5日 亚马逊云科技在2024 re:Invent群众大会上，告示基于Amazon Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2实例负责可用，并推出全新的Amazon EC2 Trn2 UltraServers，让用户以优厚的性价比考试和部署最新的东说念主工智能模子，以及将来的大说话模子（LLM）和基础模子（FM）。此外，亚马逊云科技还发布了新一代Amazon Trainium3芯片。

Amazon Trainium2芯片

Amazon EC2 Trn2 UltraServers

Amazon EC2 Trn2 实例处事器模块

与面前基于GPU的EC2 P5e和P5en实例比拟，Amazon EC2 Trn2实例的性价比擢升30-40%。它配备16个Trainium2芯片，可提供高达20.8 Petaflops浮点算力的性能，很是符合考试和部署具非常十亿参数的大型说话模子（LLMs）。全新推出的Amazon EC2 Trn2 UltraServers处事器机型配备64个相互聚拢的Trainium2芯片，收受NeuronLink超速互连本事，可提供高达83.2 Petaflops浮点算力，其狡计、内存和集聚才能是单一实例的四倍，大要支握考试和部署超大规模的模子。亚马逊云科技联袂Anthropic正打造名为Project Rainier的EC2 UltraCluster，其包含数十万颗Trainium2 芯片，所达到的超等算力比他们面前一代率先AI模子考试所需算力高出5倍以上。亚马逊云科技推出了新一代AI芯片Trainium3，匡助客户更快速地构建更大规模的模子，并在部署时提供更优的及时性能。

亚马逊云科技狡计和集聚副总裁 David Brown暗示：“Amazon Trainium2是专为支握大型、前沿的生成式AI职责负载而联想的，大要甘愿考试和推理的需求，并在亚马逊云科技上提供非凡的性价比。跟着模子参数接近万亿，咱们坚忍到客户需要一种革命的行动来高效考试和运行规模雄伟的职责负载。在亚马逊云科技上，全新的Amazon EC2 Trn2 UltraServers提供超快速的考试和推感性能，匡助种种企业以更快的速率和更低的本钱考试和部署寰球上最大的模子。”

跟着模子规模的不断扩大，客户但愿镌汰考试时辰和推理延长，这对狡计和集聚基础行动提倡了更高的条目。亚马逊云科技已提供庸俗的Amazon EC2加速实例聘任，包括基于GPU和机器学习芯片的实例。然则，即使是现在最快的加速实例，客户仍但愿杀青更高的性能和更大的可膨胀性，以更低的本钱更快地考试这些日益复杂的模子。跟着模子复杂性和数据量的增多，因为并行化的放胆，单纯扩大集群规模已无法灵验镌汰考试时辰。同期，及时推理的需求也超出了单实例架构的承载才能。

Amazon EC2 Trn2实例为深度学习和生成式AI提供非凡性能

与面前基于GPU的EC2实例比拟，Amazon EC2 Trn2的性价比擢升30%至40%。单个Trn2实例集成了16个Trainium2 芯片，通过NeuronLink超速高带宽、低延长的芯片之间的互联，可提供高达20.8 Petaflops浮点算力，很是符合考试和部署数十亿参数的模子。

Amazon EC2 Trn2 UltraServers甘愿群众超大模子日益增长的AI狡计需求

对于需要更强算力的超大模子，Amazon EC2 Trn2 UltraServers使客户大要打破单个Trn2实例的放胆进行膨胀，从而减少考试时辰，加速投放市集的速率，杀青快速迭代以提高模子准确性。手脚全新的EC2家具，Trn2 UltraServers哄骗NeuronLink超速互联将四个Trn2处事器聚拢为一个巨型处事器。客户通过全新Trn2 UltraServers，不错在64个Trainium2芯片上膨胀他们的生成式AI职责负载。在推理职责负载方面，客户不错使用Trn2 UltraServers擢升分娩环境中万亿参数模子的及时推感性能。亚马逊云科技正在与Anthropic共同构建一个名为Project Rainier的 EC2 UltraCluster狡计集群，该集群由Trn2 UltraServers构成，大要在数十万个Trainium2芯片之间通过第三代低延长的PB级EFA集聚进行漫衍式模子考试——其运算才能比Anthropic面前一代率先AI模子考试所需算力高出5倍以上。该神气完成后，瞻望将成为群众最大可用的AI狡计集群，供Anthropic构建和部署将来模子使用。

Anthropic专注于AI安全和筹谋，死力于于打造可靠、可讲授和可控的AI系统。Anthropic的旗舰家具Claude是群众数百万用户相信的大型说话模子。手脚Anthropic与亚马逊云科技久了合作的一部分，Anthropic已驱动优化Claude模子，以便在亚马逊开始进的AI硬件Trainium2上运行。Anthropic将使用数十万个Trainium2芯片，该规模是其之前集群的五倍以上，为使用Amazon Bedrock上的Claude 客户提供非凡的性能施展。

Databricks Mosaic AI使企业大要构建和部署高质料的智能体系统。该系统基于数据湖仓原生架构，用户不错粗俗、安全地使用企业数据定制模子，从而提供更准确和特定规模的输出。成绩于Trainium的高性能和本钱效益，客户大要以较低的本钱在Mosaic AI上膨胀模子考试。跟着群众客户对Mosaic AI需求的不断增长，Trainium2的推出将为Databricks过火客户带来紧要上风。手脚群众最大的数据和AI公司之一，Databricks筹备使用Trainium2为客户提供更优的性能，并将总体领有本钱责怪多达30%。

Hugging Face是群众率先的AI建造者开源平台，领有卓越200万个模子、数据集和AI应用，其用户社区涵盖了卓越500万名筹谋东说念主员、数据科学家、机器学习工程师和软件建造者。在畴昔几年中，Hugging Face与亚马逊云科技合作，匡助建造者通过Optimum Neuron开源库体验Amazon Inferentia和Amazon Trainium的性能与本钱上风。该库已集成到Hugging Face Inference Endpoints中，并在新的HUGS自部署处事中进行了优化，用户不错在亚马逊云科技Marketplace获取。跟着Trainium2的发布，Hugging Face用户将享受更高的性能，从而更快地建造和部署模子。

poolside死力于于构建一个由AI驱动的寰球，以激动有经济价值的职责和科学跳跃。他们笃信，软件建造将成为神经集聚会第一个达到东说念主类智谋水平的紧要才能。为此，poolside正在打造基础模子（FMs）、API和助手应用，以将生成式AI的上风带给建造者。而为了杀青这一狡计的要害就在于他们构建和运行家具所用的基础行动。借助Amazon Trainium2，poolside的客户将获取优于其他AI加速器的性价比膨胀其处事。此外，Poolside筹备哄骗Amazon EC2 Trainium2 UltraServers考试将来的模子，这将比使用Amazon EC2 P5实例瞻望可从简40%的本钱。

Amazon Trainium3芯片，专为新一代前沿生成式AI职责负载的高性能需求而联想

亚马逊云科技发布了新一代AI考试芯片Amazon Trainium3。Trainium3是亚马逊云科技首款收受3纳米工艺制造的芯片，在性能、能效和密度上诞生了新标杆。搭载Trainium3的UltraServers性能瞻望将是Trn2 UltraServers的4倍，使客户在构建模子时大要更快迭代，并在部署时提供非凡的及时性能。首批基于Trainium3的实例瞻望将在2025年末上线。

Amazon Neuron Software助力客户充分施展Trainium2性能

Amazon Neuron SDK包括编译器、运行时库和用具，匡助建造者优化模子以在Trainium上运行。它让建造者具有在Trainium芯片上优化模子以获取最好性能的才能。它与JAX和PyTorch等热点框架原生集成，使客户在Trainium上使用现存代码和职责流时只需进行小数代码修改。同期，Neuron支握Hugging Face模子库中的卓越10万个模子。通过Neuron Kernel Interface（NKI），建造者不错径直造访裸机的Trainium芯片，编写狡计内核以最大限度地擢升狡计密集型职责负载的性能。

Amazon Neuron旨在简化使用JAX等流行框架在Trainium2上考试和部署模子，同期尽量减少代码转换和对特定供应商惩办有狡计的依赖。谷歌支握亚马逊云科技通过其原生的OpenXLA集成，使客户大要使用JAX进行大规模考试和推理，提供肤浅生动的编码旅途，匡助用户快速上手Trn2实例。跟着行业内庸俗的开源相助，以及Trainium2的推出，谷歌瞻望JAX在机器学习社区的应用将权贵增多，这将成为总计机器学习生态系统的紧要里程碑。

现在，Amazon EC2 Trn2实例在好意思国东部（俄亥俄）区域已负责可用，其他区域也行将推出。Amazon EC2 Trn2 UltraServers现在预览可用。

了解更多信息，请造访：

亚马逊云科技新闻博客，获取更多持重信息。亚马逊云科技Trainium页面 ，了解更多功能。亚马逊云科技Trainium客户页面，了解企业怎么使用Trainium。亚马逊云科技re:Invent页面 ，获取对于亚马逊云科技re:Invent行动的更多细节。

对于亚马逊云科技

自2006年以来，亚马逊云科技（Amazon Web Services）一直以本事革命、处事丰富、应用庸俗而享誉业界。亚马逊云科技一直不断膨胀其处事组合以支握险些云上苟且职责负载，现在提供卓越240项全功能的处事，涵盖狡计、存储、数据库、集聚、数据分析、机器学习与东说念主工智能、物联网、迁徙、安全、夹杂云、媒体，以及应用建造、部署与料理等方面；基础行动深广34个地舆区域的108个可用区，并已公布筹备在墨西哥、新西兰、沙特阿拉伯和泰国等新建6个区域、18个可用区。群众数百万客户，包括发展连忙的初创公司、大型企业和率先的政府机构，齐相信亚马逊云科技，通过亚马逊云科技的处事支握其基础行动，提高敏捷性，责怪本钱。要了解更多对于亚马逊云科技的信息，请造访：www.amazonaws.cn。