开云-BPO行业整合方案提供者
专业化、科技化、国际化；高标准、广覆盖、全流程
了解更多
开云-亚马逊云科技宣布Amazon Trainium2实例正式可用，并推出新一代AI训练芯片Amazon Trainium3
[导读]全新Amazon EC2 Trn2实例采取亚马逊云科技最新的Trainium2 AI芯片，性价比力当前基在GPU的EC2实例晋升30-40%。全新 Amazon EC2 Trn2 UltraServers采取NeuronLink超速互连手艺，将四个Trn2办事器毗连成一个年夜型办事器，可以或许在亚马逊云科技上为超年夜范围模子供给超快速的练习和推理。 北京——2024年12月5日 亚马逊云科技在2024 re:Invent全球年夜会上，公布基在Amazon Trainium2的Amazon Elastic Compute Cloud（Amazon EC2）Trn2实例正式可用，并推出全新的Amazon EC2 Trn2 UltraServers，让用户以优胜的性价比练习和摆设最新的人工智能模子，和将来的年夜说话模子（LLM）和根本模子（FM）。另外，亚马逊云科技还发布了新一代Amazon Trainium3芯片。 
Amazon Trainium2芯片 
Amazon EC2 Trn2 UltraServers 
Amazon EC2 Trn2 实例办事器模块 与当前基在GPU的EC2 P5e和P5en实例比拟，Amazon EC2 Trn2实例的性价比晋升30-40%。它配备16个Trainium2芯片，可供给高达20.8 Petaflops浮点算力的机能，很是合适练习和摆设具稀有十亿参数的年夜型说话模子（LLMs）。 全新推出的Amazon EC2 Trn2 UltraServers办事器机型配备64个彼此毗连的Trainium2芯片，采取NeuronLink超速互连手艺，可供给高达83.2Petaflops浮点算力，其计较、内存和收集能力是单一实例的四倍，可以或许撑持练习和摆设超年夜范围的模子。 亚马逊云科技联袂Anthropic正打造名为Project Rainier的EC2 UltraCluster，其包括数十万颗Trainium2 芯片，所到达的超等算力比他们当前一代领先AI模子练习所需算力超出跨越5倍以上。 亚马逊云科技推出了新一代AI芯片Trainium3，帮忙客户更快速地构建更年夜范围的模子，并在摆设时供给更优的及时机能。 亚马逊云科技计较和收集副总裁 David Brown暗示：“Amazon Trainium2是专为撑持年夜型、前沿的生成式AI工作负载而设计的，可以或许知足练习和推理的需求，并在亚马逊云科技上供给出色的性价比。跟着模子参数接近万亿，我们意想到客户需要一种立异的方式来高效练习和运行范围重大的工作负载。在亚马逊云科技上，全新的Amazon EC2Trn2UltraServers供给超快速的练习和推理机能，帮忙各类企业以更快的速度和更低的本钱练习和摆设世界上最年夜的模子。” 跟着模子范围的不竭扩年夜，客户但愿缩短练习时候和推理延迟，这对计较和收集根本举措措施提出了更高的要求。亚马逊云科技已供给普遍的Amazon EC2加快实例选择，包罗基在GPU和机械进修芯片的实例。但是，即便是今朝最快的加快实例，客户仍但愿实现更高的机能和更年夜的可扩大性，以更低的本钱更快地练习这些日趋复杂的模子。跟着模子复杂性和数据量的增添，由于并行化的限制，纯真扩年夜集群范围已没法有用缩短练习时候。同时，及时推理的需求也超越了单实例架构的承载能力。 Amazon EC2 Trn2实例为深度进修和生成式AI供给出色机能 与当前基在GPU的EC2实例比拟，Amazon EC2 Trn2的性价比晋升30%至40%。单个Trn2实例集成了16个Trainium2 芯片，经由过程NeuronLink超速高带宽、低延迟的芯片之间的互联，可供给高达20.8 Petaflops浮点算力，很是合适练习和摆设数十亿参数的模子。 Amazon EC2 Trn2 UltraServers知足全球超年夜模子日趋增加的AI计较需求 对需要更强算力的超年夜模子，Amazon EC2Trn2 UltraServers使客户可以或许冲破单个Trn2实例的限制进行扩大，从而削减练习时候，加速投放市场的速度，实现快速迭代以提高模子正确性。作为全新的EC2产物，Trn2 UltraServers操纵NeuronLink超速互联将四个Trn2办事器毗连为一个巨型办事器。客户经由过程全新Trn2UltraServers，可以在64个Trainium2芯片上扩大他们的生成式AI工作负载。在推理工作负载方面，客户可使用Trn2 UltraServers晋升出产情况中万亿参数模子的及时推理机能。亚马逊云科技正在与Anthropic配合构建一个名为Project Rainier的 EC2 UltraCluster计较集群，该集群由Trn2 UltraServers构成，可以或许在数十万个Trainium2芯片之间经由过程第三代低延迟的PB级EFA收集进行散布式模子练习——其运算能力比Anthropic当前一代领先AI模子练习所需算力超出跨越5倍以上。该项目完成后，估计将成为全球最年夜可用的AI计较集群，供Anthropic构建和摆设将来模子利用。 Anthropic专注在AI平安和研究，致力在打造靠得住、可注释和可控的AI系统。Anthropic的旗舰产物Claude是全球数百万用户相信的年夜型说话模子。作为Anthropic与亚马逊云科技深化合作的一部门，Anthropic已最先优化Claude模子，以便在亚马逊最早进的AI硬件Trainium2上运行。Anthropic将利用数十万个Trainium2芯片，该范围是其之前集群的五倍以上，为利用Amazon Bedrock上的Claude 客户供给出色的机能表示。 Databricks Mosaic AI使企业可以或许构建和摆设高质量的智能系统统。该系统基在数据湖仓原生架构，用户可以轻松、平安地利用企业数据定制模子，从而供给更正确和特定范畴的输出。得益在Trainium的高机能和本钱效益，客户可以或许以较低的本钱在Mosaic AI上扩大模子练习。跟着全球客户对Mosaic AI需求的不竭增加，Trainium2的推出将为Databricks和其客户带来重年夜优势。作为全球最年夜的数据和AI公司之一，Databricks打算利用Trainium2为客户供给更优的机能，并将整体具有本钱下降多达30%。 Hugging Face是全球领先的AI开辟者开源平台，具有跨越200万个模子、数据集和AI利用，其用户社区涵盖了跨越500万名研究人员、数据科学家、机械进修工程师和软件开辟者。在曩昔几年中，Hugging Face与亚马逊云科技合作，帮忙开辟者经由过程Optimum Neuron开源库体验Amazon Inferentia和Amazon Trainium的机能与本钱优势。该库已集成到Hugging Face Inference Endpoints中，并在新的HUGS自摆设办事中进行了优化，用户可以在亚马逊云科技Marketplace获得。跟着Trainium2的发布，Hugging Face用户将享受更高的机能，从而更快地开辟和摆设模子。 poolside致力在构建一个由AI驱动的世界，以鞭策有经济价值的工作和科学前进。他们相信，软件开辟将成为神经收集中第一个到达人类聪明程度的主要能力。为此，poolside正在打造根本模子（FMs）、API和助手利用，以将生成式AI的优势带给开辟者。而为了实现这一方针的要害就在在他们构建和运行产物所用的根本举措措施。借助Amazon Trainium2，poolside的客户将取得优在其他AI加快器的性价比扩大其办事。另外，Poolside打算操纵Amazon EC2 Trainium2 UltraServers练习将来的模子，这将比利用Amazon EC2 P5实例估计可节流40%的本钱。 Amazon Trainium3芯片，专为新一代前沿生成式AI工作负载的高机能需求而设计 亚马逊云科技发布了新一代AI练习芯片Amazon Trainium3。Trainium3是亚马逊云科技首款采取3纳米工艺制造的芯片，在机能、能效和密度上建立了新标杆。搭载Trainium3的UltraServers机能估计将是Trn2 UltraServers的4倍，使客户在构建模子时可以或许更快迭代，并在摆设时供给出色的及时机能。首批基在Trainium3的实例估计将在2025年底上线。 Amazon Neuron Software助力客户充实阐扬Trainium2机能 Amazon Neuron SDK包罗编译器、运行时库和东西，帮忙开辟者优化模子以在Trainium上运行。它闪开发者具有在Trainium芯片上优化模子以取得最好机能的能力。它与JAX和PyTorch等热点框架原生集成，使客户在Trainium上利用现有代码和工作流时只需进行少许代码点窜。同时，Neuron撑持Hugging Face模子库中的跨越10万个模子。经由过程Neuron Kernel Interface（NKI），开辟者可以直接拜候裸机的Trainium芯片，编写计较内核以最年夜限度地晋升计较密集型工作负载的机能。 Amazon Neuron旨在简化利用JAX等风行框架在Trainium2上练习和摆设模子，同时尽可能削减代码更改和对特定供给商解决方案的依靠。谷歌撑持亚马逊云科技经由过程其原生的OpenXLA集成，使客户可以或许利用JAX进行年夜范围练习和推理，供给简单矫捷的编码路径，帮忙用户快速上手Trn2实例。跟着行业内普遍的开源协作，和Trainium2的推出，谷歌估计JAX在机械进修社区的利用将显著增添，这将成为全部机械进修生态系统的主要里程碑。 今朝，Amazon EC2 Trn2实例在美国东部（俄亥俄）区域已正式可用，其他区域也行将推出。Amazon EC2 Trn2 UltraServers今朝预览可用。
下载文档 北京2024年8月27日 /美通社/ -- 在8月23日举行的2024年长三角生态绿色一体化成长示范区结合招商会上，软通动力信息手艺（团体）股分有限公司（以下简称 软通动力 ）与长三角投资（上海）有限...
要害字： BSP 信息手艺上海2024年8月26日 /美通社/ -- 本日，高端全合成润滑油品牌美孚1号联袂品牌体验官周冠宇，开启全新路程，助力泛博车主经由过程驾驶去摸索更广漠的世界。在全新发布的品牌视频中，周冠宇和分歧布景的消费者表达了对驾驶的酷爱...
要害字： BSP 汽车制造