NVIDIA Jetson AGX Orin模组与开发者套件
采用NVIDIA Ampere架构的低功耗系统单芯片(SoC)NVIDIA Orin，首度参与MLPerf产业基准测试便刷新人工智能(AI)推论的纪录，将每个边缘加速器的性能发挥到极致。
整体来说，在第五轮生产型AI的产业衡量指标中，NVIDIA与合作伙伴展现执行各项机器学习作业负载和场景的最高性能与最广泛的商业生态系。
NVIDIA Orin预生产版本在六项边缘AI领域的性能测试中，有五项领先其他竞争对手。其执行速度较前一代Jetson AGX Xavier提升五倍，而能源使用效率亦平均提升两倍。
NVIDIA Orin现在可以通过用于机器人和自主系统的NVIDIA Jetson AGX Orin开发者套件中取得。超过六千家客户包含Amazon Web Services (AWS)、John Deere、Komatsu、Medtronic与微软(Microsoft) Azure，皆使用NVIDIA Jetson平台进行AI推论或其他作业。
其同时也是我们NVIDIA Hyperion自动驾驶汽车平台的重要角色之一。*较大的电动车制造商比亚迪(BYD)是最新一家宣布将在其新一代自动驾驶电动车车队中，采用基于Orin的DRIVE Hyperion架构之汽车制造商。
Orin也是NVIDIA Clara Holoscan医疗设备平台的关键角色之一，系统制造商与研究人员通过该平台开发新一代的AI医疗器材。
NVIDIA Jetson AGX Orin模组
小模组，大堆叠
搭载包括Jetson AGX Orin在内的NVIDIA GPU的服务器及装置，是唯一能够执行所有六项MLPerf基准测试项目的边缘加速器。
Orin搭配JetPack SDK可执行完整的NVIDIA AI平台，其软件堆叠已在数据中心与云端环境中取得验证，并且由百万名使用NVIDIA Jetson平台的开发人员支持。
NVIDIA在每个加速器的推论表现皆领先竞争对手，同时也是唯一一家提出各项作业负载测试结果的业者。
注：MLPerf v2.0推论关闭；每个加速器的性能来自个别提交的最佳MLPerf测试结果，使用数据中心离线和服务器中提报的加速器数量。Qualcomm AI 100：2.0-130、Intel Xeon 8380来自MLPerf v.1.1提交结果：1.1-023和1.1-024、Intel Xeon 8380H 1.1-026、NVIDIA A30：2.0-090、NVIDIA A100 (Arm)：2.0-077、NVIDIA A100 (X86)：2.0-094。
NVIDIA与合作伙伴持续在最新一轮的MLPerf推论测试活动中，在所有测试和场景中展现领先的性能表现。
MLPerf基准测试获亚马逊(Amazon)、Arm、百度(Baidu)、戴尔科技(Dell Technologies)、Facebook、Google、哈佛大学(Harvard)、英特尔(Intel)、联想(Lenovo)、微软、史丹佛大学(Stanford)及多伦多大学(University of Toronto)等多个组织支持。
最多的合作伙伴及提交数量
NVIDIA AI平台再次吸引来自最广泛的合作伙伴商业生态系支持，纷纷提交最多数量的MLPerf测试结果。
Azure继去年12月首度参加MLPerf训练测试并有出色的表现后，在这一轮的AI推论测试中，同样取得优异的成绩，其两次皆使用NVIDIA A100 Tensor核心GPU。Azure的ND96amsr A100 v4执行个体在几乎各项推论测试中，都与我们提交的八颗GPU最佳表现不相上下，展现公有云随时能提供服务的能力。
系统制造商华硕(ASUS)与H3C在本轮测试中首次参加MLPerf，并使用NVIDIA AI平台来提交结果。他们与回归的系统制造商戴尔科技、富士通(Fujitsu)、技嘉(GIGABYTE)、Inspur、联想、Nettrix和美超微(Supermicro)，共使用超过二十款NVIDIA认证系统提交测试结果。
MLPerf的重要性
我们的合作伙伴深知客户在评估AI平台和品牌时，MLPerf是一项十分具代表性的工具，因此他们参与这项测试活动。
MLPerf的各项测试涵盖当今最热门的AI作业负载和场景，让用户相信这项基准测试能反映出执行各项作业时可预期的性能。
软件使其大放异彩
我们用于测试的所有软件皆能通过MLPerf数据库取得。
用于最佳化AI模型的NVIDIA TensorRT，以及用于高效部署AI模型的NVIDIA Triton推论服务器，是本次取得推论成绩的两大利器，可于我们的GPU最佳化软件目录NGC上免费下载。
世界各地的组织均采用Triton，包括亚马逊及微软在内的云端服务供应商。
我们持续将各项最佳化内容放入NGC上可用的容器内，如此一来，每个使用者便能开始将AI投入生产，并享受顶尖的性能表现。
未经允许不得转载：藤条部落 » NVIDIA Orin在边缘人工智能领域与MLPerf测试中领先群雄，刚发布的NVIDIA Jetson AGX Orin提升边缘人工智能的标准，并将我们在最新产业推论基准测试中的整体排名往前推升
