在首次參加行業(yè) MLPerf 基準(zhǔn)測(cè)試時(shí)，基于 NVIDIA Ampere 架構(gòu)的低功耗系統(tǒng)級(jí)芯片 NVIDIA Orin 就創(chuàng)造了新的AI推理性能紀(jì)錄，并在邊緣提升每個(gè)加速器的性能。

在此次第五輪生產(chǎn)級(jí)AI行業(yè)基準(zhǔn)測(cè)試中，NVIDIA 及其合作伙伴繼續(xù)在所有機(jī)器學(xué)習(xí)的工作負(fù)載和場(chǎng)景中展現(xiàn)出了高性能和廣泛的生態(tài)系統(tǒng)。

在邊緣AI領(lǐng)域，NVIDIA Orin 預(yù)生產(chǎn)版本在六項(xiàng)性能測(cè)試中的五項(xiàng)處于領(lǐng)先地位，其運(yùn)行速度比上一代 Jetson AGX Xavier 快了 5 倍，能效平均提高了 2 倍。

NVIDIA Orin 現(xiàn)已加入到用于機(jī)器人和自動(dòng)化系統(tǒng)的 NVIDIA Jetson AGX Orin 開(kāi)發(fā)者套件。包括亞馬遜網(wǎng)絡(luò)服務(wù)、約翰迪爾、小松、美敦力和微軟 Azure 在內(nèi)的 6000 多家客戶使用 NVIDIA Jetson 平臺(tái)進(jìn)行AI推理或其他任務(wù)。

這款系統(tǒng)級(jí)芯片也是 NVIDIA Hyperion 自動(dòng)駕駛汽車(chē)平臺(tái)的關(guān)鍵組成部分。中國(guó)最大的電動(dòng)汽車(chē)制造商比亞迪近期宣布，他們將在其新一代自動(dòng)駕駛電動(dòng)汽車(chē)中使用內(nèi)置 Orin的DRIVE Hyperion 架構(gòu)。

Orin 同樣也是 NVIDIA Clara Holoscan 醫(yī)療設(shè)備平臺(tái)的關(guān)鍵組成部分，且該平臺(tái)可供系統(tǒng)制造商和研究人員用來(lái)開(kāi)發(fā)新一代 AI 儀器。

小模塊合體成為大堆棧

包括 Jetson AGX Orin 在內(nèi)的 NVIDIA GPU 是唯一能夠運(yùn)行所有六項(xiàng) MLPerf 基準(zhǔn)測(cè)試的邊緣加速器。

憑借 JetPack SDK，Orin 可以運(yùn)行整個(gè) NVIDIA AI 平臺(tái)，這個(gè)軟件堆棧已經(jīng)在數(shù)據(jù)中心和云端得到了驗(yàn)證，并且獲得了 NVIDIA Jetson 平臺(tái) 100 萬(wàn)名開(kāi)發(fā)者的支持。

在最新一輪 MLPerf 推理測(cè)試中，NVIDIA 及合作伙伴繼續(xù)在所有測(cè)試和場(chǎng)景中展現(xiàn)出領(lǐng)先的性能。

MLPerf 基準(zhǔn)得到了亞馬遜、ARM 、百度、戴爾科技、Facebook 、谷歌、哈佛大學(xué)、英特爾、聯(lián)想、微軟、斯坦福大學(xué)和多倫多大學(xué)等機(jī)構(gòu)的廣泛支持。

更多的合作伙伴與結(jié)果提交數(shù)量

NVIDIA AI 平臺(tái)再次吸引了來(lái)自最廣泛合作伙伴生態(tài)系統(tǒng)的最多 MLPerf 提交。

Azure 在 12 月份的 MLPerf 訓(xùn)練測(cè)試中表現(xiàn)出色，在本輪 AI 推理測(cè)試中也取得了優(yōu)異的成績(jī)，這兩場(chǎng)測(cè)試都使用了 NVIDIA A100 Tensor CoreGPU。Azure 的 ND96amsr_A100_v4 實(shí)例在幾乎所有推理測(cè)試中都與我們提交的性能最高的 8 個(gè) GPU 相媲美，展現(xiàn)了公共云隨時(shí)可以提供的能力。

系統(tǒng)制造商華碩和新華三在本輪測(cè)試中首次使用 NVIDIA AI 平臺(tái)提交 MLPerf 結(jié)果。他們加入了戴爾科技、富士通、技嘉、浪潮、聯(lián)想、寧暢和美超微等已經(jīng)提交了二十多個(gè) NVIDIA 認(rèn)證系統(tǒng)結(jié)果的系統(tǒng)制造商的行列。

MLPerf 的重要性

我們的合作伙伴深知 MLPerf 是一個(gè)客戶用來(lái)評(píng)估 AI 平臺(tái)和供應(yīng)商的寶貴工具，因此紛紛參與這項(xiàng)測(cè)試。

MLPerf 的各項(xiàng)測(cè)試涵蓋了當(dāng)下最流行的 AI 工作負(fù)載和場(chǎng)景，用戶可以依據(jù)該基準(zhǔn)了解 AI 平臺(tái)在各類(lèi)工作中的預(yù)期性能。

憑借軟件大放異彩

我們?cè)跍y(cè)試中使用的所有軟件都可以從 MLPerf 軟件庫(kù)中獲得。

我們的推理結(jié)果來(lái)自?xún)蓚€(gè)關(guān)鍵組件——用于優(yōu)化 AI 模型的 NVIDIA TensorRT 和用于高效部署模型的 NVIDIA Triton 推理服務(wù)器。您可以在我們的 GPU 優(yōu)化軟件目錄 NGC 上免費(fèi)獲得它們。

全球各地的企業(yè)機(jī)構(gòu)正在采用 Triton，包括 Amazon 和微軟等云服務(wù)提供商。

我們不斷將優(yōu)化成果加入到 NGC 上的容器中，讓每一位用戶都能使用具有領(lǐng)先性能的 AI 進(jìn)行生產(chǎn)。