NVIDIA 的數(shù)據(jù)工廠團(tuán)隊(duì)為NVIDIACosmos Reason 等 AI 模型奠定了基礎(chǔ)，該模型近日在 Hugging Face 的物理推理模型排行榜中位列榜首。

AI 模型正以驚人的速度與規(guī)模不斷發(fā)展。

但它們?nèi)鄙倭巳祟惻c生俱來(lái)的哪種能力呢？答案是“常識(shí)”。常識(shí)是一種通過(guò)現(xiàn)實(shí)生活經(jīng)驗(yàn)形成的認(rèn)知：比如鳥類無(wú)法倒著飛、鏡子能夠反射、冰會(huì)融化成水。

對(duì)人類而言，這些常識(shí)顯而易見。但對(duì)于需要精準(zhǔn)回答復(fù)雜問題、在工業(yè)倉(cāng)庫(kù)或道路等不可預(yù)測(cè)的物理環(huán)境中運(yùn)行的 AI 模型來(lái)說(shuō)，這些知識(shí)必須通過(guò)“教學(xué)”才能掌握。

為解決這一難題，NVIDIA 正在開發(fā)一套測(cè)試方案，旨在教會(huì) AI 模型認(rèn)知物理世界的運(yùn)行邊界。簡(jiǎn)言之，就是教會(huì) AI 常識(shí)。

這些測(cè)試被用于開發(fā)推理模型，比如NVIDIA Cosmos Reason。這是一款用于物理 AI 應(yīng)用的開源視覺語(yǔ)言推理模型（VLM），能夠生成具有時(shí)間關(guān)聯(lián)性的響應(yīng)。目前，Cosmos Reason 已在 Hugging Face 的物理推理模型排行榜中位居第一。

相較于傳統(tǒng)視覺語(yǔ)言模型，NVIDIACosmos Reason 的獨(dú)特價(jià)值在于：它專為加速機(jī)器人、自動(dòng)駕駛汽車及智能空間等物理 AI 的開發(fā)而設(shè)計(jì)，能夠基于物理常識(shí)知識(shí)，對(duì)之前沒有經(jīng)歷過(guò)的場(chǎng)景進(jìn)行推理。

要讓 AI 模型真正理解工業(yè)空間、實(shí)驗(yàn)室等復(fù)雜環(huán)境，需從基礎(chǔ)認(rèn)知開始構(gòu)建。例如，在下方展示的測(cè)試中，NVIDIACosmos Reason 需要回答關(guān)于視頻中和相對(duì)運(yùn)動(dòng)有關(guān)的選擇題。

NVIDIACosmos Reason 評(píng)估數(shù)據(jù)集的示例

什么是 AI 模型的推理能力？

為提升模型的推理能力，NVIDIA 采用?強(qiáng)化學(xué)習(xí)?的方式，讓模型學(xué)習(xí)關(guān)于現(xiàn)實(shí)世界的物理常識(shí)。

舉例說(shuō)明，機(jī)器人無(wú)法憑直覺分辨左、右、上、下，它們需要通過(guò)訓(xùn)練才能理解這些時(shí)空概念；用于安全測(cè)試，比如汽車碰撞測(cè)試的 AI 驅(qū)動(dòng)機(jī)器人，也必須經(jīng)過(guò)訓(xùn)練才能理解自身物理形態(tài)如何與周圍環(huán)境互動(dòng)。

如果在訓(xùn)練過(guò)程中沒有教會(huì)機(jī)器人常識(shí)，在實(shí)際部署時(shí)就可能出現(xiàn)問題。

NVIDIA Cosmos Reason 研究科學(xué)家 Yin Cui 表示：“如果缺乏對(duì)物理世界的基礎(chǔ)認(rèn)知，機(jī)器人可能跌倒，或者導(dǎo)致意外損毀物品，進(jìn)而對(duì)人員及環(huán)境的安全構(gòu)成威脅?！?/p>

NVIDIA 正通過(guò)將人類對(duì)物理世界的常識(shí)“注入”AI 模型，推動(dòng)下一代 AI 的發(fā)展。

NVIDIA 數(shù)據(jù)工廠團(tuán)隊(duì)由來(lái)自生物工程、商業(yè)和語(yǔ)言學(xué)等多元背景的全球分析師構(gòu)成，他們致力于開發(fā)、分析并整合數(shù)十萬(wàn)條數(shù)據(jù)單元，為生成式 AI 的推理訓(xùn)練提供核心數(shù)據(jù)支撐。

數(shù)據(jù)整理流程

NVIDIA 數(shù)據(jù)工廠團(tuán)隊(duì)的核心項(xiàng)目之一，是開發(fā)面向物理 AI 應(yīng)用的世界基礎(chǔ)模型。這些虛擬環(huán)境能構(gòu)建深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，基于仿真場(chǎng)景為推理模型訓(xùn)練提供更安全、更高效的支持。

NVIDIA 數(shù)據(jù)標(biāo)注團(tuán)隊(duì)率先啟動(dòng)流程，他們基于真實(shí)世界視頻數(shù)據(jù)設(shè)計(jì)問答對(duì)。視頻內(nèi)容涵蓋各類場(chǎng)景，從雞在雞舍中活動(dòng)，到汽車在鄉(xiāng)間道路行駛。

例如，某個(gè)標(biāo)注員可能會(huì)針對(duì)下面的視頻提出問題：“畫面中的人是用哪只手切意大利面？”

NVIDIACosmos Reason 評(píng)估數(shù)據(jù)集的示例

隨后，標(biāo)注員會(huì)給出 A、B、C、D 四個(gè)選項(xiàng)。模型獲取這些數(shù)據(jù)后，進(jìn)行推理并選擇正確答案。

Yin Cui 表示：“我們本質(zhì)上是在給模型設(shè)計(jì)測(cè)試題。所有問題都采用選擇題形式，就像學(xué)生在學(xué)?？荚囍杏龅降念}目一樣?！?/p>

這些問答對(duì)隨后由 Michelle Li 等 NVIDIA 的分析師進(jìn)行質(zhì)量檢查。

Li 擁有公共衛(wèi)生和數(shù)據(jù)分析學(xué)背景，這讓她能夠從更宏觀的角度看待所分析的數(shù)據(jù)。

她說(shuō)：“對(duì)于物理 AI ，我們的特定目標(biāo)是訓(xùn)練模型理解物理世界，這一目標(biāo)讓我在審核問答對(duì)和問題類型時(shí)，始終保持全局視角。我會(huì)問自己，這些問答對(duì)是否符合項(xiàng)目的目標(biāo)和準(zhǔn)則要求？”

之后，數(shù)據(jù)會(huì)由項(xiàng)目的數(shù)據(jù)工廠負(fù)責(zé)人審核，確保其符合質(zhì)量標(biāo)準(zhǔn)并可交付至NVIDIACosmos Reason 研究團(tuán)隊(duì)?？茖W(xué)家們隨后將數(shù)十萬(wàn)條數(shù)據(jù)單元（即問答對(duì)）輸入模型，通過(guò)強(qiáng)化學(xué)習(xí)訓(xùn)練其理解物理世界的邊界和限制。

推理型 AI 有哪些應(yīng)用場(chǎng)景？

推理模型的優(yōu)勢(shì)在于，它們既能理解自身所處的時(shí)空環(huán)境，也能預(yù)測(cè)結(jié)果。這類模型可分析情境，生成可能結(jié)果的邏輯思維網(wǎng)絡(luò)，并推斷出最可能的場(chǎng)景。

簡(jiǎn)而言之，推理式 AI 展現(xiàn)了類似人類的思維。它會(huì)展示思考過(guò)程，讓用戶能夠理解其響應(yīng)背后的邏輯。

用戶可要求模型分析視頻內(nèi)容，如兩輛車在路上行駛的場(chǎng)景。當(dāng)被問到“如果這兩輛車在同一車道上相向而行會(huì)發(fā)生什么？”時(shí)，模型能夠推理并判定該假設(shè)情景的最可能結(jié)果，比如兩車相撞。

NVIDIA Cosmos Reason 團(tuán)隊(duì)首席研究科學(xué)家 Tsung-Yi Lin 表示：“我們正在開發(fā)一種以物理 AI 為核心的突破性推理模型?！?/p>

隨著 NVIDIA 持續(xù)推進(jìn)推理模型創(chuàng)新，數(shù)據(jù)工廠團(tuán)隊(duì)的高質(zhì)量數(shù)據(jù)生產(chǎn)能力，將對(duì)開發(fā)能安全與現(xiàn)實(shí)世界交互的自主的智能體以及物理 AI 系統(tǒng)起到關(guān)鍵作用。

您可以在 Hugging Face 和 GitHub 預(yù)覽或下載 NVIDIA Cosmos-Reason1 模型。