阿里英偉達(dá)合作的Physical AI，是怎么回事？

（圖片來源：攝圖網(wǎng)）

作者|苗正 來源|字母榜(ID：wujicaijing)

云棲大會上，阿里宣布AI平臺將把完整的英偉達(dá)Physical AI（物理AI）軟件棧納入其開發(fā)者選項(xiàng)菜單。這個(gè)看似技術(shù)性的宣布，實(shí)際上標(biāo)志著人工智能發(fā)展的一個(gè)重要轉(zhuǎn)折點(diǎn)。英偉達(dá)CEO黃仁勛在2025年CES大會上明確表示：AI下一個(gè)前沿就是物理AI，蘊(yùn)藏著巨大的潛力和機(jī)遇。

根據(jù)市場研究數(shù)據(jù)，全球工業(yè)機(jī)器人市場規(guī)模預(yù)計(jì)從2024年的1544億元增長到2025年的3000億美元，其中AI技術(shù)在工業(yè)機(jī)器人中的應(yīng)用市場更是以21.9%的年復(fù)合增長率快速擴(kuò)張。

然而目前大部分工業(yè)機(jī)器人仍屬于傳統(tǒng)自動化設(shè)備，按照預(yù)設(shè)程序執(zhí)行固定動作。一旦環(huán)境發(fā)生變化——比如零件位置偏移或形狀略有不同——就需要人工重新編程。物理AI機(jī)器人則可以自主適應(yīng)這些變化，通過實(shí)時(shí)感知和決策來完成任務(wù)。

這其中，由傳統(tǒng)工業(yè)機(jī)器人升級到物理AI所帶來的增長，正是阿里和英偉達(dá)合作的根本。不過在此之前，我們需要了解一個(gè)問題，什么是物理AI？

一

如果非要用一句話來概括什么是物理AI，那就是一個(gè)讓人工智能從屏幕里走出來，真正進(jìn)入物理世界的技術(shù)。

舉個(gè)簡單的例子：傳統(tǒng)AI可以識別出一個(gè)杯子，并告訴你這是什么；而物理AI不僅能識別杯子，還能判斷杯子的重量、材質(zhì)，計(jì)算出抓取它需要多大的力度，以及如何避免打翻里面的液體。這種差異決定了兩者的應(yīng)用場景完全不同。

黃仁勛強(qiáng)調(diào)，Physical  AI的核心在于將物理規(guī)律與人工智能技術(shù)相結(jié)合，通過整合真實(shí)物理規(guī)則來優(yōu)化AI生成的內(nèi)容，使其更符合現(xiàn)實(shí)世界的邏輯與規(guī)律。物理AI，顧名思義就是物理+AI，也就是人工智能反饋的內(nèi)容要符合物理規(guī)律。

物理AI這個(gè)概念并非一夜之間出現(xiàn)，而是英偉達(dá)經(jīng)過多年技術(shù)積累和戰(zhàn)略布局的結(jié)果。早在2021年，英偉達(dá)就開始在GTC大會上提及物理AI的概念，但真正將其作為核心戰(zhàn)略推出是在2024年3月的GTC 2024大會上。黃仁勛在那次大會上首次系統(tǒng)性地闡述了物理AI的愿景，并發(fā)布了相關(guān)的技術(shù)平臺和工具鏈。

在黃仁勛看來，AI的發(fā)展經(jīng)歷了三個(gè)清晰的階段：最初是感知AI（Perceptual AI），能夠理解圖像、文字和聲音，這個(gè)階段的代表是計(jì)算機(jī)視覺和語音識別技術(shù)；然后是生成式AI（Generative AI），能夠創(chuàng)造文本、圖像和聲音，以ChatGPT、DALL-E等為代表；現(xiàn)在我們正進(jìn)入Physical AI（物理AI）的時(shí)代，AI不僅能夠理解世界，還能夠像人一樣進(jìn)行推理、計(jì)劃和行動。

物理AI的技術(shù)基礎(chǔ)建立在三個(gè)關(guān)鍵組件之上：世界模型（World Model）、物理仿真引擎（Physics Simulation Engine）和具身智能控制器（Embodied Intelligence Controller）。世界模型是物理AI的認(rèn)知核心，它不同于傳統(tǒng)的語言模型或圖像模型，需要構(gòu)建對三維空間的完整理解，包括物體的幾何形狀、材質(zhì)屬性、運(yùn)動狀態(tài)和相互關(guān)系。技術(shù)上，這通常通過神經(jīng)輻射場（NeRF）、3D高斯濺射（3D Gaussian Splatting）或體素網(wǎng)格（Voxel Grid）等方法來實(shí)現(xiàn)空間表征，模型需要學(xué)習(xí)物理定律的隱式表示，比如重力加速度、摩擦系數(shù)、彈性模量等參數(shù)，并能夠根據(jù)當(dāng)前狀態(tài)預(yù)測未來的物理演化。

物理仿真引擎則負(fù)責(zé)實(shí)時(shí)計(jì)算物理交互，這不是簡單的預(yù)設(shè)規(guī)則，而是基于偏微分方程求解器的動態(tài)計(jì)算系統(tǒng)，需要處理剛體動力學(xué)、流體力學(xué)、軟體變形等復(fù)雜物理現(xiàn)象。在技術(shù)實(shí)現(xiàn)上，通常采用有限元方法（FEM）、粒子系統(tǒng)（Particle System）或基于深度學(xué)習(xí)的可微分物理仿真器，關(guān)鍵在于計(jì)算效率和精度的平衡——系統(tǒng)需要在毫秒級時(shí)間內(nèi)完成復(fù)雜的物理計(jì)算，同時(shí)保證足夠的精度來支持準(zhǔn)確的決策。

具身智能控制器是連接虛擬推理和物理執(zhí)行的橋梁，它接收來自世界模型的預(yù)測結(jié)果和物理仿真的計(jì)算輸出，生成具體的控制指令。技術(shù)上，這通常基于模型預(yù)測控制（MPC）或深度強(qiáng)化學(xué)習(xí)（DRL）算法，控制器需要處理高維的狀態(tài)空間和動作空間，同時(shí)考慮執(zhí)行器的物理限制、延遲和噪聲。

從系統(tǒng)架構(gòu)角度，物理AI采用分層設(shè)計(jì)。感知層集成多模態(tài)傳感器陣列，包括RGB-D攝像頭、激光雷達(dá)、IMU、力/扭矩傳感器等，關(guān)鍵技術(shù)挑戰(zhàn)在于傳感器融合和實(shí)時(shí)處理，系統(tǒng)需要將不同傳感器的數(shù)據(jù)統(tǒng)一到同一個(gè)坐標(biāo)系中，處理時(shí)間同步、標(biāo)定誤差和數(shù)據(jù)噪聲，技術(shù)上通常采用卡爾曼濾波、粒子濾波或基于深度學(xué)習(xí)的傳感器融合網(wǎng)絡(luò)。

認(rèn)知層運(yùn)行世界模型和物理仿真引擎，這一層的計(jì)算密集度極高，需要專門的硬件加速。英偉達(dá)的方案是使用GPU集群進(jìn)行并行計(jì)算，同時(shí)開發(fā)了專門的CUDA內(nèi)核來優(yōu)化物理仿真算法，內(nèi)存管理也是關(guān)鍵技術(shù)點(diǎn)——系統(tǒng)需要在有限的GPU內(nèi)存中維護(hù)大規(guī)模的3D場景表示和物理狀態(tài)。

執(zhí)行層負(fù)責(zé)運(yùn)動規(guī)劃和控制，技術(shù)核心是逆運(yùn)動學(xué)求解和軌跡優(yōu)化。對于多自由度的機(jī)器人系統(tǒng)，需要實(shí)時(shí)求解復(fù)雜的約束優(yōu)化問題，現(xiàn)代方法通常結(jié)合解析解和數(shù)值優(yōu)化，使用雅可比矩陣的偽逆來處理冗余自由度，并采用二次規(guī)劃（QP）或序列二次規(guī)劃（SQP）來處理約束。

在物理AI發(fā)布的同時(shí)，英偉達(dá)還發(fā)布了與之對應(yīng)的完整技術(shù)生態(tài)系統(tǒng)，包括Omniverse仿真平臺、Isaac機(jī)器人開發(fā)套件、Cosmos世界基礎(chǔ)模型等。

這是因?yàn)槲锢鞟I的訓(xùn)練需要大量的物理交互數(shù)據(jù)，但現(xiàn)實(shí)世界的數(shù)據(jù)收集成本極高，解決方案是基于仿真的數(shù)據(jù)生成。于是英偉達(dá)就通過Omniverse和Cosmos平臺，生成大規(guī)模的合成訓(xùn)練數(shù)據(jù)，包括各種物理場景、材質(zhì)屬性和交互模式。不過再仿真環(huán)境中，訓(xùn)練的模型在現(xiàn)實(shí)世界中往往性能下降，這被稱為“現(xiàn)實(shí)差距”，英偉達(dá)現(xiàn)在正在做的，就是用仿真到現(xiàn)實(shí)的遷移（Sim-to-Real Transfer）技術(shù)，去彌補(bǔ)虛擬數(shù)據(jù)和現(xiàn)實(shí)數(shù)據(jù)之間的差距。

物理AI對計(jì)算資源的需求遠(yuǎn)超傳統(tǒng)AI應(yīng)用，單個(gè)物理AI系統(tǒng)可能需要數(shù)百個(gè)GPU核心來實(shí)時(shí)運(yùn)行。英偉達(dá)專門開發(fā)了RTX PRO服務(wù)器和DGX Cloud平臺來支持這種計(jì)算需求，系統(tǒng)架構(gòu)采用分布式計(jì)算，將不同的計(jì)算任務(wù)分配到專門優(yōu)化的硬件上。這種技術(shù)架構(gòu)使得物理AI能夠在復(fù)雜的現(xiàn)實(shí)環(huán)境中實(shí)現(xiàn)實(shí)時(shí)的感知、推理和行動，真正實(shí)現(xiàn)了AI從虛擬世界向物理世界的跨越。

還有一點(diǎn)，與傳統(tǒng)AI系統(tǒng)主要處理文本、圖像等數(shù)字信息不同，物理AI通過大模型驅(qū)動，使機(jī)器不僅能夠處理數(shù)據(jù)，還能理解三維世界的空間關(guān)系和物理規(guī)律。這種技術(shù)讓AI系統(tǒng)具備了類似生物的空間感知能力，能夠在現(xiàn)實(shí)環(huán)境中進(jìn)行復(fù)雜的物理操作。

舉個(gè)具體例子來說明這種差異：如果AI生成一段機(jī)器人抓取物體的視頻，傳統(tǒng)的生成式AI可能會創(chuàng)造出物體懸浮在空中、機(jī)械臂穿過固體障礙物、或者違反重力定律的畫面，因?yàn)樗皇腔谟?xùn)練數(shù)據(jù)進(jìn)行像素級的模仿。而物理AI則會確保生成的內(nèi)容完全符合物理世界的運(yùn)作方式——物體會受重力影響下落，機(jī)械臂必須繞過障礙物，抓取力度要與物體重量相匹配。

這種技術(shù)革新的深層意義在于，它讓AI從純粹的信息處理工具，轉(zhuǎn)變?yōu)槟軌蛘嬲斫夂筒僮魑锢硎澜绲闹悄芟到y(tǒng)。傳統(tǒng)的AI就像一個(gè)只會看書但從未實(shí)踐的學(xué)者，擁有豐富的理論知識卻缺乏實(shí)際操作經(jīng)驗(yàn)；而物理AI則像一個(gè)既有理論知識又有實(shí)踐經(jīng)驗(yàn)的工程師，不僅知道是什么和為什么，更重要的是知道怎么做，能夠?qū)⒊橄蟮闹R轉(zhuǎn)化為具體的行動。

二

黃仁勛對物理AI的前景極其樂觀。他曾在CES上表示，Physical AI將催生超50萬億美元規(guī)模的行業(yè)變革，涉及1000萬家工廠、20萬個(gè)倉庫、未來數(shù)十億計(jì)臺人形機(jī)器人和15億輛汽車及卡車。這個(gè)數(shù)字聽起來令人震撼，但背后有著堅(jiān)實(shí)的邏輯支撐。

世界上有10億知識工作者，AI智能體可能是下一個(gè)機(jī)器人行業(yè)，很可能是一個(gè)價(jià)值數(shù)萬億美元的機(jī)會。黃仁勛在CES 2025上表示。他認(rèn)為，物理AI意味著AI不再局限于虛擬世界，而是開始走向現(xiàn)實(shí)世界，并將在機(jī)器人、物流、汽車、制造等千行百業(yè)成為主流應(yīng)用。

在黃仁勛的規(guī)劃中，未來將有兩款高產(chǎn)量的機(jī)器人產(chǎn)品：第一個(gè)是自動駕駛汽車，第二個(gè)很可能就是人形機(jī)器人。這兩種機(jī)器都需要具有人類般的感知能力，能夠應(yīng)對快速變化的環(huán)境，并在幾乎沒有容錯(cuò)的情況下做出即時(shí)反應(yīng)。他對人形機(jī)器人的潛力感到特別興奮，因?yàn)樗鼈冏钣锌赡苓m應(yīng)為人類設(shè)計(jì)的環(huán)境。

黃仁勛還預(yù)言，機(jī)器人時(shí)代已經(jīng)到來，未來所有移動的物體都將實(shí)現(xiàn)自主運(yùn)行。這個(gè)預(yù)言的背后，是對物理AI技術(shù)成熟度和應(yīng)用潛力的深度判斷。從技術(shù)發(fā)展的角度看，隨著計(jì)算能力的提升、傳感器成本的降低、算法的優(yōu)化，物理AI正在從實(shí)驗(yàn)室概念走向商業(yè)應(yīng)用的臨界點(diǎn)。

英偉達(dá)在物理AI領(lǐng)域的布局可以追溯到多年前對機(jī)器人技術(shù)的投入。該公司提出的物理AI概念，核心在于將物理規(guī)律與人工智能技術(shù)相結(jié)合，通過整合真實(shí)物理規(guī)則來優(yōu)化AI生成的內(nèi)容，使其更符合現(xiàn)實(shí)世界的邏輯與規(guī)律。

但是英偉達(dá)不敢步子邁得太大，與傳統(tǒng)AI應(yīng)用不同，物理AI系統(tǒng)直接與物理世界交互，其錯(cuò)誤可能導(dǎo)致嚴(yán)重的安全后果。這要求物理AI系統(tǒng)具備更高的可靠性和安全性標(biāo)準(zhǔn)。

英偉達(dá)目前的方案是Halos安全系統(tǒng)。這是一個(gè)全棧安全系統(tǒng)，它可以統(tǒng)一硬件架構(gòu)、AI模型、軟件工具和安全標(biāo)準(zhǔn)，確保物理AI系統(tǒng)在各種環(huán)境下的穩(wěn)定運(yùn)行。從數(shù)據(jù)收集、模型訓(xùn)練到部署應(yīng)用，每個(gè)環(huán)節(jié)都需要嚴(yán)格的安全驗(yàn)證。

視角來到阿里這邊，他們選擇將英偉達(dá)物理AI軟件棧納入開發(fā)者選項(xiàng)，背后有著深層的戰(zhàn)略考量。當(dāng)前的AI大模型應(yīng)用主要集中在線上場景，而物理AI試圖將整個(gè)現(xiàn)實(shí)世界融入AI當(dāng)中。這種從虛擬到現(xiàn)實(shí)的跨越，正是阿里云在AI時(shí)代需要搶占的制高點(diǎn)。

阿里云智能集團(tuán)董事長兼CEO吳泳銘在云棲大會上表示：生成式AI最大的想象力，絕不是在手機(jī)屏幕上做一兩個(gè)新的超級app，而是接管數(shù)字世界，改變物理世界。這一表態(tài)清晰地表明了阿里對物理AI重要性的認(rèn)識。

阿里云CTO周靖人說過這么一句話，通義千問已開源300+模型，累計(jì)下載量超過了6億。

然而，面對物理AI的發(fā)展趨勢，通義大模型也面臨著從二維理解向三維交互轉(zhuǎn)型的挑戰(zhàn)。傳統(tǒng)的大語言模型擅長處理文本和圖像，但在理解物理世界的空間關(guān)系、物理規(guī)律方面存在天然的局限性。這正是阿里需要引入物理AI技術(shù)棧的根本原因。

但，這正好也是阿里的瓶頸。阿里的數(shù)據(jù)更多來自于互聯(lián)網(wǎng)，而非線下。這就迫使他們需要找到一個(gè)全新的途徑，以幫助通義來完成虛擬到物理的轉(zhuǎn)變。

李飛飛曾經(jīng)也說過類似的觀點(diǎn)，她認(rèn)為對于AI而言，如果無法建立三維世界模型，就無法真正理解、操作或重建現(xiàn)實(shí)世界。

通過集成英偉達(dá)的物理AI軟件棧，阿里可以為通義大模型增加空間理解和物理交互能力。這種集成不僅僅是技術(shù)層面的疊加，更是從語言智能向空間智能的戰(zhàn)略轉(zhuǎn)型。開發(fā)者可以利用阿里云的基礎(chǔ)設(shè)施和通義大模型的語言能力，結(jié)合英偉達(dá)的物理仿真和機(jī)器人控制技術(shù)，構(gòu)建真正能夠在物理世界中工作的AI系統(tǒng)。

不過與之相對的，物理AI的發(fā)展不是孤立的，它需要與現(xiàn)有的AI技術(shù)生態(tài)深度融合。大語言模型提供了強(qiáng)大的語言理解和推理能力，計(jì)算機(jī)視覺技術(shù)提供了環(huán)境感知能力，機(jī)器人技術(shù)提供了物理執(zhí)行能力。物理AI正是這些技術(shù)融合的產(chǎn)物。

在這個(gè)融合過程中，數(shù)據(jù)流動和處理架構(gòu)至關(guān)重要。物理AI系統(tǒng)需要實(shí)時(shí)處理來自多個(gè)傳感器的海量數(shù)據(jù)，進(jìn)行快速決策，并控制執(zhí)行器完成動作。這對計(jì)算架構(gòu)和算法優(yōu)化提出了極高要求。

云邊協(xié)同是物理AI部署的重要模式。復(fù)雜的AI推理可以在云端進(jìn)行，而實(shí)時(shí)的控制決策則在邊緣設(shè)備上執(zhí)行。這種架構(gòu)既能利用云端的強(qiáng)大計(jì)算能力，又能滿足實(shí)時(shí)性要求。

所以阿里也相當(dāng)于給P物理AI提供了發(fā)展的養(yǎng)料。

三

如果說第一代感知AI讓機(jī)器學(xué)會了看和聽，第二代生成式AI讓機(jī)器學(xué)會了創(chuàng)造，那么物理AI則讓機(jī)器真正學(xué)會了行動。

然而，物理AI的發(fā)展也面臨著諸多挑戰(zhàn)。首先是技術(shù)上的挑戰(zhàn)，如何讓AI系統(tǒng)在復(fù)雜的物理環(huán)境中穩(wěn)定運(yùn)行，如何降低巨大的計(jì)算成本以實(shí)現(xiàn)技術(shù)的普及化應(yīng)用，這些都是當(dāng)前亟待解決的問題。此外，仿真訓(xùn)練與現(xiàn)實(shí)應(yīng)用之間的“現(xiàn)實(shí)差距”也是一大難題。盡管仿真可以提供大量數(shù)據(jù)，但如何確保這些數(shù)據(jù)在現(xiàn)實(shí)世界中的適用性是個(gè)關(guān)鍵問題。

物理AI或許不會像某些預(yù)測那樣迅速顛覆所有行業(yè)，但它必將逐步改變我們的工作和生活方式。它不僅是技術(shù)的革新，更是對傳統(tǒng)行業(yè)的顛覆和重塑。隨著技術(shù)的不斷發(fā)展和應(yīng)用場景的拓展，物理AI將成為推動全球經(jīng)濟(jì)增長和社會進(jìn)步的重要力量。

編者按：本文轉(zhuǎn)載自微信公眾號：字母榜(ID：wujicaijing)，作者：苗正