第十七屆 SIGGRAPH Asia 大會在東京圓滿落幕，這場為期四天的盛會以“好奇之心”為主題，吸引了眾多學(xué)者和專家前來參與。注冊人數(shù)和論文投稿數(shù)均刷新了歷史記錄，充分展現(xiàn)了學(xué)術(shù)界對這一領(lǐng)域的熱情。

在大會的舞臺上，華人學(xué)者再次成為耀眼的焦點(diǎn)。無論是哪一場演講或哪一篇論文，幾乎都能看到華人學(xué)者的身影。他們的研究成果和創(chuàng)新思維，為大會注入了源源不斷的活力。

在計(jì)算機(jī)視覺學(xué)界，研究者們主要分為新興派和傳統(tǒng)派。新興派聚焦于具身智能和3D生成等前沿領(lǐng)域，而傳統(tǒng)派則繼續(xù)深耕幾何建模和幾何處理的細(xì)節(jié)問題。盡管新興派的論文成果如雨后春筍般涌現(xiàn)，但傳統(tǒng)派的研究依然占據(jù)著一席之地。

除了學(xué)術(shù)論文的激烈討論，今年的展位同樣熱鬧非凡。與往年相比，動作捕捉的展示項(xiàng)目占據(jù)了主導(dǎo)地位。同時(shí)，以VAST、影眸、元象為代表的3D AIGC大陸廠商也積極參與了展出，展示了他們在這一領(lǐng)域的最新成果。

從產(chǎn)業(yè)化的角度來看，3D的應(yīng)用面目前還無法與多模態(tài)大模型相媲美。然而，深圳大學(xué)計(jì)算機(jī)與軟件學(xué)院教授胡瑞珍對這一領(lǐng)域的發(fā)展前景十分看好。她認(rèn)為，數(shù)字媒體的形式一直在不斷迭代更新，從最初的音頻到二維圖像視頻，未來很可能會發(fā)展到三維形式，如體積視頻、元宇宙等。這些新興領(lǐng)域都強(qiáng)調(diào)3D內(nèi)容和三維感知。

現(xiàn)階段，3D領(lǐng)域還是一條相對不那么擁擠的賽道，這為學(xué)術(shù)研究和創(chuàng)業(yè)提供了廣闊的發(fā)展空間。在大會現(xiàn)場，多位從業(yè)者表示，3D生成方向的技術(shù)成果正在快速更新，但關(guān)于端到端和多步迭代路徑的選擇，業(yè)內(nèi)還存在一定的分歧。

技術(shù)尚未完全成熟，因此3D AIGC的應(yīng)用落地還處于早期階段。用戶對三維的認(rèn)知和需求都有待提升。目前，3D在游戲、美術(shù)設(shè)計(jì)和電商等貼近日常生活的領(lǐng)域應(yīng)用較多，而工業(yè)界的落地已經(jīng)相對成熟。在Animation技術(shù)方面，還需要取得更多突破，特別是在骨骼方面缺乏具有規(guī)模性的模型。

在幾何和紋理方向，近年來持續(xù)涌現(xiàn)出前沿技術(shù)。海外如meta的3D Gen、Adobe的LRM、Google的DreamFusion等，國內(nèi)則有CLAY、TEXGen等代表性技術(shù)。影眸科技在SIGGRAPH上被提名榮譽(yù)獎(jiǎng)的3D原生Diffusion Transformer生成式大模型CLAY，解決了2D升維法的問題，實(shí)現(xiàn)了直接從3D數(shù)據(jù)集訓(xùn)練模型的突破。

CLAY的進(jìn)階版本Rodin Gen-1也在今年6月正式上線，并在大會上展出。VAST采用基于rectified flow的大規(guī)模形狀生成模型，能夠在采樣步數(shù)更少的情況下實(shí)現(xiàn)更高精度，同時(shí)訓(xùn)練更穩(wěn)定。在紋理生成方面，此前主流的操作方式存在各種局限，如依賴圖像模型而不具有整體三維感知能力等。

此次，VAST和港大、清華團(tuán)隊(duì)獲得最佳論文提名獎(jiǎng)的論文《TEXGen: a Generative Diffusion Model for Mesh Textures》提出了新的解決方案。論文第一作者余鑫表示，他們做的模型不需要依賴2D升3D的方式，直接訓(xùn)練一個(gè)原生的diffusion model輸出3D紋理內(nèi)容。這種原生的3D模型能一次性生成整個(gè)物體的紋理。

余鑫認(rèn)為，紋理比幾何更復(fù)雜、變化更大，且神經(jīng)網(wǎng)絡(luò)難以處理紋理數(shù)據(jù)。因此，這一賽道當(dāng)前還鮮有人切入。他之前也嘗試過利用2D升維的3D生成工作，但認(rèn)為長期來講，還是要走通過3D數(shù)據(jù)訓(xùn)練的feed-forward路線。

在數(shù)據(jù)方面，多位業(yè)者強(qiáng)調(diào)數(shù)據(jù)對于3D生成平臺的重要性。VAST首席科學(xué)家曹炎培表示，他們目前擁有2000萬高質(zhì)量3D訓(xùn)練數(shù)據(jù)，而訓(xùn)練開源模型或沒有私有數(shù)據(jù)的團(tuán)隊(duì)可能只能用到幾十萬數(shù)據(jù)。這種數(shù)據(jù)量的差異會導(dǎo)致最終3D AI生成模型在精度、泛化性、多樣性和可控性等方面的差異。

影眸科技CTO張啟煊同樣強(qiáng)調(diào)了數(shù)據(jù)質(zhì)量的重要性。他認(rèn)為，對于3D生成來說，數(shù)據(jù)的絕對數(shù)量并不重要，質(zhì)量才是關(guān)鍵。高質(zhì)量數(shù)據(jù)需要足夠細(xì)節(jié)、平整，達(dá)到production ready的質(zhì)量，才能用于實(shí)際生產(chǎn)中。

除了數(shù)據(jù)，3D Tokenizer也是當(dāng)前技術(shù)上具有挑戰(zhàn)性的部分。文字Tokenizer已經(jīng)發(fā)展到比較成熟的階段，圖像、視頻方面也有了Sora等先例，但3D的研究成果還在持續(xù)更新中。應(yīng)用場景方面，3D生成領(lǐng)域目前還不夠明晰。業(yè)內(nèi)認(rèn)為，如果僅服務(wù)于游戲、美術(shù)等方面，市場盤子不夠大。多家廠商目前主要集中于游戲、設(shè)計(jì)、3D打印、電商等落地場景。

VAST面向的場景之一是幫助游戲、動畫行業(yè)降本增效，降低內(nèi)容制作成本和時(shí)間。另一個(gè)場景是泛定制化、泛工業(yè)的3D打印。未來最關(guān)注的場景則是需要實(shí)時(shí)低成本3D內(nèi)容創(chuàng)作的UGC場景。曹炎培表示，從邏輯和技術(shù)發(fā)展趨勢上來講，3D內(nèi)容平臺是未來一定會出現(xiàn)的應(yīng)用方向。

影眸科技切入的賽道與VAST有所不同，他們所做的工具更為專業(yè)。在今年SIGGRAPH的Real-time Live環(huán)節(jié)中，影眸團(tuán)隊(duì)展示了其特有的3D ControlNet功能。張啟煊表示，他們希望讓藝術(shù)家能夠自己掌控生成的環(huán)節(jié)，而不是讓AI像老虎機(jī)一樣隨機(jī)生成。

電商也是3D生成當(dāng)前的一塊落地場景。影眸目前主要為家具、工藝品商家提供3D模型。不過，服裝類暫時(shí)不被各家納入應(yīng)用范疇。此前，虛擬試衣一直分為3D和2D兩派。張啟煊表示，現(xiàn)在大家想做虛擬試衣，基本上會跳過3D步驟，直接進(jìn)行視頻生成。

在工業(yè)界范圍內(nèi)，3D的落地已經(jīng)相當(dāng)廣泛。胡瑞珍表示，類似智能智慧工廠、港口的智慧調(diào)度等場景都需要三維內(nèi)容。這部分的發(fā)展遠(yuǎn)比人們想象的要成熟，只是距離日常生活稍微有點(diǎn)遠(yuǎn)，許多人不太了解。

動態(tài)3D模型方面，元象選擇了3D市場中的其他切入方向。大空間VR是他們此次展出的重點(diǎn)產(chǎn)品。元象引擎和AIGC算法負(fù)責(zé)人黃浩智表示，他們主要以超采樣配合性能優(yōu)化帶來高清晰度畫面，品質(zhì)清晰度、不眩暈以及幀率穩(wěn)定是他們大空間VR的優(yōu)勢。

元象還展示了一款骨骼動畫的插件，通過文本生成骨骼動畫的動作。不過，在Animation Rigging方向上，還比較缺少用數(shù)據(jù)訓(xùn)練得非常充分、非常具有規(guī)模的模型來服務(wù)動態(tài)3D。MotionGen在動作自然度、文本匹配度等方面還有待提升。