RM新时代有限公司

游戲《光環(huán)》中的

人工智能科塔娜說(shuō)過(guò)一句話(huà)，

“我是他的盾牌，我是他的利刃；我深知他，連同他的過(guò)去和未來(lái)”。

作為“六感”之首的視覺(jué)，占據了人類(lèi)吸收外部信息的70%以上。如果說(shuō)人工智能的遠景是打造一個(gè)具有大腦、神經(jīng)、軀干與四肢的機器人，那么，硬件基礎是軀干、四肢，更重要的是，要使得機器人能看會(huì )想，能聽(tīng)會(huì )說(shuō)，就要搭建神經(jīng)和大腦。

訓練視覺(jué)模型的目標是教會(huì )AI看見(jiàn)和理解現實(shí)世界，其中，點(diǎn)云視頻理解對于智能體與世界的交互至關(guān)重要。

近日，國際計算機視覺(jué)頂會(huì )CVPR 2023在加拿大溫哥華舉行。作為國際計算機視覺(jué)與模式識別領(lǐng)域的三大頂級會(huì )議之一，CVPR備受關(guān)注。云從科技及聯(lián)合研究團隊的論文《PointCMP: Contrastive Mask Prediction for Self-supervised Learning on Point Cloud Videos》（基于掩碼預測的點(diǎn)云視頻自監督學(xué)習）成功入選。

01

簡(jiǎn)介

從靜態(tài)點(diǎn)云中解析現實(shí)世界已經(jīng)取得了巨大的成就。最近，對點(diǎn)云視頻的理解也越來(lái)越受關(guān)注。與此同時(shí)，自監督學(xué)習可以從未標注的數據中提取高質(zhì)量的表征，這將為標注成本高昂的點(diǎn)云視頻理解任務(wù)帶來(lái)幫助。
因此，我們探索了以自監督的方式從點(diǎn)云視頻中學(xué)習表征的方法。盡管基于對比學(xué)習和掩碼預測的自監督學(xué)習范式已經(jīng)在圖像和靜態(tài)點(diǎn)云領(lǐng)域顯示出了強大的有效性，但是將這些方法直接擴展到點(diǎn)云視頻上仍存在諸多挑戰。

在本文中，我們提出了PointCMP，一種用于點(diǎn)云視頻自監督學(xué)習的對比掩碼預測框架。PointCMP采用雙分支結構，同步學(xué)習點(diǎn)云視頻的局部和全局時(shí)空信息。在此之上，我們提出了一個(gè)基于互相似度的增強模塊，以實(shí)現基于特征的樣本生成。
通過(guò)計算各局部表征與該樣本全局語(yǔ)義之間的相似度，我們可以找到那些與語(yǔ)義高度相關(guān)的關(guān)鍵部分。將這些關(guān)鍵部分掩蔽可以提升自監督預測任務(wù)的挑戰性，以促使模型學(xué)習更有效的表征。與此同時(shí)，我們也嘗試擦除關(guān)鍵的特征通道，從而針對性的生成難負例用于全局對比學(xué)習。

02

方法

我們的PointCMP架構如圖1所示。給定一個(gè)點(diǎn)云視頻，首先將其均勻地分成多個(gè)視頻片段。然后，將這些片段送入編碼器得到局部Token以及具有全局語(yǔ)義的全局Token。接下來(lái)，將它們傳遞給基于互相似度的增強模塊。

圖1 PointCMP的架構示意圖

從直覺(jué)上來(lái)說(shuō)，當與全局Token具有較高相似度的局部Token可見(jiàn)時(shí)，預測任務(wù)會(huì )變得更容易。因此，我們掩蔽掉這些具有高相似度的局部Token以生成有難度的掩碼樣本。我們選擇相似度高的Token作為關(guān)鍵Token。各局部Token所覆蓋的點(diǎn)云通常有重疊，而視頻片段之間有一定的信息隔離。
因此，我們選擇包含最多個(gè)關(guān)鍵Token的視頻片段，并將此片段下聚合而成的所有局部Token都掩蔽掉。此外，我們將具有高相關(guān)度的特征通道視為主通道，并將它們擦除以生成難負樣本。直觀(guān)上來(lái)說(shuō)，擦除掉這些重要的主成分特征后勢必會(huì )與原始樣本形成一個(gè)負樣本對。

我們將帶有掩碼的Token序列與位置編碼相加后輸給一個(gè)回歸器，來(lái)預測被掩碼處的表征。被預測的表征與編碼器得到的相對應的原始表征組成正樣本對，而與其余的組成負樣本對。我們使用InfoNCE損失來(lái)完成此局部對比學(xué)習分支。

與此同時(shí)，我們還為樣本的全局表征構建了全局對比學(xué)習分支。由回歸器重新補全的Token序列經(jīng)過(guò)池化層得到新的全局表征，并與原始全局表征構成正樣本對。
擦除主特征通道后的Token序列經(jīng)過(guò)池化層得到全局難負例。并且，同一批次內的其他視頻的全局表征也作為當前樣本的負樣本。我們同樣使用InfoNCE損失來(lái)完成此全局對比學(xué)習分支。

03

實(shí)驗

首先，我們對預訓練后的編碼器進(jìn)行微調，來(lái)評估PointCMP學(xué)習到的表征。我們將MSRAction-3D數據集同時(shí)用于預訓練和端到端微調。當使用PSTNet作為編碼器時(shí)，相對于基線(xiàn)，PointCMP預訓練帶來(lái)了顯著(zhù)的精度改進(jìn)。

表1 MSRAction-3D數據集上的驗證結果

如表1所示，在使用8 幀時(shí)，行為識別的精度從83.50%提高到89.56%。這表明，PointCMP預訓練可以以自監督的方式從點(diǎn)云視頻中學(xué)習到有益的知識，這有助于在微調后獲得更高的精度。

然后，我們通過(guò)線(xiàn)性實(shí)驗來(lái)驗證PointCMP預訓練所學(xué)到的表征的有效性。同樣的，MSRAction-3D數據集被用于預訓練和線(xiàn)性測試。預訓練的編碼器被凍結，并添加一個(gè)額外的線(xiàn)性分類(lèi)器用于監督訓練。我們的方法在大多數幀數設置下都超過(guò)了基線(xiàn)。這證明了PointCMP預訓練讓模型學(xué)習到了高質(zhì)量的表征。

表2 NTU-RGBD (Cross-Subject) 數據集上的驗證結果

此外，我們還在NTU-RGBD數據集上做了半監督實(shí)驗，即在自監督預訓練后用一部分有標注的數據微調模型。從表2的結果來(lái)看，當我們使用PSTNet作為編碼器時(shí)，只用50%的標注數據微調模型就可以接近全監督的基線(xiàn)精度。這表明PointCMP預訓練可以在無(wú)標注數據中挖掘數據自身所蘊含的知識，這不僅可以節約人力成本還可以將預訓練模型作為初始化從而進(jìn)一步提升模型的性能。

圖2 高相似度局部Token及其鄰域點(diǎn)（綠色）的可視化結果

我們在圖2中進(jìn)一步可視化了與全局Token具有高度相似性的關(guān)鍵局部Token及其鄰域點(diǎn)。正如我們所看到的，與運動(dòng)的關(guān)鍵身體部位相對應的點(diǎn)被突出顯示。這與我們的直覺(jué)是一致的。通過(guò)掩蔽這些關(guān)鍵區域，鼓勵編碼器利用更多上下文進(jìn)行掩碼預測，以此學(xué)習更高質(zhì)量的表征。

總結展望

自監督學(xué)習的優(yōu)勢主要是利用輔助任務(wù)從無(wú)標注數據中挖掘自身的監督信息。相比于利用特定任務(wù)的標注作為監督信息訓練，這不僅可以節省標注成本，還可以使模型學(xué)習到更泛化的知識和對多種下游任務(wù)有價(jià)值的表征。在數據為王的時(shí)代，此特點(diǎn)也使得大家充分相信自監督學(xué)習才是人工智能的發(fā)展方向。

另一方面，點(diǎn)云視頻含有豐富的動(dòng)態(tài)視覺(jué)信息，可以幫助智能體充分了解這個(gè)實(shí)時(shí)變化的3D世界。且相比于傳統視頻以紋理信息為主，點(diǎn)云視頻涵蓋更精確的幾何信息和位置坐標。
所以，點(diǎn)云視頻可以為低能見(jiàn)度環(huán)境中的動(dòng)作識別等任務(wù)提供保障。由此可見(jiàn)，點(diǎn)云視頻理解對于人工智能系統與世界交互非常重要。在海量數據之上，借助自監督技術(shù)推動(dòng)點(diǎn)云視頻理解，也許會(huì )幫助我們打造一個(gè)能想會(huì )說(shuō)、能聽(tīng)會(huì )看的AI。