RM新时代有限公司

近日，云從科技從容大模型在視覺(jué)領(lǐng)域再次取得重要進(jìn)展，基于視覺(jué)基礎大模型的目標檢測器在檢測領(lǐng)域著(zhù)名benchmark COCO數據集上從微軟研究院（MSR）、上海人工智能實(shí)驗室、智源人工智能研究院等多家知名企業(yè)與研究機構脫穎而出，刷新了世界紀錄。

云從科技從容大模型在COCO測試集上平均精度（以下簡(jiǎn)稱(chēng)mAP，mean Average Precision）達到0.662，位列榜單第一（見(jiàn)下圖）。在驗證集上，單尺度取得mAP 0.656的佳績(jì)，多尺度TTA后mAP達到0.662，均達到世界領(lǐng)先水平。

大數據結合自監督學(xué)習 打造視覺(jué)核心技術(shù)

以GPT為代表的大數據自監督預訓練已經(jīng)在自然語(yǔ)言理解（NLP）領(lǐng)域取得了令人矚目的突破，視覺(jué)領(lǐng)域方面，大數據結合自監督學(xué)習的基礎模型訓練也有重要進(jìn)展。

一方面，廣泛的視覺(jué)數據有助于模型學(xué)習通用的基礎特征。云從視覺(jué)基礎大模型，使用了超過(guò)20億的數據，包括大量無(wú)標簽數據集以及圖文多模態(tài)數據集，數據集的豐富多樣使得模型能夠提取到穩健的特征，大大降低了下游任務(wù)的開(kāi)發(fā)成本。

另一方面，自監督學(xué)習不需要人工標注，使得海量的無(wú)標注數據訓練視覺(jué)模型成為可能。云從對自監督學(xué)習算法進(jìn)行了多方面的改進(jìn)，使其能更適用于檢測、分割等細粒度任務(wù)，在COCO檢測任務(wù)上取得好成績(jì)就是證明。

開(kāi)放目標檢測+零次學(xué)習檢測能力 大幅降低研發(fā)成本

得益于視覺(jué)基礎模型優(yōu)異性能，云從從容大模型能夠基于大規模圖文多模態(tài)數據訓練支持上千類(lèi)別目標的零次學(xué)習（以下簡(jiǎn)稱(chēng)zero-shot）檢測，涵蓋能源、交通、制造等行業(yè)的各類(lèi)目標。

從容大模型zero-shot能力在不同數據集上的表現

zero-shot能夠模仿人類(lèi)的這個(gè)推理過(guò)程，利用過(guò)去的知識，在計算機中推理出新對象的具體形態(tài)，從而使得計算機具有識別新事物的能力。

如何理解zero-shot？假設我們已知驢子和馬的形態(tài)特征，又已知老虎和鬣狗都是有條紋的動(dòng)物，熊貓和企鵝是黑白相間的動(dòng)物，我們定義斑馬是黑白條紋相間的馬科動(dòng)物。不看任何斑馬的照片，僅僅憑借推理，在動(dòng)物園一眾動(dòng)物中，我們也能夠找到斑馬。

云從視覺(jué)基礎大模型表現出很強的泛化性能，大大降低了下游任務(wù)所需的數據依賴(lài)與開(kāi)發(fā)成本，同時(shí)zero-shot大幅提高了訓練開(kāi)發(fā)效率，使得廣泛應用和快速部署成為可能。