您現在的位置是:首頁 > 寵物首頁寵物
未知物體也能輕鬆識別分割,效果可遷移 | DeepMind研究
聚類分析表示什麼
Pine 發自 凹非寺
量子位 | 公眾號 QbitAI
從來沒有見過的新物體,它也能進行很好地分割。
這是DeepMind研究出的一種新的學習框架:目標發現和表示網路(Object discovery and representation networks,簡稱Odin)
以往的自我監督學習(SSL)方法能夠很好地描述整個大的場景,但是很難區分出單個的物體。
現在,Odin方法做到了,並且是在沒有任何監督的情況下做到的。
區分出影象中的單個物體可不是很容易的事,它是怎麼做到的呢?
方法原理
能夠很好地區分出影象中的各個物體,主要歸功於Odin學習框架的“自我迴圈”。
Odin學習了兩組協同工作的網路,分別是目標發現網路和目標表示網路。
目標發現網路
以影象的一個裁剪部分作為輸入,裁剪的部分應該包含影象的大部分割槽域,且這部分影象並沒有在其他方面進行增強處理。
然後對輸入影象生成的特徵圖進行聚類分析,根據不同的特徵對影象中各個物體的進行分割。
目標表示網路
的輸入檢視是目標發現網路中所生成的分割影象。
檢視輸入之後,對它們分別進行隨機預處理,包括翻轉、模糊和點級顏色轉換等。
這樣就能夠獲得兩組掩模,它們除了剪裁之外的差異,其他資訊都和底層影象內容相同。
而後兩個掩模會透過對比損失,進而學習能夠更好地表示影象中物體的特徵。
具體來說,就是透過對比檢測,訓練一個網路來識別不同目標物體的特徵,同時還有許多來自其他不相干物體的“負面”特徵。
然後,最大化不同掩模中同一目標物體的相似性,最小化不同目標物體之間的相似性,進而更好地進行分割以區別不同目標物體。
與此同時,目標發現網路會定期根據目標表示網路的引數進行相應的更新。
最終的目的是確保這些物件級的特性在不同的檢視中大致不變,換句話說就是將影象中的物體分隔開來。
那麼Odin學習框架的效果究竟如何呢?
能夠很好地區分未知物體
Odin方法在場景分割時,沒有先驗知識的情況下遷移學習的效能也很強大。
首先,使用Odin方法在ImageNet資料集上進行預訓練,然後評估其在COCO資料集以及PASCAL和Cityscapes語義分割上的效果。
已經知道目標物體,即獲得先驗知識的方法在進行場景分割時,效果要明顯好於其他未獲得先驗知識的方法。
而Odin方法即使未獲得先驗知識,其效果也要優於獲得先驗知識的DetCon和ReLICv2。
除此之外,Odin方法不僅可以應用在ResNet模型中,還可以應用到更復雜的模型中,如Swim Transformer。
在資料上,Odin框架學習的優勢很明顯,那在視覺化的影象中,Odin的優勢在何處體現了呢?
將使用Odin生成的分割影象與隨機初始化的網路(第3列),ImageNet監督的網路(第4列)中獲得的分割影象進行比較。
第3、4列都未能清晰地描繪出物體的邊界,或者缺乏現實世界物體的一致性和區域性性,而Odin生成的影象效果很明顯要更好一些。
參考連結:
[1] https://twitter。com/DeepMind/status/1554467389290561541
[2] https://arxiv。org/abs/2203。08777
— 完 —
量子位 QbitAI · 頭條號簽約