CVPR Spotlight論文：當(dāng)零示例學(xué)習(xí)遇上網(wǎng)絡(luò)數(shù)據(jù)

本文作者：奕欣

2018-07-20 10:21

導(dǎo)語(yǔ)：細(xì)粒度分類是分類問(wèn)題中一個(gè)非常有挑戰(zhàn)性的子問(wèn)題。

雷鋒網(wǎng) AI 科技評(píng)論按：本文由美國(guó)萊斯大學(xué)博士后牛力為 AI 科技評(píng)論提供的獨(dú)家稿件，未經(jīng)許可不得轉(zhuǎn)載。

細(xì)粒度分類是分類問(wèn)題中一個(gè)非常有挑戰(zhàn)性的子問(wèn)題。和傳統(tǒng)的粗粒度分類不同，細(xì)粒度分類不是區(qū)分不同的大類，而是區(qū)分一個(gè)大類下面的子類，比如不同品種的貓。由于不同子類之間的差異非常微小，所以細(xì)粒度分類比粗粒度分類難度更大。并且，為細(xì)粒度分類收集訓(xùn)練數(shù)據(jù)也是一項(xiàng)十分艱巨的任務(wù)，原因如下。

首先，一個(gè)大類下面往往有大量子類。據(jù)統(tǒng)計(jì)，世界上有 14000 種鳥(niǎo)，很難為每一種鳥(niǎo)都收集足夠的訓(xùn)練數(shù)據(jù)。其次，為子類標(biāo)注需要專業(yè)的知識(shí)。比如標(biāo)注不同種類的鳥(niǎo)就需要知道每一類鳥(niǎo)的具體細(xì)節(jié)，比如嘴、翅膀、尾巴的顏色形狀等等。大多數(shù)人并不具備這種專業(yè)知識(shí)，因而能做細(xì)粒度標(biāo)注的專家非常稀缺。

由于為細(xì)粒度分類收集訓(xùn)練數(shù)據(jù)異常困難，注定會(huì)有很多子類沒(méi)有對(duì)應(yīng)的訓(xùn)練數(shù)據(jù)。對(duì)于某些種類缺乏訓(xùn)練數(shù)據(jù)的情況，現(xiàn)有的研究工作主要集中于以下兩個(gè)領(lǐng)域：第一，收集弱監(jiān)督數(shù)據(jù)，也就是標(biāo)簽不準(zhǔn)確的數(shù)據(jù)，比如從網(wǎng)絡(luò)上獲取免費(fèi)但標(biāo)簽有噪音的數(shù)據(jù) (webly supervised learning)；第二，借助類別的語(yǔ)義信息，把知識(shí)從有標(biāo)注數(shù)據(jù)的種類轉(zhuǎn)移到?jīng)]有標(biāo)注數(shù)據(jù)的種類，比如零示例學(xué)習(xí) (zero-shot learning)。但上述兩個(gè)領(lǐng)域的研究都有各自的缺陷。具體來(lái)說(shuō)，基于網(wǎng)絡(luò)數(shù)據(jù)學(xué)習(xí)會(huì)受到標(biāo)簽噪音以及網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)之間分布差異問(wèn)題的影響，而零示例學(xué)習(xí)性能不佳且忽視了大量免費(fèi)可用的網(wǎng)絡(luò)數(shù)據(jù)?；谝陨嫌^察，我們嘗試將基于網(wǎng)絡(luò)數(shù)據(jù)學(xué)習(xí)和零示例學(xué)習(xí)結(jié)合起來(lái)用來(lái)做細(xì)粒度分類，工作發(fā)表在 CVPR 2018 (spotlight)：「Webly Supervised Learning Meets Zero-shot Learning: A Hybrid Approach for Fine-grained Classification」。

我們的做法如下，先選取一部分子類進(jìn)行人工標(biāo)注，然后為剩余的子類從網(wǎng)上下載圖片。為了描述方便，我們把人工標(biāo)注的子類稱為標(biāo)注子類，把利用網(wǎng)絡(luò)圖片的子類稱為網(wǎng)絡(luò)子類。標(biāo)注子類和網(wǎng)絡(luò)子類構(gòu)成了所有的子類。之前提到了網(wǎng)絡(luò)數(shù)據(jù)有標(biāo)簽噪音和數(shù)據(jù)分布差異的問(wèn)題，而人工標(biāo)注的子類沒(méi)有這兩個(gè)問(wèn)題。為了解決基于網(wǎng)絡(luò)數(shù)據(jù)學(xué)習(xí)的兩個(gè)問(wèn)題，我們借助于類別的語(yǔ)義信息，將知識(shí)從標(biāo)注子類轉(zhuǎn)移到網(wǎng)絡(luò)子類。類別的語(yǔ)義信息有很多種，包括特征 (attribute) 和詞向量 (word vector) 等等。因?yàn)樘卣餍枰獙＜疫M(jìn)行標(biāo)注，比較難獲取，所以我們使用從免費(fèi)的維基文本中學(xué)到的詞向量。

我們方法的流程圖如下，給定一個(gè)大類，我們?yōu)闃?biāo)注子類收集人工標(biāo)注的精確數(shù)據(jù)，為剩余的網(wǎng)絡(luò)子類從網(wǎng)絡(luò)上下載圖片，然后獲取所有子類的詞向量。借助詞向量，我們建立起標(biāo)注子類和網(wǎng)絡(luò)子類之間的聯(lián)系，將知識(shí)從標(biāo)注子類遷移到網(wǎng)絡(luò)子類，用來(lái)解決網(wǎng)絡(luò)子類存在的標(biāo)簽噪音和數(shù)據(jù)分布差異問(wèn)題。同時(shí)，我們?cè)谟?xùn)練階段也使用了無(wú)標(biāo)簽的測(cè)試圖片，用來(lái)減小網(wǎng)絡(luò)訓(xùn)練圖片和測(cè)試圖片在數(shù)據(jù)分布上的差異?？傊?，我們的學(xué)習(xí)模型把所有子類的詞向量以及標(biāo)注子類、網(wǎng)絡(luò)子類和測(cè)試圖片的視覺(jué)特征作為輸入，輸出測(cè)試圖片的種類。