自我監督學習：電腦視覺如何自學

監督式學習要人工標註，自我監督式則直接拿資料本身的結構（遮罩、預測、比對裁切）當監督訊號；Misra 解釋為什麼「自我監督」比「非監督」更準確，因為訊號來源仍然是資料本身。

舉出各領域常見的自我監督手法：NLP 靠遮罩詞語猜出被蓋住的字，影片靠餵前九秒猜第十秒，圖片則靠比對同一張圖的不同裁切是不是同一個東西。

談與 Yann LeCun 合寫的部落格文章：自我監督學習的目標是讓機器學到常識與物理直覺（重的東西舉起來比較慢），這些是人工標註永遠標不完的。

Misra 主張任何一組離散類別都能再插入新類別（可頌加甜甜圈變成可頌甜甜圈），分類終究是不完美的；比起硬要幫每樣東西取名字，相似性這種連續的度量反而更好用。

Misra 回憶自己讀博士時標註一週的圖片，卻被糾正「這是皮卡車不是轎車」的挫折經驗；兩人談到分類該是蛋糕上的糖霜，不該是蛋糕本身。

回頭談 NLP：從 word2vec 到 BERT，同一套「遮罩詞語猜答案」的招式一路撐到現在，靠的是「同樣語境出現的詞意思相近」這個分布假說。

解釋 Transformer 的核心是讓序列裡每個元素都能參照其他所有元素，不像 ConvNet 只看鄰近的一小塊窗口。

Misra 認為電腦視覺比語言處理更難：語言是人類發明、字彙有限又結構化；影像是連續訊號，雜訊多、組合可能性太大，遮罩式預測在視覺上很快就會爆炸。

用貓、狗、香蕉三張圖解釋正負樣本：貓與狗算相關要拉近，香蕉是無關的要推遠；接著談 Yann LeCun 提出的能量模型，把對比學習、GAN、VAE 都理解成在最小化或最大化某種能量函數。

資料增強就是把同一張圖片做不同的裁切、調色、模糊等擾動，讓神經網路學到這些變化版本應該有相近的特徵；這正是視覺自我監督學習的核心機制。

兩人認為現行的資料增強太粗暴且跟圖片內容無關（把香蕉改成紫色也照做不誤）；如果增強能考慮圖片實際內容、做出符合物理現實的變化，效果會比現在誇張隨機的做法更好。

介紹對比學習之外避免「塌縮」（所有特徵變得一樣）的做法：聚類法與師生自我蒸餾；SwAV 論文靠線上聚類、固定群數的方式，讓同張圖的不同裁切落在同一群。

SEER 用十億張未經篩選的網路圖片訓練超大規模自我監督模型，規模比研究界慣用的百萬張 ImageNet 大了三個數量級，測試自我監督學習能不能真正擺脫對 ImageNet 的依賴。

RegNet 這個架構同時兼顧算力與記憶體效率，是 SEER 用的骨幹；但 Misra 認為資料與資料增強的演算法其實比架構本身更關鍵；VISSL 則是他們統一各種自我監督方法實作與評測基準的工具庫。

談 CVPR 2021 最佳論文候選：用影片配對的聲音當自我監督訊號，模型不靠任何標註，就學會從聲音指出吉他在畫面裡的哪個位置。

兩人討論主動學習能不能挑出最值得標註或訓練的資料，Misra 提到自己讀博時做過讓模型主動提問來學習的研究，確實比隨機提問更有效率。

Lex 把特斯拉車隊蒐集邊緣案例、送回標註再重新訓練的流程，類比成一種主動學習；Misra 認同這個做法，認為邊緣案例正是自駕系統真正卡關的地方。

Lex 先把「解決自駕」定義清楚——車子說它在控制就要負全責、事故率低到人類的五分之一——再請 Misra 押一個年份；Misra 估至少五到十年，兩人也談到 Waymo 長期靠光達而 Tesla 走純視覺的路線分歧。

Misra 認為資料效率差是深度學習最大的問題，一個樣本很難類推到新情境；機器學習也缺乏傳統演算法那種正確性保證；他把「學習」定義成能做出直覺判斷，「推理」則是遇到沒看過的複雜情境才需要的能力，目前的神經網路擅長前者、不擅長後者。

兩人談情緒可能是「預測落空」的訊號；通用智慧需要自我覺察，才能理解自己在世界裡扮演的角色；Lex 認為要讓人類真心想跟一個系統互動，它得展現出某種意識。

Misra 認為自我監督學習最美的地方，是模型只靠比對圖片裁切的相似度，就自己學出物件的邊界，連「這是一隻狗」都沒人教過它。

Misra 說自己不看好用模擬環境訓練自駕系統，因為要精準模擬光影很難，更難的是模擬人類行為與邊緣案例。

選對值得投入的問題，跟寫論文本身一樣重要；Misra 也建議研究生早點動筆寫論文，而不是等實驗做完才寫，因為寫作過程本身會逼出更清楚的想法。

Misra 認為想要成功要有渴望，「不是想要，是非要不可」；也談到失敗是研究的常態，要練出耐挫的能力才走得下去。

兩人聊到還沒找到人生意義的答案；Misra 認為人類沒有明確的目標函數反而是一種特色，讓每個人走出不同的路，也在演化裡互相學習。