機器學習任務：監督學習/半監督學習/無監督學習

一般而言機器學習無論是經典學習還是深度學習，都可以大致分為三種學習任務：

1. 監督學習: Supervised Learning
2. 半監督學習: Semi-Supervised Learning
3. 無監督學習: Unsupervised Learning

本篇文章會大略的討論一下三種學習的差別以及實務上的適用時機。

圖1：(a) 監督學習 (b) 無監督學習 (c) 半監督學習

監督學習 Supervised Learning

Supervised Learning如圖1(a)所示，每一筆資料(data)都會有對應的標註(label)，學習的目標就是求出一個預測函數來預測未知的data對應的label。

在視覺任務領域裡面，Supervised Learning常用的任務包含：

1. 圖像分類 Image Classification
2. 目標檢測 Object Detection
3. 特徵點檢測 Keypoint Detection
4. 實例分割 Instance Segmentation
5. 圖像描述 Image Captioning

圖2：各種視覺任務圖例 (取自Stanford公開課程cs231n)

• 優點

機器學習就要記得一件事：資料與標註越多效果越好。因此如果要求最佳的預測精度而不考慮其他因素的情況下，監督學習永遠是第一選擇。

監督學習的評估方式也是最簡單直接的，在缺少標註數據的情況下評估學習效果會變得更加困難。

• 缺點

監督學習的缺點很明顯：需要標註。標註需要時間與金錢。以標註成本最低的圖像分類為例，圖像分類Open Source數據集ImageNet包含1,281,167的訓練集+50,000的驗證集。如果尋求外部的數據標註公司，分類任務都是以張數計價；越困難的任務標註成本也越大，例如目標檢測的估價大多是以標註框來計算，在同樣的圖片量級會比分類任務貴出好幾倍。

• 建議使用時機

1. Labeled data容易取得的任務，例如：銷量預測、機台故障預測
2. Labeled data必須取得的任務，例如：生物認證、道路檢測
3. 需要高精度的任務，例如：晶圓瑕疵檢測、生物認證

無監督學習 Unsupervised Learning

Unsupervised Learning如圖1(b)所示，數據集中只有未標註的資料(unlabeled data)，學習目標通常是要預測資料背後的真實分布情況，最經典無監督學習算法就是K-mean分群。

無監督學習在圖像領域有以下經典應用：

1. 圖像生成 Image Generation
2. 風格遷移 Style Transfer
3. 圖像編輯 Image Edition

無監督學習有另一個著名子領域是強化學習(Reinforcement Learning)。強化學習的目的是學習一個決策函數，可以根據當前的狀態(state)決定最好的行動(action)。強化學習中雖然也沒有標註，但是會存在客觀的模擬環境來產生報酬(Reward)來評估決策系統的好壞。

以下應用都是強化學習的經典應用：

1. AI遊戲：AlphaGo、Atari
2. 自動駕駛 Self-Driving
3. 內容推薦 Content Recommendation

順便列舉無監督學習在圖像領域常用的深度學習算法：

1. GAN (Generative Adversarial Network)
2. Auto-Encoder
3. VAE (Variational Auto-Encoder)

圖3：自動生成的人臉。來源：This Person Does Not Exist

• 優點

對於不可能標註的任務而言，無監督學習是你唯一的選擇。對於極具前瞻性的任務或研究，無監督學習結合其他機器學習方法極有可能是你需要探索的方向。

無監督學習的資料成本很低。試想如果你的機器學習服務能夠一直收集數據而不標註，同時還能保證精度持續上升，對你跟老闆都是多麼輕鬆寫意的一件事情。

• 缺點

無監督學習對資料的要求比較高。例如對贓數據的容忍較低，也對數據對齊(Data Alignment)有較大的要求。以人臉生成任務為例，所有的人臉中心線都是垂直的(參考圖3)。

無監督學習通常需要更複雜的建模以及算力要求。

• 建議的使用時機

1. 可以做沙箱實驗時，例如：推薦系統、博奕遊戲
2. 隨機生成類的任務，例如：人臉生成、海報生成、詞曲生成
3. 只需區分正常/異常的任務，例如：視頻異動檢測、信號處理領域

半監督學習 Semi-Supervised Learning

Semi-Supervised Learning如圖1(c)所示，只有部分的data有label，而其他的data則是未標註的(unlabeled)。半監督學習的目標與監督學習完全相同，差別在資料集中存在部分的標注缺失。

半監督學習的方法有很多，但總歸就是用某種特殊的規則或是方法來估計unlabeled data的真實類別。一般最經典的策略是Self-Training：

1. 先利用labeled data去訓練一個預測函數
2. 逐步去預測剩下的unlabeled data(預測結果稱為psudo label)，並更新預測函數
3. 直到所有data都變成labeled data為止

需要注意的是，套用Self-Training方法的資料本身需要符合Low-Density Separation(LDS)假設。用經驗論來解釋的話，通常越簡單的任務越符合這個假設。

圖4：Self-Training。來源：Machine Learning (2017, Spring) (sunprinces.github.io)

• 優點

標註成本較低，並且可以適用於大部分的任務。對於監督學習來說曠日廢時標註，切換到半監督學習就可以大量減少成本。對於線上需要持續優化的機器學習系統來說，只需要少量標注是非常吸引人的。

• 缺點

對於Self-Training類的方法，需要符合Low-Density Seperation假設才能成立；但是大部分的應用很難符合這個假設。

如果你的任務要切換成半監督學習但無法簡單套用Self-Training的話，你的機器學習演算法可能需要引用並嘗試各種創新方法，很可能是修改到足以發論文的地步。

• 建議的引用時機

1. 符合Low-Density Seperation假設的任務，例如：交通號誌分類(Maybe)
2. 如果有少量的標注人力，可以結合Active Learning來使用
3. 當資料標註成本無法被滿足，但是資料取得成本很低的時候