本文轉(zhuǎn)自徐飛翔的“貝葉斯之旅||第二講，分類問題的兩大過程，推理和決策”

版權(quán)聲明：本文為博主原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接和本聲明。

分類問題

我們在之前的文章中已經(jīng)介紹過分類問題了，簡單的說就是給定一個樣本，將其劃分到有限的標簽集中。通常來說，我們可以將整個分類問題劃分為兩個獨立的過程，分別是**推理（inference）和決策(decision)**階段。在推理階段，我們通過已有的訓(xùn)練集，學(xué)習到后驗概率，或者也可以通過學(xué)習聯(lián)合概率分布，然后也可以得到后驗概率。而接下來，在決策階段，就根據(jù)這個后驗概率，對樣本的類別進行判斷決策。這個決策過程可以參考文章[1]的討論。

注意到，很多時候，這兩個過程可以合在一起，將問題簡化為成：學(xué)習一個映射 ，直接將樣本映射到類別標簽。這個過程中，將不會涉及到任何的后驗概率等，而是直接得出預(yù)測結(jié)果，這個函數(shù)因此稱之為判別函數(shù)(Discriminant function)。[2] page 43

事實上，這些討論過的方法都可以用來解決分類問題，并且在實際應(yīng)用中都有所應(yīng)用，我們按照復(fù)雜程度進行降序排列之后，有：

通過解決推理問題之后，我們可以給每一個類別估計出類條件概率，同時，先驗概率也很容易可以估計出來，然后通過貝葉斯公式我們可以得到后驗概率：

我們有:

等價地，我們可以對聯(lián)合概率密度進行建模，然后進行標準化后得到后驗概率。像這種顯式地或者隱式地對輸入和輸出進行概率分布建模的模型，稱之為生成模型(generative models)，因為從這個聯(lián)合分布中進行采樣可以生成輸入空間中的一些虛假生成數(shù)據(jù)(synthetic data)。

通過解決推理問題后，得到后驗概率，然后通過決策論進行類別判斷。這種模型稱之為判別模型(Discriminative model)。

尋找一個函數(shù)，稱之為判別函數(shù)，直接將輸入的映射到一個類別標簽上，比如SVM分類器等。在這個情形下，并沒有用到任何概率，也就是說我們對預(yù)測的結(jié)果其實是沒有辦法判斷可靠程度的。

我們接下來分別討論下這三種方法的優(yōu)劣點。

孰優(yōu)孰劣，判別模型和生成模型生成模型

生成模型是對于數(shù)據(jù)量需求最高的，同時運算量也是最大的，因為其需要訓(xùn)練出包含和?的聯(lián)合分布，如果數(shù)據(jù)量不夠，將會導(dǎo)致嚴重的過擬合現(xiàn)象[3]。對于很多應(yīng)用下來說， 是一個維度很高的特征向量，因此為了使得類條件概率得到一個較為合理的精度，就需要很多的數(shù)據(jù)量進行計算。但是，生成模型也有一些很好的性質(zhì)，比如說可以從中進行采樣生成出一些假數(shù)據(jù)，這個應(yīng)用目前在很多image inpainting[4]，style transfer[5]任務(wù)中經(jīng)常用到。而且，因為通過聯(lián)合概率分布可以通過式子(1.2)計算出邊緣概率分布。這個輸入空間的邊緣概率分布很有用，因為其可以判斷輸入的新數(shù)據(jù)是否是一個所謂的離群點(outlier)，離群點如下圖所示。這個就是所謂的離群點檢測(outlier detection)或者稱之為異常檢測(novelty detection)，這個在網(wǎng)絡(luò)欺詐預(yù)測，銀行欺詐預(yù)測，電子垃圾郵件檢測中很有用。

判別模型

在分類任務(wù)中，很多時候你只是做個分類而已，并不用進行離群點檢測，也不需要生成虛假樣本.這個時候，如果還用生成模型去進行后驗概率的估計，就浪費了很多資源。我們觀察下圖，我們可以發(fā)現(xiàn)，類條件概率其實和后驗概率并沒有必然的影響。這個時候，你就需要采用判別模型。

不僅如此，采用了判別模型還有一個好處就是，可以利用所謂的**拒絕域(reject option)**把一些過于邊緣的判斷拒絕掉。比如我們僅有10%的把握判斷某人為癌癥患者，那么我們就情愿不做這個判斷，交給更為權(quán)威的人或者系統(tǒng)進行下一步的處理。如下圖所示，綠色的水平線表示拒絕水平，只有后驗概率高于這個水平線，才能認為是可靠的判斷。我們將會看到，在基于判別函數(shù)的情況下，因為并沒有概率的存在，因此并不能進行這種操作。

判別函數(shù)方法

有比以上倆種方法更為簡單，計算量更少的方法，那就是判別函數(shù)法。在這個情況下，因為是直接用訓(xùn)練數(shù)據(jù)擬合一個函數(shù)對樣本進行分類，因此無法得到后驗概率 。在這個方法中，只能最小化分類錯誤率，而沒法給不同類型的分類錯誤進行區(qū)別[1]，采用最小化分類風險，這是個遺憾的地方。

Reference

[1] 《貝葉斯之旅||第一講，貝葉斯決策》

[2] Bishop C M. Pattern recognition and machine learning (information science and statistics) springer-verlag new york[J]. Inc. Secaucus, NJ, USA, 2006.

[3] 《機器學(xué)習模型的容量，過擬合與欠擬合》

[4] 《基于深度學(xué)習的Image Inpainting (圖像修復(fù))論文推薦(持續(xù)更新)》

[5] 《Image Style Transfer》