本文轉(zhuǎn)自徐飛翔的“數(shù)據(jù)，模型，算法共同決定深度學習模型效果”
版權(quán)聲明：本文為博主原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接和本聲明。
在文獻[1]中對few-shot learning進行了很好地總結(jié)，其中提到了一個比較有意思的觀點，這里和大家分享下。先拋開few-shot learning的概念，我們先從幾個基本的機器學習的概念進行分析。
期望風險最小化（expected risk minimization）： 假設數(shù)據(jù)分布已知，其中是特征，
是標簽，在給定了特定損失函數(shù)
的情況下，對于某個模型假設
，我們期望機器學習算法能夠最小化其期望風險，期望風險定義為：
假如模型的參數(shù)集合為，那么我們的目標是：
經(jīng)驗風險最小化（empirical risk minimization）： 實際上，數(shù)據(jù)分布通常不可知，那么我們就不能對其進行積分了，我們一般對該分布進行采樣，得到若干個具有標簽的樣本，我們將其數(shù)量記為
，那么我們用采樣結(jié)果對這個分布進行近似，因此，我們追求最小化經(jīng)驗風險，這里的經(jīng)驗（experience）的意思也就是指的是采樣得到的數(shù)據(jù)集：
此處的經(jīng)驗風險(3)就可以近似期望風險(1)的近似進行最小化了（當然，在實踐中通常需要加上正則項）。
我們進行以下三種表示：
其中(4)表示最小化期望風險得到的理論上最優(yōu)的假設，(5)表示在指定的假設空間
中最小化期望風險得到的約束最優(yōu)假設
，(6)表示在指定的數(shù)據(jù)量為
的數(shù)據(jù)集上進行優(yōu)化，并且在指定的假設空間
下最小化經(jīng)驗風險得到的最優(yōu)假設
?。
因為我們沒辦法知道，因此我們沒辦法求得
，那么作為近似，
是在假定了特定假設空間時候的近似，而
是在特定的數(shù)據(jù)集和特定假設空間里面的近似。進行簡單的代數(shù)變換，我們有(7):
其中用 ，
。
表征了在期望損失下，在給定的假設空間
下的最優(yōu)假設
能多接近最佳假設
。而
表示了在給定假設空間
下，對經(jīng)驗風險進行優(yōu)化，而不是對期望風險進行優(yōu)化造成的影響。不失特別的，我們用
?表示整個訓練集，有
。
我們不難發(fā)現(xiàn)，整個深度模型算法的效果，最后取決于假設空間和訓練集中數(shù)據(jù)量
。換句話說，為了減少總損失，我們可以從以下幾種角度進行考慮：
數(shù)據(jù)，也就是。
模型，其決定了假設空間。
算法，如何在指定的假設空間 中去搜索最佳假設以擬合
?。
通常來說，如果 ?數(shù)據(jù)量很大，那么我們就有充足的監(jiān)督信息，在指定的假設空間
中，最小化
得到的
就可以提供對
的一個良好近似。然而，在few-shot learning (FSL)中，某些類別的樣本數(shù)特別少，不足以支撐起對良好假設的一個近似。其經(jīng)驗風險項
和期望風險項
可能有著很大的距離，從而導致假設
?過擬合。事實上，這個是在FSL中的核心問題，即是 經(jīng)驗風險最小假設
變得不再可靠。整個過程如Fig 1所示，左圖有著充足的樣本，因此其經(jīng)驗風險最小假設
和
相當接近，在
設計合理的情況下，可以更好地近似
。而右圖則不同，
和
都比較遠，跟別說和
了。
Fig 1. 樣本充足和樣本缺乏，在學習過程中結(jié)果的示意圖。
為了解決在數(shù)據(jù)量缺少的情況下的不可靠的經(jīng)驗風險問題，也就是FSL問題，我們必須要引入先驗知識，考慮到從數(shù)據(jù)，模型，算法這三個角度分別引入先驗知識，現(xiàn)有的FSL工作可以被分為以下幾種：
數(shù)據(jù)。在這類型方法中，我們利用先驗知識去對 ?進行數(shù)據(jù)增廣(data augment)，從數(shù)據(jù)量
提高到
，通常
> I" />。隨后標準的機器學習算法就可以在已經(jīng)增廣過后的數(shù)據(jù)集上進行。因此，我們可以得到更為精確的假設
?。如Fig 2 (a)所示。模型。這類型方法通過先驗知識去約束了假設空間
的復雜度，得到了各位窄小的假設空間
。如Fig 2 (b) 所示?；疑珔^(qū)域已經(jīng)通過先驗知識給排除掉了，因此模型不會考慮往這些方向進行更新，因此，往往需要更少的數(shù)據(jù)就可以達到更為可靠的經(jīng)驗風險假設。 算法。這類型的方法考慮使用先驗知識，指導如何對
進行搜索。先驗知識可以通過提供一個好的參數(shù)初始化，或者指導參數(shù)的更新步，進而影響參數(shù)搜索策略。對于后者來說，其導致的搜索更新步由先驗知識和經(jīng)驗風險最小項共同決定。
Fig 2. 分別從數(shù)據(jù)，模型和算法三個角度去引入先驗知識。
Reference
[1]. Wang Y, Yao Q, Kwok J, et al. Generalizing from a few examples: A survey on few-shot learning[M]//arXiv: 1904.05046. 2019.