本文是筆者在學(xué)習(xí)Geometric deep learning的過(guò)程中的一些筆記和想法，較為零散，主要紀(jì)錄了非歐幾里德結(jié)構(gòu)數(shù)據(jù)和歐幾里德結(jié)構(gòu)數(shù)據(jù)之間的區(qū)別，后續(xù)會(huì)引出圖卷積網(wǎng)絡(luò)模型。
本文轉(zhuǎn)載自徐飛翔的“《學(xué)習(xí)geometric deep learning筆記系列》第一篇，Non-Euclidean Structure Data之我見(jiàn)”。
版權(quán)聲明：本文為博主原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接和本聲明。
總的來(lái)說(shuō)，數(shù)據(jù)類型可以分為兩大類，分別是：歐幾里德結(jié)構(gòu)數(shù)據(jù)(Euclidean Structure Data) 以及 非歐幾里德結(jié)構(gòu)數(shù)據(jù)(Non-Euclidean Structure Data)，接下來(lái)談自己對(duì)這兩類數(shù)據(jù)的認(rèn)識(shí)。
歐幾里德結(jié)構(gòu)樣本
在我們?nèi)粘Ｉ钪校畛Ｒ?jiàn)到的媒體介質(zhì)莫過(guò)于是圖片(image)和視頻(video)以及語(yǔ)音(voice)了，這些數(shù)據(jù)有一個(gè)特點(diǎn)就是：“排列整齊”。什么叫做排列整齊呢？舉例子來(lái)說(shuō)，圖片可以用矩陣來(lái)表達(dá)其像素，就如同下圖所示[2]：
對(duì)于某個(gè)節(jié)點(diǎn)，我們很容易可以找出其鄰居節(jié)點(diǎn)，就在旁邊嘛，不偏不倚。而且，圖片數(shù)據(jù)天然的，節(jié)點(diǎn)和鄰居節(jié)點(diǎn)有著統(tǒng)計(jì)上的相關(guān)性，因此能夠找出鄰居節(jié)點(diǎn)意味著可以很容易地定義出卷積這個(gè)操作出來(lái)，而我們?cè)谏疃葘W(xué)習(xí)的過(guò)程中知道，卷積這個(gè)操作是提取局部特征以及層次全局特征的利器，因此圖片可以很容易定義出卷積操作出來(lái)，并且在深度網(wǎng)絡(luò)中進(jìn)行進(jìn)一步操作。
而且，因?yàn)檫@類型的數(shù)據(jù)排列整齊，不同樣本之間可以容易的定義出“距離”這個(gè)概念出來(lái)。我們且思考，假設(shè)現(xiàn)在有兩個(gè)圖片樣本，盡管其圖片大小可能不一致，但是總是可以通過(guò)空間下采樣的方式將其統(tǒng)一到同一個(gè)尺寸的，然后直接逐個(gè)像素點(diǎn)進(jìn)行相減后取得平方和，求得兩個(gè)樣本之間的歐幾里德距離是完全可以進(jìn)行的。如下式所見(jiàn)：
因此，不妨把圖片樣本的不同像素點(diǎn)看成是高維歐幾里德空間中的某個(gè)維度，因此一張
的圖片可以看成是
維的歐幾里德樣本空間中的一個(gè)點(diǎn)，而不同樣本之間的距離就體現(xiàn)在了樣本點(diǎn)之間的距離了。
這就是稱之為歐幾里德結(jié)構(gòu)數(shù)據(jù)的原因了。 同樣的，視頻可以在時(shí)間軸上進(jìn)行采樣做到統(tǒng)一的目的，而音頻也是一樣的。因此它們都是符合歐幾里德距離定義的類型的樣本。
非歐幾里德結(jié)構(gòu)樣本
非歐幾里德結(jié)構(gòu)的樣本總得來(lái)說(shuō)有兩大類型[1]，分別是圖(Graph)數(shù)據(jù)[3]和流形數(shù)據(jù)[4]，如Fig 2和Fig 3所示:
這兩類數(shù)據(jù)有個(gè)特點(diǎn)就是，排列不整齊，比較的隨意。具體體現(xiàn)在：對(duì)于數(shù)據(jù)中的某個(gè)點(diǎn)，難以定義出其鄰居節(jié)點(diǎn)出來(lái)，或者是不同節(jié)點(diǎn)的鄰居節(jié)點(diǎn)的數(shù)量是不同的[5]，這個(gè)其實(shí)是一個(gè)特別麻煩的問(wèn)題，因?yàn)檫@樣就意味著難以在這類型的數(shù)據(jù)上定義出和圖像等數(shù)據(jù)上相同的卷積操作出來(lái)，而且因?yàn)槊總€(gè)樣本的節(jié)點(diǎn)排列可能都不同，比如在生物醫(yī)學(xué)中的分子篩選中，顯然這個(gè)是一個(gè)Graph數(shù)據(jù)的應(yīng)用，但是我們都明白，不同的分子結(jié)構(gòu)的原子連接數(shù)量，方式可能都是不同的，因此難以定義出其歐幾里德距離出來(lái)，這個(gè)是和我們的歐幾里德結(jié)構(gòu)數(shù)據(jù)明顯不同的。因此這類型的數(shù)據(jù)不能看成是在歐幾里德樣本空間中的一個(gè)樣本點(diǎn)了，而是要想辦法將其嵌入(embed)到合適的歐幾里德空間后再進(jìn)行度量。而我們現(xiàn)在流行的Graph Neural Network便可以進(jìn)行這類型的操作。這就是我們的后話了。
另外，歐幾里德結(jié)構(gòu)數(shù)據(jù)所謂的“排列整齊”也可以視為是一種特殊的非歐幾里德結(jié)構(gòu)數(shù)據(jù)，比如說(shuō)是一種特殊的Graph數(shù)據(jù)，如下圖所示[5]：
因此，用Graph Neural Network的方法同樣可以應(yīng)用在歐幾里德結(jié)構(gòu)數(shù)據(jù)上，比如文獻(xiàn)[6]中report的結(jié)果來(lái)看，的確這樣是可行的。事實(shí)上，只要是賦范空間中的數(shù)據(jù)，都可以建立數(shù)據(jù)節(jié)點(diǎn)與數(shù)據(jù)節(jié)點(diǎn)之間的某種關(guān)聯(lián)，都可以嘗試用非歐幾里德結(jié)構(gòu)數(shù)據(jù)的深度方法進(jìn)行實(shí)驗(yàn)。[7]
那么什么叫做賦范空間中的數(shù)據(jù)呢？賦范空間，指的就是定義了范數(shù)的向量空間，我認(rèn)為，指的是數(shù)據(jù)中的每個(gè)樣本的單元的特征維度都是一致的，比如，一張圖片的像素一般都是RGB三個(gè)維度的，不同像素之間可以進(jìn)行求范數(shù)的操作，再比如，一個(gè)Graph上的某個(gè)節(jié)點(diǎn)和另外一個(gè)節(jié)點(diǎn)的維度都是相同的，因此也可以定義出范數(shù)出來(lái)。不過(guò)這個(gè)是我一家之言，如有其他見(jiàn)解，請(qǐng)?jiān)谠u(píng)論區(qū)指出。
該系列的后續(xù)：
-
《Geometric Deep Learning學(xué)習(xí)筆記》第二篇， 在Graph上定義卷積操作，圖卷積網(wǎng)絡(luò)
-
《Geometric Deep Learning學(xué)習(xí)筆記》第三篇，GCN的空間域理解，Message Passing以及其含義