什么是世界多胞體(World Polytope)呢?我給出的定義是,每一個(gè)世界中的事實(shí)(Fact),比如『在地球上,太陽(yáng)從東邊出來(lái)』、『地球是太陽(yáng)系中的行星』等等,都可以編碼為N維超空間里面的一個(gè)節(jié)點(diǎn),記作V∈RN,那么假如當(dāng)前世界有M個(gè)事實(shí),構(gòu)成了事實(shí)集合V={Vi,i=1,?,M},此時(shí)可以從事實(shí)集合里面提取出一個(gè)多胞體(凸包的N維擴(kuò)展),記多胞體的節(jié)點(diǎn)集合為Vpolytope⊆V,可知Vpolytope是V的真子集,其組成的世界多胞體,如Fig 1的藍(lán)色區(qū)塊所示(此處為了繪圖方便,用二維圖形代表多胞體),可以認(rèn)為是整個(gè)世界的知識(shí)邊界,在其之外是未知知識(shí)的空間,其中的淡藍(lán)色圓點(diǎn)表示可以通過(guò)世界多胞體節(jié)點(diǎn)集合內(nèi)插(Interpolation)得到,在世界多胞體之內(nèi)的知識(shí),只要提供了世界多胞體的節(jié)點(diǎn)集合(也可以認(rèn)為是整個(gè)世界的最小知識(shí)集合),我認(rèn)為是可以通過(guò)大模型去學(xué)習(xí)然后內(nèi)插得到其他知識(shí)的,最終大模型得以建模整個(gè)世界多胞體,我把這個(gè)大模型稱之為世界大模型(World Large Model)。當(dāng)然,只提供最小知識(shí)集合,整個(gè)內(nèi)插的學(xué)習(xí)會(huì)極其容易過(guò)擬合,因此需要提供世界多胞體的體內(nèi)知識(shí)作為預(yù)訓(xùn)練,以提高世界大模型的泛化能力,在這個(gè)語(yǔ)境下,其實(shí)就是提高世界大模型的內(nèi)插能力。此處,我假設(shè)世界大模型是沒(méi)法進(jìn)行外插(Extrapolation)的。
一旦有新的知識(shí)加入,而且新的知識(shí)是世界多胞體的體外知識(shí),這意味著這個(gè)知識(shí)具有唯一性,不能通過(guò)現(xiàn)有的所有知識(shí)內(nèi)插得到。待加入后,Vpolytope得到更新,從而更新整個(gè)世界多胞體,如Fig 1所示,此處新增的綠色區(qū)塊就是新增的新知識(shí)帶來(lái)的其他可內(nèi)插推理得到的知識(shí),這些知識(shí)我感覺(jué)也可以通過(guò)世界大模型推理得到,但是問(wèn)題是,正確性是否可以通過(guò)大模型保證呢?
從這個(gè)視角看,我認(rèn)為大模型具有提高探索知識(shí)內(nèi)插的能力,但是探索新的知識(shí)邊界,可能還是需要人類的助力,以后人與大模型的合作關(guān)系,可能是兩種:
- 人類探索知識(shí)邊界,而大模型負(fù)責(zé)知識(shí)內(nèi)插,得到更多具有洞見的知識(shí)從而啟發(fā)人類,人類基于這些洞見可能又能繼續(xù)發(fā)現(xiàn)新的知識(shí),從而整個(gè)世界多胞體得到進(jìn)一步的延展。
- 人類驗(yàn)證世界大模型內(nèi)插得到的知識(shí)的正確性,優(yōu)化世界大模型的內(nèi)插能力。
Fig 1. 藍(lán)色區(qū)塊的當(dāng)前的世界多胞體,新增的V0可以構(gòu)成新的世界多胞體,從而帶來(lái)更多的知識(shí),如綠色區(qū)塊所示。