性无码一区二区三区在线观看,少妇被爽到高潮在线观看,午夜精品一区二区三区,无码中文字幕人妻在线一区二区三区,无码精品国产一区二区三区免费

徐土豆
認(rèn)證:優(yōu)質(zhì)創(chuàng)作者
作者動(dòng)態(tài)
世界多胞體與世界模型
5天前
獎(jiǎng)勵(lì)模型中的尺度擴(kuò)展定律和獎(jiǎng)勵(lì)劫持
6天前
MeCo——給預(yù)訓(xùn)練數(shù)據(jù)增加源信息,就能減少33%的訓(xùn)練量并且提升效果
1星期前
DoReMi——一種通過(guò)代理模型估計(jì)大模型預(yù)訓(xùn)練最佳數(shù)據(jù)配比的方法
2星期前
CatLIP,加速2.7倍!采用分類損失的CLIP水準(zhǔn)的預(yù)訓(xùn)練視覺(jué)編碼器
2星期前

世界多胞體與世界模型

什么是世界多胞體(World Polytope)呢?我給出的定義是,每一個(gè)世界中的事實(shí)(Fact),比如『在地球上,太陽(yáng)從東邊出來(lái)』、『地球是太陽(yáng)系中的行星』等等,都可以編碼為N維超空間里面的一個(gè)節(jié)點(diǎn),記作V∈RN,那么假如當(dāng)前世界有M個(gè)事實(shí),構(gòu)成了事實(shí)集合V={Vi,i=1,?,M},此時(shí)可以從事實(shí)集合里面提取出一個(gè)多胞體(凸包的N維擴(kuò)展),記多胞體的節(jié)點(diǎn)集合為Vpolytope⊆V,可知VpolytopeV的真子集,其組成的世界多胞體,如Fig 1的藍(lán)色區(qū)塊所示(此處為了繪圖方便,用二維圖形代表多胞體),可以認(rèn)為是整個(gè)世界的知識(shí)邊界,在其之外是未知知識(shí)的空間,其中的淡藍(lán)色圓點(diǎn)表示可以通過(guò)世界多胞體節(jié)點(diǎn)集合內(nèi)插(Interpolation)得到,在世界多胞體之內(nèi)的知識(shí),只要提供了世界多胞體的節(jié)點(diǎn)集合(也可以認(rèn)為是整個(gè)世界的最小知識(shí)集合),我認(rèn)為是可以通過(guò)大模型去學(xué)習(xí)然后內(nèi)插得到其他知識(shí)的,最終大模型得以建模整個(gè)世界多胞體,我把這個(gè)大模型稱之為世界大模型(World Large Model)。當(dāng)然,只提供最小知識(shí)集合,整個(gè)內(nèi)插的學(xué)習(xí)會(huì)極其容易過(guò)擬合,因此需要提供世界多胞體的體內(nèi)知識(shí)作為預(yù)訓(xùn)練,以提高世界大模型的泛化能力,在這個(gè)語(yǔ)境下,其實(shí)就是提高世界大模型的內(nèi)插能力。此處,我假設(shè)世界大模型是沒(méi)法進(jìn)行外插(Extrapolation)的。

一旦有新的知識(shí)加入,而且新的知識(shí)是世界多胞體的體外知識(shí),這意味著這個(gè)知識(shí)具有唯一性,不能通過(guò)現(xiàn)有的所有知識(shí)內(nèi)插得到。待加入后,Vpolytope得到更新,從而更新整個(gè)世界多胞體,如Fig 1所示,此處新增的綠色區(qū)塊就是新增的新知識(shí)帶來(lái)的其他可內(nèi)插推理得到的知識(shí),這些知識(shí)我感覺(jué)也可以通過(guò)世界大模型推理得到,但是問(wèn)題是,正確性是否可以通過(guò)大模型保證呢?

從這個(gè)視角看,我認(rèn)為大模型具有提高探索知識(shí)內(nèi)插的能力,但是探索新的知識(shí)邊界,可能還是需要人類的助力,以后人與大模型的合作關(guān)系,可能是兩種:

  1. 人類探索知識(shí)邊界,而大模型負(fù)責(zé)知識(shí)內(nèi)插,得到更多具有洞見的知識(shí)從而啟發(fā)人類,人類基于這些洞見可能又能繼續(xù)發(fā)現(xiàn)新的知識(shí),從而整個(gè)世界多胞體得到進(jìn)一步的延展。
  2. 人類驗(yàn)證世界大模型內(nèi)插得到的知識(shí)的正確性,優(yōu)化世界大模型的內(nèi)插能力。

Fig 1. 藍(lán)色區(qū)塊的當(dāng)前的世界多胞體,新增的V0可以構(gòu)成新的世界多胞體,從而帶來(lái)更多的知識(shí),如綠色區(qū)塊所示。

聲明:本內(nèi)容為作者獨(dú)立觀點(diǎn),不代表電子星球立場(chǎng)。未經(jīng)允許不得轉(zhuǎn)載。授權(quán)事宜與稿件投訴,請(qǐng)聯(lián)系:editor@netbroad.com
覺(jué)得內(nèi)容不錯(cuò)的朋友,別忘了一鍵三連哦!
贊 2
收藏 3
關(guān)注 52
成為作者 賺取收益
全部留言
0/200
成為第一個(gè)和作者交流的人吧