又黄又粗又爽免费观看,色吧电影网,军人武警gay男同gvus69,精品久久久久久久久中文字幕

大腦視覺信號(hào)被Stable Diffusion復(fù)現(xiàn)成圖像!

“現(xiàn)在Stable Diffusion已經(jīng)能重建大腦視覺信號(hào)了!大腦”

大腦視覺信號(hào)被Stable Diffusion復(fù)現(xiàn)成圖像!

就在昨晚,視覺一個(gè)聽起來細(xì)思極恐的信號(hào)像AI讀腦術(shù)”研究,在網(wǎng)上掀起軒然大波:

5669e49c-bb5f-11ed-bfe3-dac502259ad0.png

這項(xiàng)研究聲稱,復(fù)現(xiàn)只需用fMRI(功能磁共振成像技術(shù),成圖相比sMRI更關(guān)注功能性信息,大腦如腦皮層激活情況等)掃描大腦特定部位獲取信號(hào),視覺AI就能重建出我們看到的信號(hào)像圖像!

58061578-bb5f-11ed-bfe3-dac502259ad0.png

例如這是復(fù)現(xiàn)一系列人眼看到的圖像,包括戴著蝴蝶結(jié)的成圖小熊、飛機(jī)和白色鐘樓:

58365594-bb5f-11ed-bfe3-dac502259ad0.png

AI看了眼人腦信號(hào)后,大腦立馬就給出這樣的視覺結(jié)果,屬實(shí)把該抓的信號(hào)像重點(diǎn)全都抓住了:

58ef8e38-bb5f-11ed-bfe3-dac502259ad0.gif

再發(fā)展一步,這不就約等于哈利波特里的復(fù)現(xiàn)讀心術(shù)了嗎??

5b13639c-bb5f-11ed-bfe3-dac502259ad0.png

更有網(wǎng)友感到驚嘆:如果說ChatGPT開放API是件大事,那這簡(jiǎn)直稱得上瘋狂。成圖

5b5c7f82-bb5f-11ed-bfe3-dac502259ad0.png

所以,這究竟是怎么一回事?

用Stable Diffusion可視化人腦信號(hào)

這項(xiàng)研究來自日本大阪大學(xué),目前已經(jīng)被CVPR 2023收錄:

5b73ba26-bb5f-11ed-bfe3-dac502259ad0.png

High-resolution image reconstruction with latent diffusion models from human brain activity

研究希望能從人類大腦活動(dòng)中,重建高保真的真實(shí)感圖像,來理解大腦、并解讀計(jì)算機(jī)視覺模型和人類視覺系統(tǒng)之間的聯(lián)系。

要知道,此前雖然有不少腦機(jī)接口研究,致力于從人類大腦活動(dòng)中讀取并重建信號(hào),如意念打字等。

然而,從人類大腦活動(dòng)中重建視覺信號(hào)——具有真實(shí)感的圖像,仍然挑戰(zhàn)極大。

例如這是此前UC伯克利做過的一項(xiàng)類似研究,復(fù)現(xiàn)一張人眼看到的飛機(jī)片段,但計(jì)算機(jī)重建出來的圖像卻幾乎看不出飛機(jī)的特征:

5bde0c96-bb5f-11ed-bfe3-dac502259ad0.png

△圖源UC伯克利研究Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies

這次,研究人員重建信號(hào)選用的AI模型,是這一年多在圖像生成領(lǐng)域地位飛升的擴(kuò)散模型。

當(dāng)然,更準(zhǔn)確地說是基于潛在擴(kuò)散模型(LDM)——Stable Diffusion。

整體研究的思路,則是基于Stable Diffusion,打造一種以人腦活動(dòng)信號(hào)為條件的去噪過程的可視化技術(shù)。

它不需要在復(fù)雜的深度學(xué)習(xí)模型上進(jìn)行訓(xùn)練或做精細(xì)的微調(diào),只需要做好fMRI(功能磁共振成像技術(shù))成像到Stable Diffusion中潛在表征的簡(jiǎn)單線性映射關(guān)系就行。

它的概覽框架是這樣的,看起來也非常簡(jiǎn)單:

僅由1個(gè)圖像編碼器、1個(gè)圖像解碼器,外加1個(gè)語義解碼器組成。

5c6acb86-bb5f-11ed-bfe3-dac502259ad0.png

具體怎么work?

如下圖所示,第一部分為本研究用到的LDM示意圖。

其中ε代表圖像編碼器,D代表圖像解碼器,而τ是一個(gè)文本編碼器(CLIP)。

5d81b124-bb5f-11ed-bfe3-dac502259ad0.png

重點(diǎn)是解碼分析,如下圖所示,模型依次從大腦早期(藍(lán)色)和較高(黃色)視覺皮層內(nèi)的fMRI信號(hào)中,解碼出重建圖像(z)和相關(guān)文本c的潛在表征。

然后將這些潛在表征當(dāng)作輸入,就可以得到模型最終復(fù)現(xiàn)出來的圖像Xzc。

5da3fd88-bb5f-11ed-bfe3-dac502259ad0.png

最后還沒有完,如編碼分析示意圖,作者還構(gòu)建了一個(gè)編碼模型,用來預(yù)測(cè)LDM不同組件(包括圖像z、文本c和zc)所對(duì)應(yīng)的fMRI信號(hào),它可以用來理解Stable Diffusion的內(nèi)部過程。

5dff944a-bb5f-11ed-bfe3-dac502259ad0.png

可以看到,采用了zc的編碼模型在大腦后部視覺皮層產(chǎn)生的預(yù)測(cè)精確度是最高的。(zc是與c進(jìn)行交叉注意的反向擴(kuò)散后,z再添加噪聲的潛在表征)

5e8b3586-bb5f-11ed-bfe3-dac502259ad0.png

相比其它兩者,它生成的圖像既具有高語義保真度,分辨率也很高。

5f3857d4-bb5f-11ed-bfe3-dac502259ad0.png

還有用GAN重建人臉圖像的

看完這項(xiàng)研究,已經(jīng)有網(wǎng)友想到了細(xì)思極恐的東西:

這個(gè)AI雖然只是復(fù)制了“眼睛”所看到的東西。

但是否會(huì)有一天,AI能直接從人腦的思維、甚至是記憶中重建出圖像或文字?

5f824506-bb5f-11ed-bfe3-dac502259ad0.png

“語言的用處不再存在了”

5fe2c048-bb5f-11ed-bfe3-dac502259ad0.png

于是有網(wǎng)友進(jìn)一步想到,如果能讀取記憶的話,那么目擊證人的證詞似乎也會(huì)變得更可靠了:

6010ead6-bb5f-11ed-bfe3-dac502259ad0.png

還別說,就在去年真有一項(xiàng)研究基于GAN,通過fMRI收集到的大腦信號(hào)重建看到的人臉圖像:

60299bb2-bb5f-11ed-bfe3-dac502259ad0.png

不過,重建出來的效果似乎不怎么樣……

604c0dfa-bb5f-11ed-bfe3-dac502259ad0.png

顯然,在人臉這種比較精細(xì)的圖像生成上,AI“讀腦術(shù)”還有很長(zhǎng)一段路要走。

對(duì)于這種大腦信號(hào)重建的研究,也有網(wǎng)友提出了質(zhì)疑。

例如,是否只是AI從訓(xùn)練數(shù)據(jù)集中提取出了相似的數(shù)據(jù)?

6065a292-bb5f-11ed-bfe3-dac502259ad0.png

對(duì)此有網(wǎng)友回復(fù)表示,論文中的訓(xùn)練數(shù)據(jù)集和測(cè)試集是分開的:

61890740-bb5f-11ed-bfe3-dac502259ad0.png

作者們也在項(xiàng)目主頁中表示,代碼很快會(huì)開源。可以先期待一下~

6228f7b4-bb5f-11ed-bfe3-dac502259ad0.png

作者介紹

本研究?jī)H兩位作者。

一位是2021年才剛剛成為大阪大學(xué)助理教授的Yu Takagi,他主要從事計(jì)算神經(jīng)科學(xué)和人工智能的交叉研究。

最近,他同時(shí)在牛津大學(xué)人腦活動(dòng)中心和東京大學(xué)心理學(xué)系利用機(jī)器學(xué)習(xí)技術(shù),來研究復(fù)雜決策任務(wù)中的動(dòng)態(tài)計(jì)算。

另一位是大阪大學(xué)教授Shinji Nishimoto,他也是日本腦信息通信融合研究中心的首席研究員。

研究方向?yàn)槎坷斫獯竽X中的視覺和認(rèn)知處理,谷歌學(xué)術(shù)引用3000+次。

那么,你覺得這波AI重建圖像的效果如何?

審核編輯 :李倩

Popular articles

主站蜘蛛池模板: 最近免费最新高清中文字幕韩国| 国产青草视频免费观看97| 久久久国产99久久国产久| 美女张开双腿让男生捅| 天堂√在线中文最新版| 久久精品国产99国产精品亚洲| 四虎1515hh丶com| 东北小彬系列chinese| 里番无修旧番6080在线观看| 人人爽人人澡人人高潮| 热久久国产精品| 欧美成人怡红院在线观看| 国产人妖在线播放| 欧美亚洲国产一区二区三区| 免费体验120秒视频| 插插视频网站| 国产换爱交换乱理伦片| 亚洲处破女| 夜来香免费观看视频在线| 一级成人a做片免费| 中文字幕一区二区三区精彩视频| 久青草影院在线观看国产| 最近中文字幕2018高清在线| 三级在线看中文字幕完整版| www.夜夜操.com| 香蕉视频在线观看免费国产婷婷| 成人做受120视频试看| 亚洲国产精品综合久久网络| 美女扒开尿囗给男人玩的动图| 三上悠亚中文字幕在线播放| 国产一区二区三区视频| 日本不卡一| 2021果冻传媒剧情在线观看| 成人动漫影院| 久久综合色天天久久综合图片| 青青热久免费精品视频精品| yy6080欧美三级理论| 乱日视频| 日韩欧美一及在线播放| 一级毛片成人免费看免费不卡| 野花社区视频在线观看|