奧飛寺邊策安妮
量子比特出品|公眾號(hào)
通過(guò)墻壁上擴(kuò)散的光影能否重構(gòu)出原來(lái)的畫面？
現(xiàn)在可以了。 這不是懸念。
一篇新論文出現(xiàn)光的直線傳播畫圖小孔成像，表明只有普通數(shù)碼單反相機(jī)才能僅依靠墻壁模糊的光影來(lái)恢復(fù)原始畫面。
讓我先測(cè)試一下你。 在下面的漫射光影中你能看到什么？
雖然它是香菇。 下面這些是什么？
非常相似，不是嗎？ 但這是一張人臉……
你看不到，但是強(qiáng)大的算法確實(shí)可以通過(guò)這些漫反射來(lái)還原真實(shí)的原始畫面。 無(wú)圖無(wú)真相。 下面是三個(gè)重建的例子。
首先放置墻壁的漫反射光影。
接下來(lái)是算法重建的圖像。
震驚不驚訝！ 這種療效就像把一面墻變成了一面全身鏡！
不相信？ 讓我們將其與原圖進(jìn)行比較。
是否是由黑、紅組成的英文字母所傳達(dá)的暗號(hào)：
還是《超級(jí)馬里奧》中熟悉的香菇：
即使是戴著黑色壘球帽、看起來(lái)像辛普森房間里的人物的復(fù)雜頭像，這個(gè)算法仍然可以隔墻還原：
這種AI算法可以在不依賴昂貴的拍攝設(shè)備的情況下還原畫面，你甚至可以在自己家里進(jìn)行實(shí)驗(yàn)?zāi)M操作。
研究人員在一間普通臥室的一端放置了一個(gè)屏幕，顯示圖案，面向相鄰的墻壁。
這個(gè)屏幕后面有一組普通的數(shù)碼相機(jī)，也面向旁邊的墻壁，但是相機(jī)和屏幕之間有一個(gè)擋板，相機(jī)沒有機(jī)會(huì)直接捕捉屏幕上的圖像。
研究人員使用了一臺(tái) 4 兆像素的數(shù)碼單反來(lái)完成實(shí)驗(yàn)，售價(jià)約為 1400 澳元（約合人民幣 9500 元）。 研究人員預(yù)計(jì)它的價(jià)格至少比之前的脈沖激光 SLR 低 30 倍。
而這款數(shù)碼相機(jī)要做的就是通過(guò)將屏幕發(fā)出的光拍攝到旁邊的墻壁上來(lái)還原屏幕上的圖像。
實(shí)驗(yàn)的難度還在增加：研究人員還在房間中央隨機(jī)放置了一個(gè)不明遮擋物體，可以是一塊不發(fā)光的板，也可以是一張用手拖拽的桌子，以遮擋部分光線。到達(dá)墻壁。
在整個(gè)拍攝過(guò)程中，數(shù)碼單反所能捕捉到的只有墻上昏暗的光影。
在這項(xiàng)研究發(fā)表之前，這些視圖被認(rèn)為是不可能的：普通的相機(jī)、普通的屏幕、隨機(jī)移動(dòng)的桌子和墻壁，如何還原屏幕上色彩繽紛、未知的圖案，甚至動(dòng)畫？
即使是專業(yè)化學(xué)家也并不樂(lè)觀。
法國(guó)烏得勒支研究所光學(xué)化學(xué)家莫斯克曾表示：“人們認(rèn)為，在沒有任何先進(jìn)設(shè)備的情況下，僅通過(guò)墻壁漫反射的光來(lái)重建圖像幾乎是不可能的。”
沒想到，波士頓學(xué)院的這組研究人員做到了。
讓墻壁變成全身鏡
讓我們先準(zhǔn)備小學(xué)數(shù)學(xué)知識(shí)：
物體對(duì)光的反射分為鏡面反射和漫反射。 全身鏡之所以能夠讓我們識(shí)別物體，是因?yàn)槿礴R的表面光滑，可以將光線按照一定的固定方向反射回來(lái)。
但外壁粗糙，當(dāng)屏幕上的光線投射到前方時(shí)，光線會(huì)向各個(gè)方向反射，我們稱之為“漫反射”。
在常識(shí)中光的直線傳播畫圖小孔成像，我們很難通過(guò)漫反射的混沌光線來(lái)還原物體的本來(lái)面目。 之前也有一些技術(shù)可以還原圖像，但是對(duì)光線的要求極高，比如激光，成本也高很多。 波士頓學(xué)院的 小組只需研究普通相機(jī)即可。
在墻壁上！ 只要算法夠強(qiáng)，外墻也可以變成全身鏡！
與鏡面成像不同的是，在全身鏡前面加一些東西遮擋視線，在屏幕和墻壁之間插入障礙物，實(shí)際上都會(huì)增加我們還原圖像的難度。
這似乎有悖于常識(shí)，盡管它是有道理的。 想象一下小時(shí)候做過(guò)的“小孔成像”實(shí)驗(yàn)。 當(dāng)光線只能通過(guò)一個(gè)小孔時(shí)，屏幕發(fā)出的光線會(huì)在墻上產(chǎn)生清晰的圖像。
顯示器和墻壁之間的障礙物可減輕雜散光，從而減少進(jìn)入的光線并使圖像稍微清晰一些。
事實(shí)上，戈亞爾的研究并沒有將入射光限制在太小的范圍內(nèi)，而是利用算法從墻壁的陰影中恢復(fù)屏幕的本來(lái)面貌。 事實(shí)上，目前只能還原任天堂8位機(jī)的簡(jiǎn)單圖像。
以上只是定性描述。 為了準(zhǔn)確地還原屏幕上的圖像，我們需要構(gòu)建墻壁照度與屏幕照度之間的函數(shù)關(guān)系：
里面的多項(xiàng)式中，Pw是墻壁上的點(diǎn)，x是屏幕上的點(diǎn)，P0是障礙物上的點(diǎn)，nx和nw分別是顯示器和外墻的法向量，Pw-x表示從點(diǎn) x 指向向量的 Pw 。
上式中，I(Pw)可以通過(guò)單反照片得到，f(x)可以通過(guò)上式反推得到。
如果沒有障礙物，V處處都等于1，I(Pw)和f(x)之間的依賴性太弱，不利于圖像的恢復(fù)。 這也是在屏風(fēng)和墻壁之間增加障礙物的原因。
上式過(guò)于復(fù)雜，不利于估算。 由于屏幕上的光線越強(qiáng)，墻上的點(diǎn)就越亮，我們可以將積分多項(xiàng)式轉(zhuǎn)換為線性多項(xiàng)式。
y=A(po)f+b
y是墻上每個(gè)點(diǎn)的照度。 我們選取126×126個(gè)點(diǎn)，這是一個(gè)多項(xiàng)式群，共有15876個(gè)變量，其中A(P0)代表一個(gè)變換矩陣。
雖然戈亞爾的團(tuán)隊(duì)今年已經(jīng)取得了相關(guān)成果，但需要知道當(dāng)時(shí)障礙物的形狀和位置才能夠還原圖像。
但這一次他們把難度提高了一個(gè)層次，只知道障礙物的形狀，卻不知道位置。
Goyal的方法是先找出障礙物的位置，然后通過(guò)平均位置附近的49組數(shù)據(jù)逆向還原圖像。
進(jìn)一步發(fā)展，他們的算法甚至不需要知道障礙物的形狀，只需要通過(guò)墻上模糊的陰影就可以知道它的外觀。
相關(guān)的研究
除了這種通過(guò)AI算法分析光影來(lái)預(yù)測(cè)無(wú)法直接看到的物體的方法之外，早在2010年，的研究人員就已經(jīng)取得了成果。
與波士頓學(xué)院不同，這些方法需要單獨(dú)購(gòu)買特殊設(shè)備，即可以發(fā)射激光的單反相機(jī)。
與眼睛接收回聲的方式類似，這些方法利用手機(jī)激光在物體表面的反射路徑，算法預(yù)測(cè)在角落里無(wú)法直接看到的物體。
2017 年，麻省理工學(xué)院計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室 (CSAIL) 開發(fā)了一種新算法。 該人工智能系統(tǒng)可以使用智能手機(jī)的攝像頭收集有關(guān)光反射的信息并測(cè)量隱藏在障礙物后面的任何物體。 實(shí)時(shí)檢測(cè)其連接速度和行進(jìn)軌跡。
想象一下，您正沿著“L”形過(guò)道行走，拐角的另一邊有一堆雜物。 這種雜亂的光線會(huì)在您視線范圍內(nèi)的地面上投射少量的光線，從而產(chǎn)生我們稱之為“半影”的模糊陰影。
AI系統(tǒng)利用智能手機(jī)攝像頭中半影的視頻，將一系列一維圖像組合起來(lái)，弄清周圍物體的信息。
研究人員還將這種“透視眼”系統(tǒng)稱為“轉(zhuǎn)角單反”( SLR)，研究人員表示，這些方法無(wú)論是在室外還是在室外，都有很好的療效。
這些方法也存在隱患。 如果隱藏場(chǎng)景本身較暗，系統(tǒng)的識(shí)別也會(huì)出現(xiàn)問(wèn)題。 此外，智能手機(jī)的單反像素也會(huì)影響采集圖像的質(zhì)量。 單反相機(jī)中的障礙物越遠(yuǎn)，系統(tǒng)采集到的圖像就越多，圖像質(zhì)量也就越差。
但在最新的研究中，這些弊病并沒有被揭露出來(lái)。 波士頓學(xué)院的研究人員表示，理論上，你可以拍攝同一房間內(nèi)任何光線昏暗的物體以及屏幕的照片。
門戶網(wǎng)站
你可以轉(zhuǎn)到原文繼續(xù)理解，論文中有：
作者：John-Bruce&
-超過(guò)-
真誠(chéng)緊急
量子比特招聘編輯/記者，工作地點(diǎn)在上海中關(guān)村。 期待有才華和熱心的朋友加入我們！ 相關(guān)詳情請(qǐng)?jiān)诹孔游还娞?hào)（）對(duì)話界面回復(fù)“招聘”字樣。
量子位頭條簽約作者
?'?'?追蹤AI技術(shù)和產(chǎn)品的最新動(dòng)態(tài)