3D視覺技術的發展

近年(nian)來(lai)，隨著(zhu)芯片技術(shu)的發展(zhan)以及相(xiang)關(guan)軟硬件系統的深(shen)入，視覺傳感器得(de)到了極為廣泛的應用(yong)。社會越(yue)來(lai)越(yue)智(zhi)能，可以使用(yong)人工智(zhi)能和大數據(ju)技術(shu)將人們(men)記錄下來(lai)的圖(tu)像智(zhi)能地(di)利用(yong)起來(lai)，而不(bu)是用(yong)一個個柜子(zi)將圖(tu)像、視頻束之高閣(ge)。

從膠卷，到CCD 再到現(xian)在(zai)(zai)特(te)別成(cheng)熟、隨處可見(jian)的(de)(de)CMOS，我們對(dui)圖(tu)像傳感器的(de)(de)性(xing)能(neng)追求也(ye)逐漸發(fa)生了改變。手機上開始出現(xian)前攝(she)、后(hou)攝(she)，后(hou)攝(she)也(ye)出現(xian)了俗稱的(de)(de)“浴霸”、“加特(te)林”。在(zai)(zai)算法的(de)(de)加持(chi)下，每(mei)顆攝(she)像頭的(de)(de)用(yong)處都不(bu)一樣。

而18、19年將是3D圖像傳感(gan)器(qi)(qi)(qi)起(qi)飛(fei)與騰飛(fei)的兩(liang)年。有了3D傳感(gan)器(qi)(qi)(qi)，我們就(jiu)更(geng)容(rong)易做基于事件的分析并直接指導(dao)我們身邊圖像的優化做出體感(gan)游戲(xi)、人臉支付、機器(qi)(qi)(qi)人自(zi)動避障、工業自(zi)動分揀(jian)等應用。

2016年，AlphaGo成(cheng)為個不借助讓子而擊敗圍棋職業九(jiu)段棋手李(li)世石(shi)的計算機圍棋程序，這件事引起了人類的轟動，也(ye)展開了各種(zhong)討論。隨之而來(lai)的是(shi)人工智能鋪(pu)天(tian)蓋地的宣傳(chuan)，這給了無數人信心，機器智能化的大浪潮撲面而來(lai)。

現在(zai)AI是一個(ge)很(hen)火的(de)詞。很(hen)多人(ren)都(dou)想做AI，也有很(hen)多人(ren)想往AI上面靠，AI的(de)出現就相當于我們有了一個(ge)聰明(ming)的(de)大腦。以(yi)前的(de)處(chu)理器，只能處(chu)理一個(ge)特定場景的(de)問題，AI給這(zhe)個(ge)世界帶來(lai)了可以(yi)自我學習(xi)、自我改進的(de)功能，特別是對復雜場景的(de)處(chu)理，AI更“聰明(ming)”。

可是(shi)只有AI，自動駕(jia)駛也做不起來，它還需要攝像(xiang)頭(tou)、激光雷(lei)達(da)、毫米(mi)波雷(lei)達(da)等各類傳(chuan)感器。

人臉識別也是非常好的一項技術，可以用來做人臉識別閘機、人臉無感支付，但是現在很多時候人臉識別還是容易受到環境干擾、hei客攻擊。
所以(yi)，想把AI做好，傳(chuan)感器(qi)對我們進入智能時(shi)代至關(guan)重要。有(you)了3D傳(chuan)感器(qi)，掃地機(ji)不會跌跌撞(zhuang)撞(zhuang)，僅憑一(yi)張照片一(yi)個視頻也騙(pian)不開手(shou)機(ji)解(jie)鎖(suo)，自(zi)動駕駛也能檢(jian)測到來往行(xing)人、車(che)輛，變得更安全。

3D傳感器在AI幾(ji)乎所有的領(ling)域都有廣泛的應(ying)用，比如新零售(shou)，自動駕駛，個(ge)性(xing)化教育，智(zhi)慧醫療，智(zhi)能安防，智(zhi)能監護，智(zhi)能機器人等等。 2019年，我們也將迎來(lai)3D視覺(jue)技術(shu)在各個(ge)領(ling)域的廣泛應(ying)用。

1、 雙目視覺
談到3D視覺，主要就是指圖像不僅僅是二維的XY坐標，還要感受被拍照物體的距離遠近，大小尺寸，也就是空間坐標Z。
我們(men)人(ren)(ren)靠(kao)著左(zuo)右(you)兩只眼(yan)可以估計出前方(fang)的門在3m處，桌子(zi)上(shang)的茶杯(bei)在1.5m處，遠處的樹(shu)大概在10m。仿生學是被應用得非常(chang)好的，通過兩只攝像頭，無人(ren)(ren)機可以分(fen)辨前方(fang)障(zhang)礙物一根電線桿的距離(li)。因(yin)為在它的左(zuo)眼(yan)中，物體坐標(biao)為A，相應的視(shi)場角度(du)α， 右(you)眼(yan)坐標(biao)為B，相應的視(shi)場角度(du)β，而(er)基(ji)線距離(li)x是早(zao)先(xian)就(jiu)在機械結構(gou)上(shang)確定(ding)的。這樣(yang)通過下面(mian)的公式，我們(men)就(jiu)可以得到空(kong)間點的z軸距離(li)。

這(zhe)個方法已(yi)經沿用(yong)了很多年(nian)，從技術(shu)上來說，視(shi)野里面(mian)所有(you)的(de)點(dian)都(dou)不可靠了，不能確定左(zuo)右眼(yan)中的(de)兩個點(dian)是(shi)(shi)不是(shi)(shi)同一個點(dian)。它的(de)優點(dian)就(jiu)是(shi)(shi)觀測距離(li)遠，精度(du)(du)高(gao)，成本相對較低。缺點(dian)就(jiu)是(shi)(shi)面(mian)對單一場景，例如一面(mian)白(bai)墻，波動的(de)水面(mian)，皚(ai)皚(ai)的(de)白(bai)雪，綠油(you)油(you)的(de)草地，我們人(ren)(ren)都(dou)會失去參(can)考(kao)點(dian)，這(zhe)時候無(wu)人(ren)(ren)機或處理器(qi)就(jiu)無(wu)法計算出(chu)深度(du)(du)。

這也就(jiu)是為(wei)什么雙(shuang)目攝像頭鮮(xian)少應用在(zai)手機、人臉識別、人臉解(jie)鎖等方面。

另外一(yi)個問題是(shi)，如(ru)果(guo)我(wo)們要(yao)將物體表面做(zuo)一(yi)個高分(fen)辨率深度探(tan)測，那么(me)處理器先要(yao)做(zuo)多點(dian)的(de)(de)圖像(xiang)數據匹配(pei)，這個匹配(pei)算(suan)法的(de)(de)算(suan)力要(yao)求就超(chao)乎一(yi)般(ban)人想(xiang)象(xiang)，然后再執行圖中公式的(de)(de)計算(suan)，而這個運算(suan)是(shi)三角(jiao)函數級(ji)別，比較(jiao)復雜。可以想(xiang)象(xiang)如(ru)果(guo)需(xu)要(yao)將人臉(lian)表面做(zuo)1000個點(dian)的(de)(de)深度信(xin)息(xi)建模，那么(me)所需(xu)要(yao)的(de)(de)運算(suan)量是(shi)多么(me)的(de)(de)復雜。

2、結構光
2017年iPhone X面世，它采用3D結構光(guang)的方式，將我們(men)人臉的3D數據測算出(chu)來，又(you)一次了(le)技術潮(chao)流。

對于結構光，其實也是(shi)(shi)一個很古老的技術，只不過(guo)蘋(pin)果可以把(ba)它做到(dao)手機(ji)里面(mian)，還是(shi)(shi)比較讓大家吃驚(jing)的。

左圖是一個3d結構光的(de)(de)(de)簡單實驗(yan)版。通(tong)過(guo)右邊的(de)(de)(de)投(tou)影(ying)儀(yi)可以投(tou)影(ying)出(chu)黑(hei)白相(xiang)間的(de)(de)(de)條(tiao)紋(wen)狀(zhuang)(zhuang)圖案，打在一個狐貍面具上面這(zhe)些條(tiao)紋(wen)狀(zhuang)(zhuang)的(de)(de)(de)圖案就會產生一定的(de)(de)(de)畸變。通(tong)過(guo)CCD相(xiang)機將這(zhe)個畸變的(de)(de)(de)形(xing)狀(zhuang)(zhuang)拍下來之后，便可以通(tong)過(guo)這(zhe)個畸變的(de)(de)(de)狀(zhuang)(zhuang)態，去計算(suan)出(chu)這(zhe)個面具相(xiang)應的(de)(de)(de)凹凸(tu)不平(ping)的(de)(de)(de)3D信(xin)息。比(bi)如條(tiao)紋(wen)向左彎(wan)曲，就代(dai)表凸(tu)起(qi)，向右彎(wan)曲代(dai)表凹陷。

單點(dian)結構光的三(san)(san)角測距(ju)法基(ji)本原理如(ru)右(you)圖(tu)，激光光源打出一(yi)個(ge)很小很亮的紅點(dian)，傳感器接收到(dao)(dao)之后，就可以在sensor表面找到(dao)(dao)這個(ge)特(te)別亮的點(dian)的坐標(biao)(biao)（x’，y’）。結合光源的投影角，基(ji)線(xian)距(ju)離b，鏡頭焦距(ju)f，就可以通過(guo)上(shang)面的公式解析出三(san)(san)軸(zhou)坐標(biao)(biao)（x,y,z）了。

而IPHONE X使用(yong)了(le)3萬(wan)個點(dian)的(de)(de)(de)(de)投(tou)射(she)器(qi)，然后通過一百(bai)四(si)十萬(wan)像素的(de)(de)(de)(de)紅外攝像頭，將(jiang)(jiang)這些投(tou)射(she)點(dian)的(de)(de)(de)(de)信(xin)息全部都采集回來，這中間一個復(fu)雜的(de)(de)(de)(de)問題(ti)，就是(shi)(shi)要將(jiang)(jiang)這3萬(wan)個點(dian)每一個點(dian)匹配。這里面難(nan)的(de)(de)(de)(de)就是(shi)(shi)要找到打(da)在臉上的(de)(de)(de)(de)點(dian)的(de)(de)(de)(de)ID，也就是(shi)(shi)得知道(dao)打(da)出點(dian)的(de)(de)(de)(de)投(tou)射(she)角，基線距離(li)。這個匹配算法是(shi)(shi)需要非常大量的(de)(de)(de)(de)計(ji)算的(de)(de)(de)(de)。而且為了(le)降低計(ji)算量，這3萬(wan)個點(dian)的(de)(de)(de)(de)排(pai)布在我(wo)們(men)看來是(shi)(shi)隨機的(de)(de)(de)(de)，實際是(shi)(shi)符(fu)合某種數學幾何規律的(de)(de)(de)(de)。

可(ke)以看到這個(ge)計算(suan)公式(shi)里面包含了(le)各項(xiang)幾何參數，所(suo)以對組裝(zhuang)工藝(yi)要求(qiu)很高(gao)，而且后期客(ke)戶將手機摔倒了(le)或者震(zhen)動，都(dou)可(ke)能(neng)會影響3D測(ce)量精度。

另(ling)外這(zhe)塊(kuai)由于(yu)專li的(de)(de)保護，別人(ren)很難進入(ru)。所以(yi)業(ye)內對于(yu)蘋(pin)果(guo)能(neng)推出(chu)這(zhe)個方案，還是很佩服的(de)(de)，蘋(pin)果(guo)還是具備相(xiang)當(dang)強大(da)的(de)(de)工程能(neng)力。因為IPHONE X的(de)(de)利潤率不(bu)錯，蘋(pin)果(guo)可(ke)以(yi)做這(zhe)塊(kuai)的(de)(de)事(shi)情(qing)。而別的(de)(de)廠(chang)商做這(zhe)個就挺痛苦的(de)(de)，受限于(yu)成本和(he)技(ji)術難度(du)。

來源：光電微(wei)課堂