dToF開(kāi)啟深度信息的新未來(lái)

3D sensing是智能手機(jī)創(chuàng)新的趨勢(shì)之一，當(dāng)前正加速向中低端手機(jī)滲透。目前實(shí)現(xiàn)3D sensing共有三種技術(shù)，分別為雙目立體成像、結(jié)構(gòu)光和ToF，目前已經(jīng)比較成熟的方案是結(jié)構(gòu)光和ToF。其中結(jié)構(gòu)光方案最為成熟，已經(jīng)大規(guī)模應(yīng)用于工業(yè)3D視覺(jué)，ToF則憑借自身優(yōu)勢(shì)成為在移動(dòng)端較被看好的方案。

ToF的多場(chǎng)景應(yīng)用呈現(xiàn)出了比結(jié)構(gòu)光更為廣闊的發(fā)展前景。作用距離的劣勢(shì)限制結(jié)構(gòu)光的應(yīng)用，ToF技術(shù)則彌補(bǔ)了距離上的缺陷，可以被應(yīng)用于包含3D人臉識(shí)別、3D建模以及手勢(shì)識(shí)別、體感游戲、AR/VR在內(nèi)的更多場(chǎng)景中，能夠?yàn)橹悄苁謾C(jī)帶來(lái)更娛樂(lè)性和實(shí)用性的體驗(yàn)。此外，相比結(jié)構(gòu)光技術(shù)，ToF的模組復(fù)雜度低，堆疊簡(jiǎn)單，可以做到非常小巧且堅(jiān)固耐用，在屏占比不斷提高的外觀趨勢(shì)下，更得到手機(jī)廠商的青睞。

ToF（Time of Flight），通過(guò)測(cè)量發(fā)射光與反射光的飛行時(shí)間計(jì)算出光源與物體之間的距離，本質(zhì)上是時(shí)間維度測(cè)量。根據(jù)測(cè)距的方式不同，目前存在兩種ToF技術(shù)路線：iToF（間接飛行時(shí)間，indirect-ToF）和dToF（直接飛行時(shí)間，direct-ToF）。dToF直接測(cè)量飛行時(shí)間，原理是通過(guò)直接向測(cè)量物體發(fā)射光脈沖，并測(cè)量反射光脈沖和發(fā)射光脈沖之間的時(shí)間間隔，得到光的飛行時(shí)間，從而直接計(jì)算待測(cè)物體的深度。iToF則是通過(guò)發(fā)射特定頻率的調(diào)制光，檢測(cè)反射調(diào)制光和發(fā)射的調(diào)制光之間的相位差，測(cè)量飛行時(shí)間。

iToF間接測(cè)量飛行時(shí)間，具備低成本、較高分辨率優(yōu)勢(shì)，適用于短距離測(cè)距。iToF原理為把發(fā)射的光調(diào)制成一定頻率的周期型信號(hào)，測(cè)量該發(fā)射信號(hào)與到達(dá)被測(cè)量物反射回接收端時(shí)的相位差，間接計(jì)算出飛行時(shí)間。由于iToF sensor的pixel相對(duì)較小，可實(shí)現(xiàn)相對(duì)高圖像分辨率。但iToF問(wèn)題在于的測(cè)距精度的實(shí)現(xiàn)限制了最大測(cè)距距離，從原理上看，調(diào)制頻率越高則測(cè)距精度越好，高調(diào)制頻率意味著對(duì)應(yīng)的測(cè)距距離不能太大，并且環(huán)境光會(huì)對(duì)電路產(chǎn)生干擾。因此目前iToF主要應(yīng)用在手機(jī)面部識(shí)別、手勢(shì)識(shí)別等測(cè)距距離較短的場(chǎng)景中。

iToF傳感器電路相對(duì)簡(jiǎn)單，難點(diǎn)主要在深度算法，安卓陣營(yíng)自2018年引入iToF并推動(dòng)其主流化。目前如三星、華為、OPPO、vivo等品牌均有在中高端機(jī)型中配臵，除此之外，iToF在物體識(shí)別，3D重建以及行為分析等應(yīng)用場(chǎng)景中能夠重現(xiàn)場(chǎng)景中更多的細(xì)節(jié)信息，因此還被廣泛應(yīng)用于機(jī)器人、新零售等領(lǐng)域。

dToF直接測(cè)量飛行時(shí)間，具備低功耗、抗干擾等優(yōu)勢(shì)，適用于對(duì)測(cè)距精度要求高的較遠(yuǎn)距離測(cè)距場(chǎng)景。dToF原理為向被測(cè)物體發(fā)射光脈沖，通過(guò)對(duì)反射和發(fā)射光脈沖時(shí)間間隔的測(cè)量，直接計(jì)算待測(cè)物體的深度。測(cè)距原理使得dTOF測(cè)量精度不會(huì)因距離增大而降低，功耗更低同時(shí)對(duì)環(huán)境光的抗干擾能力更強(qiáng)。

dToF深度算法相對(duì)簡(jiǎn)單，難點(diǎn)在于用以實(shí)現(xiàn)較高精度的SPAD。dToF要檢測(cè)光脈沖信號(hào)（納秒甚至皮秒級(jí)），因而對(duì)光的敏感度要求會(huì)很高，因此接收端通常選擇SPAD（單光子雪崩二極管）或者APD（雪崩光電二極管）這類(lèi)傳感器來(lái)實(shí)現(xiàn)，集成度弱于普通的CMOS圖像傳感器，像素尺寸一般大于10μm，從而分辨率通常較差，成本更高。SPAD是dTOF技術(shù)的核心，技術(shù)難度大且制作工藝復(fù)雜，目前世界上極少?gòu)S家具備量產(chǎn)能力，集成難度很高難以小型化應(yīng)用在手機(jī)等小型消費(fèi)電子上，因而除傳統(tǒng)熱門(mén)應(yīng)用領(lǐng)域車(chē)載LiDAR之外，消費(fèi)電子領(lǐng)域目前僅有蘋(píng)果一家實(shí)現(xiàn)商用（iPad Pro首次搭載）。

未來(lái)TOF會(huì)向更高集成度、更小的傳感器尺寸、更高分辨率發(fā)展。目前傳統(tǒng)的CIS單像素尺寸最小可達(dá)到0.7μm，而目前0.6μm也已經(jīng)在研發(fā)中。但ToF傳感器更要求單像素獲取信號(hào)的能力，因而需要更大的單像素尺寸；dToF傳感器電路設(shè)計(jì)比較復(fù)雜，需占據(jù)較大的片上尺寸；iTOF像素尺寸則需暫時(shí)讓步于更高的集光效率。種種原因使得ToF圖像傳感器的小型化存在一定困難。

半導(dǎo)體工藝改進(jìn)將有望實(shí)現(xiàn)TOF傳感器小型化。ToF傳感器廠商通過(guò)半導(dǎo)體工藝方案的改進(jìn)，如背照式（BSI）、堆棧式（Stacked）CMOS等技術(shù)，將原本位于光電二極管上方的布線層移至下方，以及將光電轉(zhuǎn)換器、電子倍增器（electron multipier）這些部分垂直堆疊，增大像素開(kāi)口率，同時(shí)減小像素尺寸。目前根據(jù)松下最新的研究成果，dToF傳感器也可以用CMOS工藝實(shí)現(xiàn)，集成度已經(jīng)在數(shù)量級(jí)上逼近iToF方案。

目前ToF技術(shù)低分辨率的固有缺陷仍然存在，未來(lái)有望隨技術(shù)更迭而實(shí)現(xiàn)突破。目前ToF測(cè)量精度量級(jí)仍然相較結(jié)構(gòu)光方案落后，但近兩年其傳感器分辨率已經(jīng)在提升。iToF方面，英飛凌面向消費(fèi)市場(chǎng)的一般REAL3?傳感器（iToF）也達(dá)到了3.8萬(wàn)像素，2019年推出的IRS2771C則達(dá)到15萬(wàn)像素；dToF方面，例如iPad Pro 2020的LiDAR分辨率達(dá)到了3萬(wàn)像素；另外TDC電路設(shè)計(jì)進(jìn)步也逐步提升著CMOS電路中的TDC時(shí)間分辨率精度，有望帶來(lái)dToF的分辨率的提升。

ToF未來(lái)最有潛力的應(yīng)用在AR領(lǐng)域

目前手機(jī)是ToF在消費(fèi)電子中的主要應(yīng)用領(lǐng)域，隨著市場(chǎng)對(duì)3D視覺(jué)與識(shí)別技術(shù)的興趣日益濃厚，頭部終端廠商推動(dòng)TOF技術(shù)在3D感知和成像方向上不斷拓展，我們看到TOF技術(shù)在智能手機(jī)端加速滲透，TOF的使用進(jìn)一步豐富著3D sensing的應(yīng)用場(chǎng)景。伴隨AR/VR的發(fā)展，ToF有望成為智能手機(jī)攝像頭的下一個(gè)風(fēng)口。

ToF助力消費(fèi)級(jí)AR普及。ToF技術(shù)的應(yīng)用亦是AR、VR時(shí)代的催化劑。考慮到ToF的兩個(gè)獨(dú)特的優(yōu)點(diǎn)——作用距離長(zhǎng)、刷新率高，存在遠(yuǎn)距離3D測(cè)距需求的AR/VR是最能體現(xiàn)TOF優(yōu)勢(shì)的功能之一。3D攝像頭技術(shù)提供的手勢(shì)識(shí)別功能將成為未來(lái)AR/VR領(lǐng)域的核心交互手段。目前各大廠商推出的VR設(shè)備大都需要控制器，游戲控制器的優(yōu)勢(shì)在于控制反饋及時(shí)、組合狀態(tài)多。

根據(jù)Markets and Markets，2019年全球AR市場(chǎng)規(guī)模達(dá)到107億美元，預(yù)計(jì)到2024年將達(dá)到727億美元，復(fù)合增長(zhǎng)率達(dá)46.6%。過(guò)去幾年中，以Facebook、英特爾、高通和三星為代表的公司在AR領(lǐng)域進(jìn)行了大量投資，推動(dòng)了全球AR市場(chǎng)的快速增長(zhǎng)。中國(guó)AR市場(chǎng)規(guī)模預(yù)計(jì)在2024年將達(dá)到約59億美元，從下游應(yīng)用來(lái)看，工業(yè)應(yīng)用占比最大，約占42%，其次是汽車(chē)（18%），零售（15%）以及航空與國(guó)防（10%）等。

AR室內(nèi)設(shè)計(jì)。2020款iPad Pro使用了dToF LiDAR技術(shù)，通過(guò)這一技術(shù)可以獲得3D空間的深度信息，建立詳細(xì)的室內(nèi)環(huán)境空間數(shù)據(jù)，模擬出擺放了新家具后的情況。宜家的IKEA Place應(yīng)用，利用AR讓家居產(chǎn)品的外觀和在家中的擺放效果直接呈現(xiàn)在用戶(hù)眼前。

醫(yī)療學(xué)習(xí)。Complete Anatomy是一款教醫(yī)學(xué)院學(xué)生通過(guò)虛擬技術(shù)了解心臟、實(shí)時(shí)肌肉運(yùn)動(dòng)、神經(jīng)系統(tǒng)等人體結(jié)構(gòu)的軟件，在2020款iPad Pro上可以使用這一軟件，它將幫助專(zhuān)業(yè)人士更準(zhǔn)確的評(píng)估病人的身體運(yùn)動(dòng)情況，為未來(lái)醫(yī)學(xué)發(fā)展帶來(lái)更多可能性。

3D攝像頭技術(shù)提供的手勢(shì)識(shí)別功能將成為未來(lái)AR/VR領(lǐng)域的核心交互手段。目前各大廠商推出的VR設(shè)備大都需要控制器，游戲控制器的優(yōu)勢(shì)在于控制反饋及時(shí)、組合狀態(tài)多。以HoloLens為例，就擁有一組四個(gè)環(huán)境感知攝像頭和一個(gè)深度攝像頭，環(huán)境感知攝像頭用于人腦追蹤，深度攝像頭用于輔助手勢(shì)識(shí)別并進(jìn)行環(huán)境的三維重構(gòu)。

拍照虛化。ToF具備更好的景深信息采集功能，加入智能手機(jī)后攝模組后，能夠?qū)崿F(xiàn)快速、遠(yuǎn)距離獲取更高精度的深度圖（depth map），從而完成較結(jié)構(gòu)光范圍更大的3D建模，而且由于自帶紅外光源，其在暗光環(huán)境下獲得的景深信息同樣準(zhǔn)確。因此，有TOF攝像頭參與的成像在虛化效果上會(huì)更加真實(shí)，富有層次。華為2019年發(fā)布的旗艦機(jī)P30 Pro在后臵3D成像與感知模組中加入ToF鏡頭輔助，ToF鏡頭獲取的更多景深信息加強(qiáng)背景虛化功能，相比雙目視覺(jué)更加精準(zhǔn)，使得得到的圖像虛化邊緣更加清晰、更具表現(xiàn)力。

手勢(shì)識(shí)別。目前不少手機(jī)具備的懸浮手勢(shì)識(shí)別功能，不用直接接觸手機(jī)屏幕，僅借由前臵ToF的對(duì)手勢(shì)的3D感知，通過(guò)如在手機(jī)前揮揮手這樣簡(jiǎn)單的操作來(lái)實(shí)現(xiàn)翻頁(yè)、滾屏等普通操作。體感游戲相比前者更具交互性，通過(guò)TOF技術(shù)能夠采集到被拍攝人的身體深度信息，捕捉和采集身體的動(dòng)作，進(jìn)行手勢(shì)判定，控制預(yù)制的3D建模人偶的形象和動(dòng)作，實(shí)現(xiàn)真人和3D虛擬形象跟隨，用身體、動(dòng)作和手勢(shì)做游戲交互。

ToF技術(shù)的應(yīng)用是AR、VR時(shí)代的催化劑?？紤]到ToF的兩個(gè)獨(dú)特的優(yōu)點(diǎn)——作用距離長(zhǎng)、刷新率高，存在遠(yuǎn)距離3D測(cè)距需求的AR/VR是最能體現(xiàn)TOF優(yōu)勢(shì)的功能之一。3D攝像頭技術(shù)提供的手勢(shì)識(shí)別功能將成為未來(lái)AR/VR領(lǐng)域的核心交互手段。

dTOF技術(shù)的應(yīng)用有望推動(dòng)AR內(nèi)容的完善，加速消費(fèi)級(jí)AR普及。蘋(píng)果2017年便針對(duì)開(kāi)發(fā)者們發(fā)布了用于iOS設(shè)備上AR應(yīng)用開(kāi)發(fā)的ARKit開(kāi)發(fā)工具，2020年發(fā)布的iPad Pro為消費(fèi)電子設(shè)備首次搭載dToF模組，可視為蘋(píng)果針對(duì)5G時(shí)代AR領(lǐng)域的進(jìn)一步布局。iPad Pro搭載的LiDAR（激光雷達(dá)掃描儀），采用Sony 3萬(wàn)像素10μm dTOF圖像傳感器，SPAD陣列的探測(cè)器，并集成了Lumentum的VCSEL芯片和TI的VCSEL驅(qū)動(dòng)芯片，能達(dá)到ps級(jí)時(shí)間分辨率，可實(shí)現(xiàn)5米范圍內(nèi)的3D感知與成像，具備更快的AR建模速度、更高的測(cè)量精度和更少的抖動(dòng)、錯(cuò)位。

Sony的dTOF方案首次采用3D堆疊工藝，像素內(nèi)連接通過(guò)混合鍵合互連技術(shù)將探測(cè)器晶圓和邏輯電路晶圓鍵合實(shí)現(xiàn)，同時(shí)，深溝槽隔離（Deep trench isolation）也被應(yīng)用，充滿(mǎn)金屬的溝槽完全隔離了像素。從而有效控制了dTOF傳感器的尺寸，使其成功的應(yīng)用在iPad這類(lèi)小型消費(fèi)電子設(shè)備中。

目前iPad Pro的LiDAR共呈現(xiàn)出三種典型場(chǎng)景的應(yīng)用。AR測(cè)量、AR游戲和AR裝修設(shè)計(jì)。

AR測(cè)量：LiDAR可以快速計(jì)算人的身高，并展現(xiàn)垂直和邊緣引導(dǎo)線。通過(guò)開(kāi)發(fā)者開(kāi)發(fā)的app可實(shí)現(xiàn)對(duì)物體尺寸、建筑物更精細(xì)的測(cè)量。

AR游戲：LiDAR通過(guò)對(duì)周?chē)鎸?shí)環(huán)境的掃描和快速獲得深度信息能力，為AR游戲開(kāi)辟了更廣闊的設(shè)計(jì)空間。如官網(wǎng)展示的《熾熱熔巖(Hot Lava)》電子游戲，可以把客廳變成一個(gè)虛擬的熔巖環(huán)境，游戲中的玩家可以跳到家具上以此來(lái)避開(kāi)模擬中的地板熔巖。iPad Pro上市后帶動(dòng)開(kāi)發(fā)者不斷豐富iOS平臺(tái)上AR游戲內(nèi)容，也使一些原有的AR游戲因?yàn)橥娣ㄉ?jí)而更具有生命力。

AR裝修：iOS上的Shapr3D app，借助LiDAR對(duì)房間進(jìn)行掃描創(chuàng)建3D模型，用戶(hù)可以對(duì)該模型展開(kāi)編輯或添加新對(duì)象，使用AR可以查看實(shí)際房間在編輯后的虛擬效果，幫助用戶(hù)在裝修動(dòng)工前更真切體驗(yàn)設(shè)計(jì)效果。宜家Place應(yīng)用同樣可以通過(guò)掃描一個(gè)房間獲得與之匹配的家具推薦，然后使用AR查看家具擺放效果。

dTOF在iPad Pro上的應(yīng)用，可以視為蘋(píng)果打通AR生態(tài)硬件基礎(chǔ)的第一步。未來(lái)蘋(píng)果通過(guò)技術(shù)改進(jìn)和突破，有望將dTOF引入手機(jī)端以及更多地AR設(shè)備，促進(jìn)AR硬件設(shè)備的發(fā)展同時(shí)，也激發(fā)設(shè)計(jì)師基于dTOF的特性開(kāi)發(fā)如建筑、教育、醫(yī)療等更多場(chǎng)景的AR內(nèi)容應(yīng)用，推動(dòng)AR應(yīng)用生態(tài)持續(xù)完善。

華為河圖（Cyberverse）定義地球級(jí)XR應(yīng)用（包括VR、AR、MR等擴(kuò)展現(xiàn)實(shí)技術(shù)），將AR應(yīng)用拓展到更廣闊的數(shù)字世界。華為河圖（Cyberverse）被定義用來(lái)提供地球級(jí)的虛擬現(xiàn)實(shí)融合服務(wù)的數(shù)字平臺(tái)，華為AR地圖是其推出的第一個(gè)商業(yè)產(chǎn)品，主要功能包括AR實(shí)景導(dǎo)航、全息信息展示、虛實(shí)融合拍照及其他虛擬活動(dòng)等。全場(chǎng)景空間計(jì)算能力是河圖的核心，這一能力所需的宏觀地圖可以使用衛(wèi)星定位，而室內(nèi)及一些微觀場(chǎng)所的建模定位則依賴(lài)智能手機(jī)的3D Sensing來(lái)完成。目前華為P40系列機(jī)型已經(jīng)能夠支持華為AR地圖。

下一波移動(dòng)終端創(chuàng)新將圍繞AR進(jìn)行革命性創(chuàng)新。AR/VR開(kāi)發(fā)平臺(tái)的搭建和完善，及增強(qiáng)現(xiàn)實(shí)內(nèi)容市場(chǎng)的蓬勃發(fā)展，必然會(huì)推動(dòng)TOF產(chǎn)業(yè)的發(fā)展。TOF有望接力結(jié)構(gòu)光，從生物感知到虛擬現(xiàn)實(shí)，從人臉識(shí)別到3D建模，帶來(lái)產(chǎn)業(yè)端升級(jí)和用戶(hù)體驗(yàn)優(yōu)化，前臵人臉識(shí)別+后臵虛擬現(xiàn)實(shí)功能可能成為手機(jī)的下一個(gè)形態(tài)。伴隨AR/VR的發(fā)展，ToF有望成為5G時(shí)代智能手機(jī)攝像頭的下一個(gè)風(fēng)口。

下一波創(chuàng)新性革命，TOF市場(chǎng)空間巨大

下一波移動(dòng)終端創(chuàng)新將圍繞AR進(jìn)行革命性創(chuàng)新。隨著增強(qiáng)現(xiàn)實(shí)內(nèi)容市場(chǎng)的蓬勃發(fā)展，內(nèi)容廠商不斷推動(dòng)AR/VR開(kāi)發(fā)平臺(tái)的發(fā)展，必然會(huì)推動(dòng)TOF產(chǎn)業(yè)的發(fā)展。TOF有望接力結(jié)構(gòu)光，從生物感知到虛擬現(xiàn)實(shí)，從人臉識(shí)別到3D建模，帶來(lái)產(chǎn)業(yè)端升級(jí)和用戶(hù)體驗(yàn)優(yōu)化，前臵人臉識(shí)別+后臵虛擬現(xiàn)實(shí)功能可能成為手機(jī)的下一個(gè)形態(tài)。伴隨AR/VR的發(fā)展，ToF有望成為智能手機(jī)攝像頭的下一個(gè)風(fēng)口。

我們看到2019年3D感測(cè)手機(jī)大多集中在高端機(jī)等旗艦機(jī)型，結(jié)構(gòu)光以蘋(píng)果為代表，自iPhoneX后的機(jī)型都已經(jīng)搭載結(jié)構(gòu)光功能，而華為搭載TOF的機(jī)型數(shù)量最多。根據(jù)Yole的預(yù)測(cè)數(shù)據(jù)也顯示，全球3D成像和傳感器的市場(chǎng)規(guī)模在2016–2022年的CAGR為38％，2017年市場(chǎng)規(guī)模18.3億美元，2022年將超過(guò)90億美元。其中，消費(fèi)電子是增速最快的應(yīng)用場(chǎng)，2016–2022年的CAGR高達(dá)160％，到2022年消費(fèi)電子市場(chǎng)規(guī)模將超過(guò)60億美元。

從出貨量上來(lái)看，我們預(yù)測(cè)智能手機(jī)3D感測(cè)需求將從2017年的4000萬(wàn)部增加至2019年的2億部以上，其中2019年的ToF機(jī)型還主要集中在幾款高端旗艦機(jī)，從2020年開(kāi)始TOF的出貨量將進(jìn)一步爆發(fā)，在整體3D感應(yīng)中占比有望達(dá)到40%。

我們預(yù)測(cè)2019/2020年TOF的出貨量為7760萬(wàn)/1.6億部，同比大幅增長(zhǎng)747%/108%。

　BOM比較：TOF或更具成本優(yōu)勢(shì)

我們預(yù)計(jì)ToF和結(jié)構(gòu)光的BOM成本大約為12~15美元和20美元，相比之下TOF更具有成本優(yōu)勢(shì)。以iPhone X為例，結(jié)構(gòu)光技術(shù)的解決方案包括三個(gè)子模塊（點(diǎn)投影儀，近紅外攝像機(jī)和泛光照明器+接近傳感器），而ToF解決方案則將三個(gè)集成到一個(gè)模塊中，可以將包裝成本降低。

我們預(yù)計(jì)在這個(gè)TOF模組中，芯片的成本仍占主要的部分，大約占到整體BOM的28%~30%。

深度解析3D Sensing攝像頭產(chǎn)業(yè)鏈

目前TOF或結(jié)構(gòu)光的3D感知技術(shù)均為主動(dòng)感知，因此3D攝像頭產(chǎn)業(yè)鏈與傳統(tǒng)攝像頭產(chǎn)業(yè)鏈相比主要新增加紅外光源、紅外傳感器和光學(xué)組件等部分。通過(guò)對(duì)已經(jīng)上市的主流3D攝像頭產(chǎn)品進(jìn)行拆解分析，3D攝像頭產(chǎn)業(yè)鏈可以被分為：

1、上游：紅外傳感器、紅外光源、光學(xué)組件、光學(xué)鏡頭以及CMOS圖像傳感器。

2、中游：傳感器模組、攝像頭模組、光源代工、光源檢測(cè)以及圖像算法。

3、下游：終端廠商以及應(yīng)用。

TOF和結(jié)構(gòu)光二者雖然原理不同，但其所需要的核心部件基本相同，TOF中的核心部件包括發(fā)射端的VCSEL光源、Diffuser等，接收端的鏡頭、窄帶濾光片、近紅外CMOS等。

參考資料來(lái)自：國(guó)盛證券、馭勢(shì)資本研究所