隨著物聯(lián)網(wǎng)技術(shù)的迅猛發(fā)展，室內(nèi)定位與視頻融合技術(shù)在各行各業(yè)中得到了廣泛應(yīng)用。不僅能夠提供精確的位置信息，還能通過(guò)實(shí)時(shí)視頻監(jiān)控實(shí)現(xiàn)全方位數(shù)據(jù)的可視化。

與此同時(shí)，數(shù)字孿生等技術(shù)的興起為智慧城市、智慧工廠等應(yīng)用提供了強(qiáng)大支持，使得復(fù)雜系統(tǒng)的數(shù)字化管理成為可能。通過(guò)結(jié)合三維可視化及室內(nèi)定位，視頻融合、鷹眼 AR、視頻拼接等技術(shù)，為決策提供更直觀的數(shù)字化視角，推動(dòng)了相關(guān)領(lǐng)域的快速發(fā)展。

圖撲軟件(Hightopo)的自主研發(fā)產(chǎn)品 HT for Web 能夠?qū)⒁曨l監(jiān)控與室內(nèi)定位技術(shù)融合，進(jìn)行高效的可視化項(xiàng)目搭建，輕松實(shí)現(xiàn)視頻與定位數(shù)據(jù)的動(dòng)態(tài)展示與交互，打造一個(gè)功能強(qiáng)大、直觀易用的視頻孿生可視化監(jiān)控系統(tǒng)。

• 系統(tǒng)分析

視頻融合

視頻融合的概念：視頻融合技術(shù)是虛擬現(xiàn)實(shí)技術(shù)的一個(gè)分支，也是虛擬現(xiàn)實(shí)技術(shù)發(fā)展的一個(gè)重要階段。它通過(guò)將來(lái)自不同視頻源的信息與 3D 場(chǎng)景進(jìn)行整合，生成一個(gè)連貫、無(wú)縫、并且虛實(shí)結(jié)合的新場(chǎng)景。這種技術(shù)不僅增加了虛擬場(chǎng)景與現(xiàn)實(shí)的互動(dòng)性，還減小了計(jì)算機(jī)模型中信息的不確定因素，提高了虛擬模型的信息承載量。

傳統(tǒng)的視頻監(jiān)控通常將所有視頻以網(wǎng)格化方式展示在大屏或網(wǎng)頁(yè)上，雖然可以讓監(jiān)控人員同時(shí)查看多個(gè)視頻源，但長(zhǎng)時(shí)間觀看容易導(dǎo)致疲勞和注意力下降。此外，若監(jiān)控人員對(duì)攝像頭布局不熟悉，在突發(fā)事件（如發(fā)現(xiàn)可疑人員活動(dòng)）中，可能無(wú)法快速感知現(xiàn)場(chǎng)情況，進(jìn)而無(wú)法立即進(jìn)行準(zhǔn)確定位和反應(yīng)。

圖撲軟件擁有獨(dú)立研發(fā)的 2D 和3D圖形引擎 HT for Web，充分利用其在3D渲染上的強(qiáng)大功能，結(jié)合自定義Shader，打造了處理視頻融合的插件，顯著提升了視頻的流暢性和視覺(jué)效果。該插件支持添加視頻到3D場(chǎng)景中，并通過(guò)顏色矯正、幾何校正、裁切、羽化、顏色剔除等手段將視頻完美融入周圍環(huán)境。在應(yīng)用過(guò)程中，利用視頻分布式布局的特點(diǎn)，結(jié)合視角位置，可在一個(gè)場(chǎng)景中支持超多路視頻。

視頻融合的基本流程

視頻融合技術(shù)一般可以分為三個(gè)層次：預(yù)處理、信息融合與應(yīng)用層。

■ 預(yù)處理層：對(duì)視頻圖像進(jìn)行幾何校正、噪聲消除、色彩亮度調(diào)整和配準(zhǔn)。通過(guò)找到視頻與三維場(chǎng)景或相鄰視頻間的最大相關(guān)，消除圖像在空間、相位和分辨率等方面的差異，實(shí)現(xiàn)更準(zhǔn)確的信息融合。

■ 信息融合層：即視頻圖像的與 3D 場(chǎng)景的融合過(guò)程。這一層可以根據(jù)智能度的不同，分為像素級(jí)和特征級(jí)：

像素級(jí)融合：主要用于多視頻的像素拼接融合，使多個(gè)圖像成為一個(gè)整體。

特征級(jí)融合：主要用于視頻與 3D 場(chǎng)景的融合，以明顯特征（如線條、建筑）為基礎(chǔ)，實(shí)現(xiàn)圖像和三維場(chǎng)景的拼接。

■ 應(yīng)用層：對(duì)融合后的視頻進(jìn)行綜合評(píng)估，并應(yīng)用于實(shí)際場(chǎng)景，如智慧城市的會(huì)議、監(jiān)控和輿情管理等

圖撲 HT視頻融合技術(shù)通過(guò)先進(jìn)的圖形圖像處理，將視頻畫面與三維場(chǎng)景無(wú)縫疊加。利用虛擬攝像機(jī)的位置、角度和視野對(duì)視頻信號(hào)進(jìn)行精確校準(zhǔn)，確保視頻與場(chǎng)景的視覺(jué)效果高度一致，實(shí)現(xiàn)了逼真的視頻融合效果。視頻融合可以提供更直觀、全面的視覺(jué)信息，幫助用戶更好地理解和分析場(chǎng)景中的實(shí)時(shí)監(jiān)控視頻。

視頻融合應(yīng)用場(chǎng)景

在現(xiàn)代地鐵站的管理中，視頻融合技術(shù)與圖撲3D 可視化的結(jié)合發(fā)揮了重要作用。

盡管三維建模和物聯(lián)網(wǎng)數(shù)據(jù)采集可以提供設(shè)備的運(yùn)行狀態(tài)，但它們僅能展示系統(tǒng)的虛擬視圖，無(wú)法直觀呈現(xiàn)現(xiàn)場(chǎng)的真實(shí)情況。例如，當(dāng)某個(gè)設(shè)備出現(xiàn)故障導(dǎo)致人群擁堵時(shí)，僅靠虛擬數(shù)據(jù)無(wú)法反映出現(xiàn)場(chǎng)的緊張程度和具體布局。在這方面，視頻融合技術(shù)通過(guò)整合和呈現(xiàn)實(shí)時(shí)的現(xiàn)場(chǎng)視頻，為管理團(tuán)隊(duì)提供了對(duì)地鐵站內(nèi)真實(shí)環(huán)境的清晰視角。

圖撲軟件通過(guò)將三維虛擬建模與實(shí)時(shí)視頻相結(jié)合，讓管理者不僅可以監(jiān)控設(shè)備的運(yùn)行狀態(tài)，還可以迅速識(shí)別并解決因設(shè)備故障引發(fā)的問(wèn)題，實(shí)現(xiàn)了虛擬與現(xiàn)實(shí)的最佳結(jié)合。這種技術(shù)應(yīng)用極大提升了決策的效率和現(xiàn)場(chǎng)響應(yīng)能力。

更多應(yīng)用場(chǎng)景

視頻融合技術(shù)在多個(gè)領(lǐng)域都有廣泛的應(yīng)用，包括但不限于：

■ 智慧城市：整合不同攝像頭和傳感器的數(shù)據(jù)，為城市管理提供全面、準(zhǔn)確的信息支持。

■ 工業(yè)生產(chǎn)：將多個(gè)攝像頭畫面合并，方便監(jiān)控人員實(shí)時(shí)了解生產(chǎn)線狀況，及時(shí)發(fā)現(xiàn)并處理問(wèn)題。

■ 公共安全：在公共場(chǎng)所和交通樞紐，視頻融合技術(shù)提高監(jiān)控效率，快速響應(yīng)和處理異常行為。

■ 交通管理：視頻融合技術(shù)實(shí)時(shí)監(jiān)控交通流量和交叉口情況，提高道路通行效率和交通安全。

圖撲視頻融合技術(shù)通過(guò)整合不同視頻源的信息與 3D 場(chǎng)景，生成一個(gè)連貫、無(wú)縫的虛實(shí)結(jié)合的新場(chǎng)景，提高了監(jiān)控效率和反應(yīng)速度。盡管視頻融合技術(shù)具有直觀展現(xiàn)、增強(qiáng)視頻利用價(jià)值和提升態(tài)勢(shì)掌控能力等優(yōu)點(diǎn)，但也面臨技術(shù)復(fù)雜度高、設(shè)備成本高和實(shí)時(shí)性挑戰(zhàn)等問(wèn)題。

圖撲將不斷創(chuàng)新研究，讓視頻融合技術(shù)朝著更高清晰度、更智能化和更實(shí)時(shí)化的方向發(fā)展，為各行各業(yè)提供更加高效、智能的解決方案。

• 室內(nèi)定位

在工業(yè)自動(dòng)化和控制領(lǐng)域中，室內(nèi)定位技術(shù)作為一個(gè)重要的應(yīng)用擴(kuò)展，可以幫助提升生產(chǎn)效率、安全性和管理水平。室內(nèi)定位技術(shù)用于在建筑物內(nèi)部或其他封閉環(huán)境中確定物體或人員的位置，實(shí)現(xiàn)全方位的智能管理。

利用圖撲先進(jìn)的可視化技術(shù)以及結(jié)合各類室內(nèi)定位技術(shù)，管理者可以實(shí)時(shí)監(jiān)控人員和設(shè)備的位置，提高運(yùn)營(yíng)效率和安全性。

室內(nèi)定位的常見(jiàn)類型

室內(nèi)外定位技術(shù)通過(guò)多種傳感器和信號(hào)技術(shù)，實(shí)現(xiàn)對(duì)室內(nèi)外物體和人員的精確定位。常見(jiàn)的室內(nèi)外定位技術(shù)包括：無(wú)線射頻識(shí)別（RFID）、Wi-Fi定位、藍(lán)牙低功耗（BLE）、超寬帶（UWB）、圖像識(shí)別定位。

圖撲定位的應(yīng)用

圖撲自主研發(fā) HT for Web 2D 和 3D 圖形渲染引擎，為室內(nèi)外定位數(shù)據(jù)提供了豐富的可視化展示方式。

廠區(qū)人員定位

采用圖撲的 HT for Web 產(chǎn)品來(lái)構(gòu)造輕量化的 3D 可視化場(chǎng)景，該場(chǎng)景從正面展示了一個(gè)現(xiàn)代化工廠的現(xiàn)實(shí)場(chǎng)景，室內(nèi)定位包括工廠工人的實(shí)時(shí)位置、電子圍欄的范圍、現(xiàn)場(chǎng)的安全情況等等，幫助我們直觀的了解當(dāng)前工廠人員的安全狀況。

在工廠中，室內(nèi)定位技術(shù)的應(yīng)用顯著提升了運(yùn)營(yíng)效率和安全性。數(shù)據(jù)經(jīng)過(guò)圖撲可視化技術(shù)處理后，以數(shù)字孿生形式呈現(xiàn)，使得人員調(diào)度、設(shè)備維護(hù)和安全監(jiān)控更加精準(zhǔn)高效。

鋼廠人員安全定位

依托圖撲自研 HT for Web 產(chǎn)品，從數(shù)字孿生鋼廠出發(fā)，將鋼廠廠區(qū)、設(shè)備機(jī)械、作業(yè)人員高度集中。并基于UWB精準(zhǔn)定位技術(shù)，讓位置數(shù)據(jù)與可視化業(yè)務(wù)流程直接關(guān)聯(lián)，實(shí)現(xiàn) 3D 可視化監(jiān)控車間作業(yè)人員的精準(zhǔn)定位、歷史軌跡溯源、電子圍欄監(jiān)管及異常預(yù)警告警等業(yè)務(wù)功能。形成基于 UWB 精準(zhǔn)定位的調(diào)度一體化、數(shù)據(jù)透明化、運(yùn)維智能化的監(jiān)管平臺(tái)。

異常報(bào)警一鍵定位

鋼廠環(huán)境錯(cuò)中復(fù)雜，如有外來(lái)訪客或作業(yè)人員疏忽大意，導(dǎo)致錯(cuò)入設(shè)備檢修區(qū)、高空作業(yè)區(qū)、大型設(shè)備作業(yè)區(qū)附近，后果不堪設(shè)想。

UWB 作為厘米級(jí)高精度人員定位技術(shù)，將其與圖撲可視化場(chǎng)景深度融合，依照 UWB 定位系統(tǒng)傳輸?shù)亩ㄎ蛔鴺?biāo)數(shù)據(jù)，在場(chǎng)景內(nèi)實(shí)時(shí)呈現(xiàn)人員SOS報(bào)警、微標(biāo)簽低電量報(bào)警、無(wú)陪同作業(yè)報(bào)警、電子圍欄越界報(bào)警等因素觸發(fā)的位置信息。確保作業(yè)人員定位坐標(biāo)精準(zhǔn)復(fù)現(xiàn)于虛擬場(chǎng)景之中，清晰查看人員的位置分布信息和人員數(shù)據(jù)統(tǒng)計(jì)。

室內(nèi)定位與視頻融合

可視化平臺(tái)聯(lián)合多種視覺(jué)圖像進(jìn)行 7×24h 動(dòng)態(tài)監(jiān)測(cè)。并且支持疊加圖撲軟件 HT 視頻融合技術(shù)，通過(guò)車間內(nèi)監(jiān)控視頻與三維場(chǎng)景疊加展示，可如臨其境查看現(xiàn)場(chǎng)情況。并實(shí)現(xiàn)關(guān)鍵路徑自動(dòng)視頻巡檢，重點(diǎn)區(qū)域關(guān)注目標(biāo)快速鎖定等高級(jí)功能。

圖撲軟件視頻融合技術(shù)采用 WebGL 技術(shù)，利用 GPU 高性能計(jì)算能力對(duì)視頻圖像進(jìn)行實(shí)時(shí)處理，圖像處理不占用 CPU 資源，整個(gè)方案畫面流暢。

倉(cāng)儲(chǔ)物流園區(qū)設(shè)備定位

集合倉(cāng)儲(chǔ)系統(tǒng)應(yīng)用物聯(lián)網(wǎng)、視頻監(jiān)控聯(lián)網(wǎng)技術(shù)、嵌入智能控制與通信模塊的物流機(jī)器人技術(shù)、RFID 托盤等技術(shù)。數(shù)字孿生物流全過(guò)程，讓物品出入庫(kù)信息可展現(xiàn)，可監(jiān)控，可管理。

通過(guò)融合 HT 可視化技術(shù)，園區(qū)內(nèi)的人、機(jī)、車、設(shè)備實(shí)現(xiàn)了一體互聯(lián)。這包括自動(dòng)駕駛、自動(dòng)分揀、自動(dòng)巡檢和人機(jī)交互等整體調(diào)度及管理，進(jìn)一步搭建起智能化室內(nèi)定位的應(yīng)用場(chǎng)景。

設(shè)備定位

AGV 通過(guò)無(wú)線網(wǎng)絡(luò)向上位機(jī)發(fā)送當(dāng)前位置和狀態(tài)，上位機(jī)根據(jù)當(dāng)前狀態(tài)更新數(shù)據(jù)庫(kù)，并同步接入 HT 可視化系統(tǒng)進(jìn)行路徑的實(shí)時(shí)展示，也可根據(jù)項(xiàng)目需求設(shè)置 AVG 行走路徑。

數(shù)字化和智能化技術(shù)在全領(lǐng)域的覆蓋，使室內(nèi)定位應(yīng)用變得越來(lái)越普及。這些技術(shù)改變了傳統(tǒng)的人工讀取和記錄信息的方式，實(shí)現(xiàn)了信息的主動(dòng)“感知”。

車輛定位管理

智慧停車場(chǎng)的車輛定位技術(shù)極大提升了管理效率和用戶體驗(yàn)。通過(guò)使用藍(lán)牙、Wi-Fi、UWB 和物聯(lián)網(wǎng)等多種定位技術(shù)，停車場(chǎng)管理系統(tǒng)能夠?qū)崟r(shí)跟蹤每輛車的位置。通過(guò)HT 可視化使停車場(chǎng)管理更加智能化。

圖撲車輛定位可視化技術(shù)可以實(shí)時(shí)監(jiān)控車輛動(dòng)向，優(yōu)化車位利用率，并在緊急情況下進(jìn)行迅速處理。智慧停車場(chǎng)通過(guò)數(shù)字化技術(shù)顯著提升了用戶體驗(yàn)，同時(shí)提高了管理效率和安全性。

SDF 自動(dòng)矯正

SDF（Signed Distance Field），高度科技自動(dòng)矯正算法是一種結(jié)合視頻融合和室內(nèi)定位技術(shù)的尖端工具，旨在提升三維空間數(shù)據(jù)的精準(zhǔn)度和可靠性。碰撞檢測(cè)中，通過(guò)查詢點(diǎn)在 SDF 中的值，可以判斷該點(diǎn)是否與物體發(fā)生碰撞。

對(duì)于 3D 場(chǎng)景中平面的物體的碰撞檢測(cè)矯正，具體步驟如下：

1、創(chuàng)建平面的二維圖， 模型、障礙物等不可進(jìn)入?yún)^(qū)域用黑色填充，可自由移動(dòng)區(qū)域用白色填充。

2、生成平面二維圖的圖片，并創(chuàng)建 SDF，黑色區(qū)域距離為負(fù)，白色區(qū)域距離為正。同時(shí)記錄指向最近距離方向的向量。

3、運(yùn)行時(shí)根據(jù)模型當(dāng)前位置查詢 SDF 距離。如果距離為負(fù)，根據(jù)距離向量計(jì)算出模型的矯正位置。

SDF 在圖撲的應(yīng)用

SDF 是一種常用于計(jì)算機(jī)圖形學(xué)和圖像處理中的技術(shù)，用于表示和處理幾何形狀。SDF 能夠高效地描述一個(gè)形狀及其邊界，并且常用于邊界檢測(cè)、碰撞檢測(cè)、字體渲染等。

圖撲 HT 提供封裝好的插件，通過(guò)簡(jiǎn)單配置和少量代碼即可實(shí)現(xiàn)碰撞檢測(cè)。

1、創(chuàng)建 3D 場(chǎng)景，將障礙物標(biāo)出來(lái)。

2、添加 HT 碰撞檢測(cè)插件。插件會(huì)根據(jù)場(chǎng)景中障礙物信息自動(dòng)生成 SDF 黑白圖片，并保存在內(nèi)存中。

3、添加代碼處理碰撞。

結(jié)合視頻融合和室內(nèi)定位技術(shù)，圖撲軟件正在引領(lǐng)智能管理和監(jiān)控的創(chuàng)新方向。這種視頻孿生綜合解決方案不僅提升了數(shù)據(jù)的可操作性和決策的科學(xué)性，還為用戶提供了更為直觀和智能的監(jiān)控體驗(yàn)。隨著技術(shù)的不斷進(jìn)步，這一領(lǐng)域?qū)⒂瓉?lái)更加廣闊的發(fā)展前景，為智慧城市、智能工廠、智能辦公等場(chǎng)景帶來(lái)更多創(chuàng)新與可能。

圖撲軟件(Hightopo)長(zhǎng)期專注于 Web 可視化領(lǐng)域，自主研發(fā) HT for Web 2D 和 3D 圖形渲染引擎、低代碼數(shù)字孿生組態(tài)平臺(tái)及相關(guān)工具。目前產(chǎn)品已廣泛應(yīng)用于工業(yè)組態(tài)、電力能源、孿生工廠、電信機(jī)房、智慧交通、智慧城市、園區(qū)樓宇、智慧水務(wù)、航天軍工等行業(yè)領(lǐng)域，為客戶提供可靠的一站式數(shù)字孿生解決方案。