技術(shù)
導(dǎo)讀:根據(jù)IDC的一份報(bào)告顯示,實(shí)時(shí)數(shù)據(jù)的增長(zhǎng)速度比靜態(tài)數(shù)據(jù)加快了50%,流數(shù)據(jù)分析的復(fù)合年增長(zhǎng)率預(yù)計(jì)將達(dá)到28%……
近年來(lái),5G和物聯(lián)網(wǎng)不斷發(fā)展,智能終端設(shè)備不斷普及,網(wǎng)絡(luò)邊緣側(cè)數(shù)據(jù)呈現(xiàn)爆發(fā)式增長(zhǎng),這些因素極大地推動(dòng)了邊緣計(jì)算的發(fā)展。對(duì)于工業(yè)互聯(lián)網(wǎng)來(lái)說(shuō),5G邊緣計(jì)算技術(shù)可以解決數(shù)據(jù)時(shí)延、帶寬、安全性等問(wèn)題,滿足并加快整體建設(shè)需求。制造業(yè)也在積極向智能化、互聯(lián)化轉(zhuǎn)型,“互聯(lián)制造”已成為制造企業(yè)發(fā)展浪潮中新的轉(zhuǎn)折點(diǎn)和歷史機(jī)遇。
然而,隨著制造業(yè)的智能化發(fā)展,越來(lái)越多的數(shù)據(jù)類(lèi)型也隨之顯現(xiàn)。根據(jù)IDC的一份報(bào)告顯示,實(shí)時(shí)數(shù)據(jù)的增長(zhǎng)速度比靜態(tài)數(shù)據(jù)加快了50%,流數(shù)據(jù)分析的復(fù)合年增長(zhǎng)率預(yù)計(jì)將達(dá)到28%。這使得專(zhuān)用于靜態(tài)歷史數(shù)據(jù)解決方案、在本地或離散云中運(yùn)行的傳統(tǒng)數(shù)據(jù)平臺(tái)無(wú)法滿足當(dāng)前制造企業(yè)進(jìn)行實(shí)時(shí)分析的需求。流數(shù)據(jù)之所以出現(xiàn)如此快速的增長(zhǎng),也是因?yàn)槠淇梢詫?shí)現(xiàn)實(shí)時(shí)分析,以及更重要的自主決策。
實(shí)現(xiàn)傳統(tǒng)制造業(yè)向互聯(lián)制造轉(zhuǎn)型的因素包括:針對(duì)特定用途量身定制的經(jīng)濟(jì)型過(guò)程傳感器,可重復(fù)進(jìn)行自主決策的強(qiáng)大邊緣計(jì)算設(shè)備,進(jìn)行分析和存儲(chǔ)的云計(jì)算,以及即將到來(lái)的5G應(yīng)用。5G將打開(kāi)一條數(shù)據(jù)“高速公路”,使制造過(guò)程擺脫連接線的束縛;但流數(shù)據(jù)的這些優(yōu)點(diǎn)也讓管理各種制造企業(yè)業(yè)務(wù)流程中的龐大數(shù)據(jù)量,以及多樣化數(shù)據(jù)結(jié)構(gòu)等方面變得更具挑戰(zhàn)性。
傳統(tǒng)互聯(lián)制造數(shù)據(jù)管理解決方案面臨挑戰(zhàn)
隨著新數(shù)據(jù)源的快速發(fā)展和數(shù)據(jù)規(guī)模的上升,許多制造企業(yè)面臨著解決數(shù)字化復(fù)雜性的壓力。企業(yè)機(jī)構(gòu)在互聯(lián)制造數(shù)據(jù)管理方面的主要挑戰(zhàn)包括:
數(shù)據(jù)管理成本:傳統(tǒng)的數(shù)據(jù)管理機(jī)制成本高昂,并且無(wú)法捕獲和處理來(lái)自聯(lián)網(wǎng)設(shè)備的PB級(jí)物聯(lián)網(wǎng)數(shù)據(jù)流。如今,企業(yè)機(jī)構(gòu)需要一個(gè)更靈活且可擴(kuò)展的數(shù)據(jù)管理分析平臺(tái),從而能夠以較低的成本輕松地采集、存儲(chǔ)和管理流數(shù)據(jù)。
處理物聯(lián)網(wǎng)數(shù)據(jù)的數(shù)量和種類(lèi):為了實(shí)現(xiàn)流程監(jiān)控和優(yōu)化、預(yù)測(cè)性維護(hù)以及新興的物聯(lián)網(wǎng)應(yīng)用,信息架構(gòu)師需要一個(gè)平臺(tái)來(lái)處理各類(lèi)數(shù)據(jù)結(jié)構(gòu)和方案,包括每秒溫度、壓力和振動(dòng)讀數(shù)等,以通過(guò)各種受支持的驅(qū)動(dòng)程序和協(xié)議從邊緣處理純非結(jié)構(gòu)化數(shù)據(jù)(例如圖像、視頻、文本、頻譜數(shù)據(jù)),以及熱成像、聲音信號(hào)等其他形式的數(shù)據(jù)。
管理實(shí)時(shí)數(shù)據(jù)的復(fù)雜性:為了推動(dòng)連續(xù)過(guò)程監(jiān)控、產(chǎn)量?jī)?yōu)化或預(yù)測(cè)性維護(hù),數(shù)據(jù)管理平臺(tái)需要對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)分析,并有效采集、存儲(chǔ)和處理這些數(shù)據(jù),以便及時(shí)提供洞察,采取行動(dòng)。
解放孤島中的數(shù)據(jù):由于價(jià)值鏈中存在特殊流程(創(chuàng)新平臺(tái)、QMS、MES等),因此需要針對(duì)每個(gè)獨(dú)立的孤島解決方案定制不同的數(shù)據(jù)源和數(shù)據(jù)管理平臺(tái)。鑒于跨企業(yè)數(shù)據(jù)僅能提供一小部分洞察力,這些窄點(diǎn)解決方案會(huì)限制企業(yè)價(jià)值;而且重復(fù)的孤島解決方案會(huì)分割業(yè)務(wù),從而限制合作機(jī)會(huì)。因此,該平臺(tái)必須能夠?qū)r(jià)值鏈中各點(diǎn)的流數(shù)據(jù)與ERP、MES和QMS來(lái)源相結(jié)合,并形成可執(zhí)行的洞察。
Cloudera DataFlow從邊緣獲得洞察
鑒于制造業(yè)本身和物聯(lián)網(wǎng)數(shù)據(jù)的復(fù)雜性和多樣性,制造企業(yè)十分重視從邊緣到人工智能獲取清晰可見(jiàn)的洞察力。因此,在一開(kāi)始就應(yīng)將數(shù)據(jù)放入數(shù)據(jù)湖和企業(yè)數(shù)據(jù)平臺(tái)中。
Cloudera Data Platform通過(guò)Cloudera DataFlow(CDF)中的技術(shù)組合來(lái)應(yīng)對(duì)這些挑戰(zhàn)。CDF可提供以下解決方案:
管理、控制和監(jiān)視所有數(shù)據(jù)流和物聯(lián)網(wǎng)計(jì)劃邊緣的能力。Cloudera Edge Management(CEM)由邊緣代理和邊緣管理中心組成,通過(guò)管理、控制和監(jiān)視邊緣代理,以收集邊緣設(shè)備中的數(shù)據(jù)并將情報(bào)發(fā)回。
獲取和管理實(shí)時(shí)流數(shù)據(jù)的能力。Cloudera Flow Management(CFM)是由Apache NiFi支撐的無(wú)需編碼的一種數(shù)據(jù)獲取和管理解決方案。通過(guò)NiFi直觀的圖形界面和300余個(gè)處理器,CFM可為企業(yè)提供具有高度可擴(kuò)展性的數(shù)據(jù)移動(dòng)、轉(zhuǎn)換和管理功能。
通過(guò)Apache Kafka實(shí)現(xiàn)的高級(jí)消息傳遞和流處理功能。Cloudera Stream Processing(CSP)使用Apache Kafka提供流數(shù)據(jù)的高級(jí)消息傳遞、實(shí)時(shí)處理和分析,以及Cloudera Streams Management支持的管理和監(jiān)視功能。
Cloudera Streaming Analytics(CSA)提供的實(shí)時(shí)洞察。在Apache Flink的支持下,CSA提供低延遲的處理能力,可從邊緣對(duì)流數(shù)據(jù)進(jìn)行實(shí)時(shí)可行的智能處理。