導讀:大數(shù)據(jù)是一個術語,它被用來描述處理數(shù)據(jù)的技術和實踐,這些數(shù)據(jù)不僅數(shù)量大,速度快,而且有許多不同的形式。
自動駕駛汽車、仿生機器人和自主送貨的無人機是我們今天看到的數(shù)字化轉型的尤物,不時出現(xiàn)在新聞頭條。不過如果沒有第四次工業(yè)革命的石油--數(shù)據(jù)以及分析技術來讓我們解讀和理解數(shù)據(jù),這些都是不可能實現(xiàn)的。
大數(shù)據(jù)是一個術語,它被用來描述處理數(shù)據(jù)的技術和實踐,這些數(shù)據(jù)不僅數(shù)量大,速度快,而且有許多不同的形式。埃隆·馬斯克的自動駕駛汽車以及杰夫·貝佐斯的無人便利店背后,都有一個復雜的大數(shù)據(jù)系統(tǒng)和一支聰明的數(shù)據(jù)科學家隊伍,他們已經(jīng)把愿景變成了現(xiàn)實。
“大數(shù)據(jù)”這個詞可能不像幾年前那樣無處不在,因為它所體現(xiàn)的許多概念已經(jīng)徹底融入了我們周圍的世界。不過大數(shù)據(jù)并沒有過時,事實上,即使在今天,大多數(shù)組織也在努力從其所能接觸到數(shù)據(jù)中獲得價值。作為一種商業(yè)實踐,大數(shù)據(jù)仍然處于非常初級的階段。
因此,以下是我對一些關鍵趨勢的看法,這些趨勢將影響今年和不久的將來如何將數(shù)據(jù)和分析用于工作和生活中。
AI推動更深入的洞察力和更復雜的自動化進程
人工智能(AI)改變了分析領域的游戲規(guī)則。由于公司及其客戶生成了大量結構化和非結構化數(shù)據(jù),自動手動分析也只能觸及表面。
今天使用的人工智能,最簡單的思維方式是計算機和軟件能夠自我學習。舉個簡單的例子,我們的客戶中,哪一個對我們最有價值?
如果是傳統(tǒng)的、非學習型的計算方式,可以通過建立一個數(shù)據(jù)庫來探究一下哪些客戶花錢最多。但是,如果出現(xiàn)了一個新客戶,第一次交易就花了100美元,該客戶是否比過去一年每月消費10美元的客戶更有價值?要了解這一點,我們需要更多的數(shù)據(jù),比如客戶的平均終身價值,客戶本身的個人數(shù)據(jù),比如他們的年齡、消費習慣或收入水平也會很有用!
從數(shù)據(jù)集中解讀、理解和得出見解是一項復雜得多的任務。這就需要人工智能,因為它可以嘗試解釋所有數(shù)據(jù),無論是否理解數(shù)據(jù)之間的關聯(lián),并根據(jù)我們所知道的一切預測客戶終身價值。它不一定會得出“正確”或“錯誤”的答案,但是能夠提供一個概率范圍,然后根據(jù)這些預測的準確性進行改進。
探索和解釋數(shù)據(jù)的新方法
數(shù)據(jù)可視化是分析過程中的“最后一公里”,然后我們才會根據(jù)我們的發(fā)現(xiàn)采取行動。傳統(tǒng)上,人機交互是通過可視化來進行的,采取圖形、圖表和儀表盤的形式,突出關鍵的發(fā)現(xiàn),幫助我們獲得數(shù)據(jù)價值。
問題是,并不是所有的人都能洞察隱藏在一堆統(tǒng)計數(shù)據(jù)中的潛在價值。隨著組織內(nèi)每個人從數(shù)據(jù)中獲得洞察越來越重要,新的技術和方法也不斷發(fā)展。
其中一個取得重大突破的領域是人類語言的使用。分析工具可以讓我們對數(shù)據(jù)提出問題,并以清晰的人類語言獲得答案,這將極大地增加對數(shù)據(jù)的訪問,并提高組織的整體數(shù)據(jù)能力。這一技術領域被稱為自然語言處理(NLP)。
另一個是新技術,沉浸式體驗發(fā)揮數(shù)據(jù)價值。擴展現(xiàn)實(XR)這個術語包括虛擬現(xiàn)實(VR)和增強現(xiàn)實(AR),他們是推動創(chuàng)新的動力。VR可以用來創(chuàng)建新型的可視化,讓我們從數(shù)據(jù)中傳遞出更豐富的意義,而AR則可以直接向我們展示數(shù)據(jù)分析的結果如何實時影響世界。例如,一個試圖診斷汽車問題的機械師可能會戴著AR眼鏡查看發(fā)動機,并預測哪些部件可能有問題,哪些部件可能需要更換。在不久的將來,我們應該期待可視化或數(shù)據(jù)交流的新方式的應用。
混合云和邊緣計算
云計算是另一個對大數(shù)據(jù)分析方法產(chǎn)生巨大影響的技術趨勢。無需昂貴的本地基礎設施的情況下,就能夠訪問龐大的數(shù)據(jù)存儲和對實時信息采取行動,這推動了按需提供數(shù)據(jù)驅(qū)動服務的應用程序和初創(chuàng)公司的發(fā)展。但完全依賴公有云提供商并不是最佳業(yè)務模式,當你將整個數(shù)據(jù)操作托付給第三方時,難免對數(shù)據(jù)安全和治理產(chǎn)生擔憂。
許多公司現(xiàn)正在嘗試混合云系統(tǒng),其中一些信息保存在AWS、微軟Azure或谷歌云等公有云服務器上,而其它個人或敏感數(shù)據(jù)則部署在本地或私有云。云提供商也不斷布局混合云,提供“云-本地”解決方案,提供公共云的所有豐富功能和穩(wěn)健性,但允許數(shù)據(jù)所有者完全保管其數(shù)據(jù)。
邊緣計算是另一個強勁的趨勢,它將在未來一年內(nèi)影響大數(shù)據(jù)和分析。從本質(zhì)上講,邊緣計算意味著設備在收集數(shù)據(jù)的地方處理數(shù)據(jù),不用將其發(fā)送到云端進行存儲和分析。有些場景對時延要求很高,比如從自動汽車上的傳感器收集的數(shù)據(jù),需要及時處理。此外,當消費者可以直接從他們的設備中收集洞察力,而無需將數(shù)據(jù)發(fā)送給任何第三方時,隱私也有了一定的保障。例如,谷歌新安卓手機上的Now Playing功能會持續(xù)掃描環(huán)境中的音樂,因此它可以告訴我們超市中播放的歌曲或我們正在觀看的電影的名稱。這在純基于云的解決方案中是不可能的,因為用戶會拒絕向谷歌發(fā)送全天候的音頻環(huán)境流。
DataOps的崛起
DataOps是一種方法和實踐,它借鑒了軟件開發(fā)中的DevOps框架。DataOps(數(shù)據(jù)操作)是一門新興學科,將DevOps團隊與數(shù)據(jù)工程師和數(shù)據(jù)科學家角色結合在一起,提供一些工具、流程和組織結構服務于以數(shù)據(jù)為中心的企業(yè)。
DataOps工作不需要任何正式的培訓,對IT職業(yè)感興趣的人希望從事創(chuàng)新的項目,這通常是數(shù)據(jù)項目,DataOps為其提供了一個很好的機會,我們還將看到“DataOps即服務”供應商的普及,提供數(shù)據(jù)流程和管道的端到端管理,并按需付費。這將繼續(xù)降低小型組織和初創(chuàng)組織的進入門檻,這些組織對新的數(shù)據(jù)驅(qū)動服務有很好的想法,但缺少實現(xiàn)這些想法所需的基礎設施。