導(dǎo)讀:?隨著物聯(lián)網(wǎng)的發(fā)展,有一個(gè)領(lǐng)域正在逐步發(fā)生變化,那就是數(shù)據(jù)存儲市場。
隨著物聯(lián)網(wǎng)的發(fā)展,有一個(gè)領(lǐng)域正在逐步發(fā)生變化,那就是數(shù)據(jù)存儲市場。萬物互聯(lián)產(chǎn)生的數(shù)據(jù)正在以指數(shù)級增長,如何存儲和管理這些數(shù)據(jù),對于每家企業(yè)而言,都是成功的關(guān)鍵要素。
萬物互聯(lián)產(chǎn)生的數(shù)據(jù)正在以指數(shù)級增長,如何存儲和管理這些數(shù)據(jù),對于每家企業(yè)而言,都是成功的關(guān)鍵要素。
引用市場研究機(jī)構(gòu)IDC的數(shù)據(jù),到2025年,全球?qū)⒂?5.9B的互聯(lián)設(shè)備,其中75%將連接到物聯(lián)網(wǎng)平臺。屆時(shí)由互聯(lián)設(shè)備生成的數(shù)據(jù),將從2019年的13.6 ZB,增長到79.4 ZB。
ZB是什么概念?舉個(gè)例子,如果把1ZB的文件往1TB的硬盤里裝,大概需要10億塊硬盤,連起來足夠繞地球兩圈半。
尤其是視頻數(shù)據(jù)的存儲需求將會飛速膨脹,以亞太地區(qū)為例,2025年來自物聯(lián)網(wǎng)設(shè)備的視頻數(shù)據(jù)規(guī)模將達(dá)到26,680 EB,以5年復(fù)合年增長率23.2%的速度增長。在視頻數(shù)據(jù)之外,來自工業(yè)互聯(lián)網(wǎng)的數(shù)據(jù)也將占據(jù)較大份額。
如此大量的數(shù)據(jù)如何被可靠、安全、快速、高性價(jià)比的存儲,是很多企業(yè)正在探索的方向。
隨著區(qū)塊鏈的發(fā)展,去中心化存儲逐步升溫。最近京東云、華為云率先開始了新嘗試。
在智能園區(qū)場景中,某地的華為云服務(wù)器集群將引入去中心化存儲技術(shù)IPFS搭建,擬定投入4億元人民幣。
京東智聯(lián)云也推出了無線寶智能終端,并將其定位于家庭場景中,去中心化存儲、區(qū)塊鏈和數(shù)字化資產(chǎn)管理的基礎(chǔ)設(shè)施。
因此這篇文章,我們就來講述去中心化存儲的最新進(jìn)展:
什么是去中心化存儲?值得關(guān)注的去中心化存儲實(shí)現(xiàn)技術(shù)有哪些?有哪些去中心化存儲的誤區(qū)需要避免?
1.什么是去中心化存儲?
一切可以去中心化的,都將去中心化。
以存儲作為服務(wù)的商業(yè)模式由來已久,亞馬遜在2006年開始推出Amazon Web Services(AWS),將自己的服務(wù)器和存儲空間租借給用戶,降低了開發(fā)者創(chuàng)建并管理服務(wù)器基礎(chǔ)設(shè)施的開銷。
在2013-2017這5年間,全球云存儲市場維持20%以上的高復(fù)合增速,而國內(nèi)云存儲市場的增速維持在85%-110%。根據(jù)多家機(jī)構(gòu)的預(yù)測結(jié)果,預(yù)計(jì)2022年全球云存儲市場規(guī)模將達(dá)到1000億美元以上。
隨著時(shí)間的演變,中心化的儲存服務(wù)雖不斷改善功能,價(jià)格也愈加親民,但近年來卻遇到了瓶頸,面臨頻繁的數(shù)據(jù)泄露、服務(wù)的限制性、運(yùn)營商停運(yùn)風(fēng)險(xiǎn)等問題。于是,去中心化存儲這一概念逐漸興起。
需要注意的是,中心化或去中心化存儲,并不僅僅是描述一種技術(shù),更多的是對應(yīng)一種存儲的商業(yè)模式。
存儲市場的商業(yè)組織形式,可以分為中心化存儲和去中心化存儲:
中心化存儲是將數(shù)據(jù)完整的存儲在中心化機(jī)構(gòu)開發(fā)的服務(wù)器上,設(shè)備服務(wù)器與存儲供應(yīng)者是一對一的關(guān)系。去中心化存儲則是將數(shù)據(jù)切片分散存儲在多個(gè)獨(dú)立的存儲供應(yīng)商上,設(shè)備服務(wù)器與存儲供應(yīng)者是一對多的關(guān)系。
去中心化存儲是一種通過分布式存儲技術(shù),將文件或文件集分片,存儲在不同供應(yīng)方提供的磁盤空間上的存儲商業(yè)模式。
它的價(jià)值主張是強(qiáng)隱私保護(hù)、低成本、數(shù)據(jù)冗余備份、開源的應(yīng)用程序和算法,只有實(shí)現(xiàn)了以上的全部主張,才可能大范圍代替現(xiàn)有的中心化存儲方案。
你也許看出來了,去中心化存儲就是偏偏要在一個(gè)更加分散、更加不安全、更加不可信的網(wǎng)絡(luò)環(huán)境中,滿足更加安全、更加可信、更加可控的存儲需求。它有利于規(guī)避單點(diǎn)故障,和實(shí)現(xiàn)數(shù)據(jù)的價(jià)值傳遞。
從實(shí)現(xiàn)方式上來說,中心化存儲系統(tǒng)的大型文件上傳后,文件以整體或切片的形式存儲在單一或分布式的網(wǎng)絡(luò)或服務(wù)器上,需要極其高效的開發(fā)、運(yùn)營團(tuán)隊(duì)來維持其運(yùn)轉(zhuǎn)。
去中心化存儲必須使用分布式存儲技術(shù),初始種子節(jié)點(diǎn)(最初擁有完整文件資源的節(jié)點(diǎn))在將大型文件進(jìn)行切片處理后,使其產(chǎn)生多個(gè)子塊。每個(gè)子塊分別存儲在不同的節(jié)點(diǎn)上,每個(gè)一般節(jié)點(diǎn)下載單個(gè)子塊,上傳到去中心化存儲網(wǎng)絡(luò)中,讓其他節(jié)點(diǎn)下載后,便成為這個(gè)子塊的種子節(jié)點(diǎn)。如此循環(huán)往復(fù),不斷擴(kuò)大該文件在共享網(wǎng)絡(luò)中的節(jié)點(diǎn)數(shù)。
為了實(shí)現(xiàn)去中心化的商業(yè)模式,去中心化存儲的實(shí)現(xiàn)必然分為兩部分:存儲技術(shù)和激勵(lì)機(jī)制。
存儲技術(shù)相對比較成熟,有多種分布式存儲方案可供選擇。激勵(lì)機(jī)制由區(qū)塊鏈技術(shù)提供,在去中心化存儲中,網(wǎng)絡(luò)規(guī)模的大小對于性能的影響很大。如何讓大家愿意貢獻(xiàn)存儲、網(wǎng)絡(luò)資源?如何保證這些存儲資源穩(wěn)定、可靠的運(yùn)行?這些都需要通過區(qū)塊鏈技術(shù)實(shí)現(xiàn)。
與中心化存儲不同,去中心化存儲的特點(diǎn)主要有3個(gè):
(1) 算法開源:去中心化存儲平臺或網(wǎng)絡(luò)的算法和代碼必須是開源的。
B2C端的存儲服務(wù)已經(jīng)被中心化存儲搶占了大多數(shù)市場,在開源項(xiàng)目初期進(jìn)入門檻較高,大多數(shù)集中于B2B端,只有代碼開源才能讓社區(qū)和應(yīng)用的完善形成有效的正反饋效應(yīng)。如果算法和代碼不公開透明,則存儲網(wǎng)絡(luò)就會變相的中心化。
(2) 計(jì)費(fèi)優(yōu)勢:去中心化存儲的成功要素之一,就是計(jì)費(fèi)優(yōu)勢。
由于中心化存儲系統(tǒng)和去中心化存儲系統(tǒng)的存儲方式和檢索方式的差異,導(dǎo)致二者在服務(wù)費(fèi)用定價(jià)上存在差異。
中心化存儲系統(tǒng)的收費(fèi)標(biāo)準(zhǔn)是按月度、季度或年度為單位,根據(jù)存儲數(shù)據(jù)文件的大小收取存儲費(fèi)用,并且對存儲費(fèi)用實(shí)施一定的促銷策略(免費(fèi)試用期等)。
由于大多數(shù)去中心化存儲網(wǎng)絡(luò)平臺處于項(xiàng)目運(yùn)營初期,大部分產(chǎn)品處于開發(fā)階段或MVP階段,因此需要以低廉的存儲費(fèi)用來吸引用戶流量。但是,相比較中心化的相對固定的服務(wù)費(fèi)用,除了存儲費(fèi)用之外,去中心化存儲還有檢索費(fèi)用、手續(xù)費(fèi)和交易費(fèi)。因此,去中心化存儲僅僅適合冷數(shù)據(jù)存儲,在檢索數(shù)據(jù)量較少的情況下,其費(fèi)用比中心化存儲低得多。而對于熱數(shù)據(jù),因檢索頻繁導(dǎo)致其成本可能高于中心化存儲的費(fèi)用。
(3) 安全和隱私保護(hù):增強(qiáng)安全性和用戶隱私保護(hù),是去中心化存儲的重要價(jià)值主張。
去中心化存儲的優(yōu)勢主要體現(xiàn)在兩個(gè)方面:首先,去中心化存儲規(guī)避了單點(diǎn)故障和部分節(jié)點(diǎn)斷網(wǎng)或不可用等風(fēng)險(xiǎn);其次,去中心化存儲使用戶的具體存儲內(nèi)容不因主觀原因而泄露。
由于去中心化存儲的共享網(wǎng)絡(luò)為P2P網(wǎng)絡(luò),而中心化存儲的共享網(wǎng)絡(luò)為以服務(wù)供應(yīng)商為中心的中心化網(wǎng)絡(luò),從而導(dǎo)致前者不容易受到單點(diǎn)故障和服務(wù)器斷網(wǎng)的影響,也不容易受到黑客的攻擊。
同時(shí),去中心化存儲通過零知識證明和非對稱加密等技術(shù),將哈希加密的字符串放在區(qū)塊的最底層,從而將存儲內(nèi)容的分片實(shí)現(xiàn)加密處理,其他任何節(jié)點(diǎn)包括運(yùn)營商都無法看到存儲的具體內(nèi)容。
就現(xiàn)狀而言,去中心化存儲處于起步階段,它與中心化存儲在存儲空間來源、帶寬來源、安全性、使用方式、行業(yè)發(fā)展?fàn)顟B(tài)等多個(gè)維度存在差異,目前它的規(guī)模和性能遠(yuǎn)遠(yuǎn)不如中心化存儲系統(tǒng)。
2.值得關(guān)注的去中心化存儲實(shí)現(xiàn)技術(shù)有哪些?
去中心化存儲的實(shí)現(xiàn)技術(shù)很多,質(zhì)量參差不齊,典型的包括BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等十余個(gè),它們最早可以追溯到本世紀(jì)初的點(diǎn)對點(diǎn)文件存儲系統(tǒng)。我們就從大家最熟悉的講起。
(1) BitTorrent
最早點(diǎn)對點(diǎn)的文件存儲系統(tǒng)作為中心化云服務(wù)器的替代品出現(xiàn),并且還沒有中心化的風(fēng)險(xiǎn)。在亞馬遜云存儲服務(wù)出現(xiàn)的5年前,BitTorrent(簡稱BT)已經(jīng)可以讓文件在用戶之間有效傳輸。
說到BT下載,相信很多人都知道并且用過。因?yàn)楹芏嚯娪岸际峭ㄟ^BT種子進(jìn)行傳播的。在2003年的時(shí)候,軟件工程師Bram Cohen發(fā)明BitTorrent協(xié)議,也就是我們常說的BT下載。
BT主要是采用高效的軟件分發(fā)系統(tǒng)和P2P技術(shù)共享大型的文件,然后重新分配節(jié)點(diǎn)給每個(gè)用戶讓他們提供上傳服務(wù)。通過這個(gè)技術(shù),不僅讓用戶享受了更快的下載速度,也讓運(yùn)營者大大節(jié)省了服務(wù)器的帶寬成本。
雖然BitTorrent是最早的去中心化存儲項(xiàng)目,但因其缺乏完善的激勵(lì)機(jī)制,因而只能稱之為去中心化存儲模式的雛形。
(2) IPFS
IPFS全稱為InterPlanetary File System,中文為“星際文件系統(tǒng)”,旨在創(chuàng)建持久且分布式存儲和共享文件的網(wǎng)絡(luò)傳輸協(xié)議。
IPFS想在BitTorrent的基礎(chǔ)上,打造真正的點(diǎn)對點(diǎn)、去中心化的文件存儲系統(tǒng)。在IPFS中,所有的文件都會集中起來,其中會有通用的語言,并且所有的用戶都會在整個(gè)系統(tǒng)中共享,這可以讓他們尋找并且互相轉(zhuǎn)移文件。
這里特別說明一下,IPFS不僅僅是存儲,更重要的是它想顛覆HTTP。IPFS本質(zhì)上是一個(gè)底層的開源文件傳輸協(xié)議,旨在對基于HTTP URL檢索協(xié)議進(jìn)行補(bǔ)充甚至替代。
IPFS由協(xié)議實(shí)驗(yàn)室(Protocol Labs)于2015年1月發(fā)布。協(xié)議實(shí)驗(yàn)室的創(chuàng)始人和首席執(zhí)行官名為Juan Benet。他2012年畢業(yè)于斯坦福大學(xué),獲得計(jì)算機(jī)科學(xué)碩士學(xué)位,曾參與YCombinator計(jì)劃。
據(jù)IPFS官方消息稱,IPFS所應(yīng)用的場景已高達(dá)100多個(gè)。不僅是京東、華為在布局IPFS,微軟、谷歌、火狐等也加入了IPFS應(yīng)用,從這方面可以顯示出IPFS的發(fā)展迅速。未來,無論文字、圖片,還是視頻,各種用戶想要存儲的內(nèi)容,都有可能通過IPFS來實(shí)現(xiàn)。
(3) Lambda
Lambda是一個(gè)區(qū)塊鏈數(shù)據(jù)存儲的基礎(chǔ)設(shè)施,通過對Lambda Chain和Lambda DB的邏輯解耦和分別實(shí)現(xiàn),以及去中心化應(yīng)用,提供可無限擴(kuò)展的數(shù)據(jù)存儲能力,并實(shí)現(xiàn)了多鏈數(shù)據(jù)協(xié)同存儲、跨鏈數(shù)據(jù)管理、數(shù)據(jù)隱私保護(hù)、數(shù)據(jù)持有性證明、分布式智能計(jì)算等服務(wù)。
Lambda本質(zhì)上是IPFS項(xiàng)目的延伸與擴(kuò)展,并且通過引入創(chuàng)新機(jī)制降低了其使用門檻,但是仍然不利于家庭用戶參與到去中心化存儲中來。
(4) Storj
Storj是一個(gè)基于以太坊的分布式云存儲協(xié)議,由盈利性公司Stroj Labs開發(fā)。Storj的核心技術(shù)是一個(gè)可執(zhí)行的、點(diǎn)對點(diǎn)存儲合約,即兩個(gè)人(或計(jì)算機(jī))在不認(rèn)識對方的情況下,同意使用定量的存儲來獲得收益。
Storj Labs公司的營利性方面是:它向數(shù)千名用戶出租網(wǎng)絡(luò),并為網(wǎng)絡(luò)使用收費(fèi)。這是一個(gè)稍微集中的模式,與Dropbox和Google Drive等競爭。他們還與Microsoft Azure建立了合作伙伴關(guān)系,以部署他們的一些開發(fā)工具。
(5) Swarm
Swarm也基于以太坊,它提供分布式的存儲平臺和內(nèi)容分發(fā)服務(wù),參與者能夠有效的匯集存儲和帶寬資源,以便向網(wǎng)絡(luò)所有的參與者提供服務(wù),同時(shí)作為回報(bào),他們會得到一部分以太坊獎勵(lì)。
從終端角度來看,在Swarm中除了上傳操作不是發(fā)生在特定服務(wù)器上外,Swarm與互聯(lián)網(wǎng)并沒有多少不同。
(6) Sia
Sia是一個(gè)基于區(qū)塊鏈的去中心化云存儲平臺,由Nebulous公司負(fù)責(zé)開發(fā)與運(yùn)營。Sia將數(shù)據(jù)拆分、加密,然后通過其去中心化的網(wǎng)絡(luò)對拆分和加密的數(shù)據(jù)進(jìn)行分發(fā)。
Sia通過允許用戶“出租”他們未使用的硬盤空間,這樣能夠顯著降低用戶云存儲的開銷成本,因此很多人把Sia稱為硬盤驅(qū)動的Airbnb。Sia是完全私密的,沒有私鑰無法查看數(shù)據(jù)文件。
(7) Chronicle
Chronicle于去年9月公布,是由IOTA基金會推出全新數(shù)據(jù)存儲解決方案,該方案允許其節(jié)點(diǎn)所有者輕松存儲所有交易并可保持對數(shù)據(jù)的不間斷訪問。
IOTA是為物聯(lián)網(wǎng)而設(shè)計(jì)的一個(gè)革命性的新型交易結(jié)算和數(shù)據(jù)轉(zhuǎn)移層。它基于新型的分布式賬本Tangle(纏結(jié))。Chronicle允許節(jié)點(diǎn)所有者存儲Tangle的所有數(shù)據(jù),并在需要時(shí)快速訪問這些數(shù)據(jù)。最近IOTA基金會發(fā)布了去中心化存儲存儲框架Chronicle的Alpha版本,對其部分功能進(jìn)行了改進(jìn),將可以在Tangle上構(gòu)建更多的工業(yè)用例。
(8) MaidSafe
MaidSafe的目標(biāo)是用完全去中心化架構(gòu)來取代互聯(lián)網(wǎng)昂貴的數(shù)據(jù)中心,建立一個(gè)全球范圍內(nèi)任何人都可以訪問的去中心化儲存平臺。
Maidsafe的工作機(jī)制有點(diǎn)像螞蟻網(wǎng)絡(luò),單個(gè)螞蟻是非常脆弱的,當(dāng)與其他的螞蟻合作的時(shí)候,就能變成特定的蟻群,拿下更多更大的獵物。
在Maidsafe中每個(gè)用戶都是網(wǎng)絡(luò)參與的一分子,需要貢獻(xiàn)出一部分的硬盤空間,無需中間服務(wù)器和數(shù)據(jù)中心網(wǎng)絡(luò)。可以說它的野心更大,預(yù)想創(chuàng)造一個(gè)完全去中心化,去依賴傳統(tǒng)網(wǎng)絡(luò)的分布式存儲系統(tǒng)。
3.有哪些去中心化存儲的誤區(qū)需要避免?
去中心化存儲的商業(yè)模式想要成立,首先要在價(jià)值主張和性價(jià)比上超越中心化的存儲方式。其次,還應(yīng)注意區(qū)分去中心化存儲與分布式存儲。
誤區(qū)1:沒有區(qū)分IPFS與Filecoin
Filecoin近期的火熱程度,堪稱2020年以來之最。雖然Filecoin經(jīng)常與IPFS同時(shí)出現(xiàn),但它們是兩個(gè)項(xiàng)目。IPFS解決技術(shù)問題、標(biāo)準(zhǔn)問題,F(xiàn)ilecoin解決關(guān)系問題、激勵(lì)問題。
IPFS自2015年1月發(fā)布至今,已平穩(wěn)運(yùn)行多年,目前IPFS上的應(yīng)用已有數(shù)百個(gè),全球節(jié)點(diǎn)數(shù)百萬個(gè)。谷歌、京東等企業(yè)都開始使用IPFS技術(shù)。
Filecoin是一個(gè)區(qū)塊鏈項(xiàng)目,自宣布于2018年6月上線主網(wǎng)至今,已經(jīng)歷數(shù)次延期,并且性能一直被詬病。
華為云和京東云投資的都是IPFS相關(guān)技術(shù),而合作中對Filecoin并沒有提及。援引文章《Filecoin大空頭:易崩盤、估值高、政策風(fēng)險(xiǎn)大》中的觀點(diǎn),華為云、京東云對IPFS的應(yīng)用,不僅對Filecoin不是利好,反而會吞噬Filecoin的市場。
文章分析,京東無線寶要做的事,其實(shí)和Filecoin的應(yīng)用十分相像。相對于Filecoin遲遲未上線的主網(wǎng),京東有三大優(yōu)勢:電商商城流量、京東金豆隔絕風(fēng)險(xiǎn)、技術(shù)成本優(yōu)勢。
Filecoin能做的,IT和互聯(lián)網(wǎng)公司們已經(jīng)開始做了,而這些巨頭們不能做的,才是Filecoin可以施展拳腳的地方,但其中滿是風(fēng)險(xiǎn)和陷阱,尤其是政策風(fēng)險(xiǎn)。
從估值上來看,F(xiàn)ilecoin大幅偏高。
去年第4季度,百度云在國內(nèi)云市場占比為8.8%。最近,高盛給整個(gè)百度云板塊(小度智能音響+百度云)400億人民幣的估值。而Filecoin在既沒有數(shù)據(jù),也沒有內(nèi)容的情況下,市值已達(dá)2000億元。Filecoin的高估值,顯然不利于去中心化存儲的商業(yè)模式成立。
誤區(qū)2:沒有區(qū)分去中心化存儲與分布式存儲
去中心化存儲更多的是描述一種商業(yè)模式,分布式存儲是去中心化存儲的技術(shù)實(shí)現(xiàn)方式。
分布式存儲技術(shù)采用可擴(kuò)展的系統(tǒng)結(jié)構(gòu),利用多臺存儲服務(wù)器分擔(dān)存儲負(fù)荷,利用位置服務(wù)器定位存儲信息,解決了傳統(tǒng)集中式存儲系統(tǒng)中單存儲服務(wù)器的瓶頸問題,并提高了系統(tǒng)的可靠性、可用性和擴(kuò)展性。
無論是中心化還是非中心化存儲,二者的技術(shù)實(shí)現(xiàn)方式通常會以分布式存儲來體現(xiàn)。
因?yàn)樵O(shè)備服務(wù)器與存儲供應(yīng)者是一對多的關(guān)系,即一個(gè)存儲供應(yīng)商可以控制多個(gè)存儲節(jié)點(diǎn),所以去中心化存儲一定會使用分布式存儲技術(shù)。
但是,中心化存儲可以使用分布式存儲技術(shù),也可以不使用分布式存儲技術(shù)。
寫在最后
總體而言,中心化存儲占據(jù)市場主導(dǎo)地位,處于成熟期;去中心化存儲仍然處于初創(chuàng)期,技術(shù)架構(gòu)和體系尚未成熟。
存儲市場總收入規(guī)模達(dá)到了130億美元以上,中心化存儲2019年上半年目前已經(jīng)形成了寡頭壟斷的競爭格局,以Dell Technology、H3C、IBM、聯(lián)想、華為等巨頭為主,并且前10家中心化存儲公司的市場份額達(dá)到62.9%。
而BitTorrent、IPFS等去中心化存儲項(xiàng)目部分仍在開發(fā)階段,而且進(jìn)度較為緩慢。即便是開發(fā)完成的Sia和Storj,其存儲空間總量僅為2PB,實(shí)際使用空間僅為全網(wǎng)總存儲空間的40%不到,與中心化存儲的收入相去甚遠(yuǎn)。
去中心化存儲與區(qū)塊鏈技術(shù)的綁定,毀譽(yù)參半,區(qū)塊鏈有可能成為助推器,也有可能成為泡沫機(jī)。
本文小結(jié)
去中心化存儲是一種通過分布式存儲技術(shù),將文件或文件集分片,存儲在不同供應(yīng)方提供的磁盤空間上的存儲商業(yè)模式。去中心化存儲的實(shí)現(xiàn)技術(shù)很多,質(zhì)量參差不齊,典型的包括BitTorrent、IPFS、Lambda、Sia、Swarm、Storj、Chronicle、MaidSafe等十余個(gè)。去中心化存儲的商業(yè)模式想要成立,首先要在價(jià)值主張和性價(jià)比上超越中心化的存儲方式。其次,還應(yīng)注意區(qū)分去中心化存儲與分布式存儲??傮w而言,中心化存儲占據(jù)市場主導(dǎo)地位,處于成熟期;去中心化存儲仍然處于初創(chuàng)期,技術(shù)架構(gòu)和體系尚未成熟。