-
分布式儲存是一種資料儲存技術,它通過網路利用企業中每台機器上的磁碟空間,這些分散的儲存資源形成乙個虛擬儲存裝置,資料儲存在企業的各個角落。
-
我做過一些整合專案,對國產集群NAS(分布式檔案系統)略知一二,隨便說一下,僅限於一般的集群NAS。 標榜自研集群NAS的公司很多,大多是OEM,做研發的不多,完全自主研發的就更少了。 下面我們列舉一些已經接觸過的,完全自主研發的,產品化程度比較高的。
更大,華為(Oceanstor 9000),曙光(Parastor)。 市場上還有更多。 小一點,龍村,這是乙個老牌子。
Jucun,知道這一點的人不多。 這幾年有很多基於 ceph 的公司,我用過其中一家,區塊還可以,但文件需要時間。 分布式儲存實際上是乙個比較大的領域。
有分布式資料庫、分布式檔案系統、分布式塊(serversan)、分布式物件儲存等。 有很多公司這樣做,但真正屬於自己的公司很少,而且其中許多是開源的。 在分布式資料方面,網際網絡公司一般使用很多,比如阿里和騰訊,它們都有自己的分布式資料庫。
在國內分布式檔案系統方面,中科院的一群人是最早的。 從中科院出來的人,基本上分為三個,曙光、龍村、達沃。 這三家基本都是自研的,應用時間是國內最長的。
-
最初的團隊是來自北美 DB2 實驗室的核心研發團隊,資料庫於 2011 年開發。 當時認為:1)開源分布式資料庫技術還不成熟,與其修改,不如基於自身的資料庫開發實力,構建乙個更企業級的資料庫。2)打包開源的技術連續性較弱,對後續的商業運營和產品化影響較大。
3)作為乙個資料庫研發團隊,以這樣的技術實力,我希望真正打造自己的產品。4)看到中國市場的獨特需求,我們堅定地遵循自主研發、商業軟體、開源運營的理念。現在,經過5年多的時間,我們的團隊已經基本成熟,擁有國內領先的資料庫研發團隊,同時,我們引進了包括國內DB2 level2技術支援專家組在內的售前售後和技術支援團隊,以及眾多大資料技術專家。
巨山也扎根於多個行業,可以說實現了從完全自主的技術產品到市場的成功商業化和市場化過程。 因此,我們的團隊得到了資本方的認可,公司在16年後半年也獲得了DCM近1億元的B輪融資。 <>
-
一、CEPH
CEPH 起源於 Sage 的博士工作,該工作於 2004 年發表,隨後為開源社群做出了貢獻。 經過多年的發展,得到了眾多雲計算和儲存廠商的支援,成為使用最廣泛的開源分布式儲存平台。
2. 政府飛行服務隊
GFS 是 Google 的分布式檔案儲存系統,旨在儲存海量搜尋資料,於 2003 年作為閉源分布式檔案系統提出。 適用於大量的順序讀取和順序追加,如大檔案的讀寫。 專注於大檔案的持續穩定頻寬,而不是單次讀寫的延遲。
3. HDFS的
HDFS(Hadoop Distributed File System)是一種適合在商用硬體上執行的分布式檔案系統,是Hadoop的核心子專案,是基於在流資料模式下訪問和處理大檔案的需求而開發的。 該系統以 Google 檔案系統 (GFS) 為藍本,是 GFS 的簡化開源版本。
一定要選擇分布式儲存,它強調資料安全,可以避免硬碟、伺服器損壞、靜默資料損壞等許多常見的資料丟失風險。 如果是普通的中小企業,主要部署一些靜態**,儲存需求不大,資料安全要求不高,資料丟失的風險可以容忍,可以使用超融合一體機。 我公司負責IT人員約10人,採用VMware虛擬機器加元核心雲分布式統一儲存解決方案。
根據 Gartner 的資料,到 2020 年,全球資料量將達到 35 ZB,相當於 80 億個 4TB 硬碟。 資料結構。 >>>More
指在執行分布式查詢時選擇查詢執行計畫和關係運算元的實現演算法。 根據系統環境的不同,查詢優化中使用的演算法也不同,通常分為遠距離廣域網環境和高速區域網環境,區別主要在於網路的頻寬。 對於一元運算子,可以採用集中式資料庫中的查詢優化方法。 >>>More