Hadoop 和 Distributed Data Processing Spark VS Hadoop 有什麼異同？

Spark 和 Hadoop 是兩個不同的開源大資料處理框架，Spark 可以執行在 Hadoop 上，也可以替換 Hadoop 中的一些元件，比如 MapReduce。 然而，Spark和Hadoop並不是直接競爭，而是可以共同提高大資料處理的效率和效能。

Hadoop是乙個分布式儲存和計算框架，可用於儲存和處理大規模資料。 HDFS（Hadoop Distributed File System）用於儲存資料，而MapReduce用於資料處理。 Hadoop已經存在了十多年，是大資料領域的重要基礎設施之一，並得到了廣泛的應用。

Spark 是乙個通用的大資料處理框架，可用於資料處理、機器學習、影象處理和其他任務。 Spark在計算速度和記憶體使用效率方面優於Hadoop的MapReduce，因此在處理大規模資料時具有更高的效率和效能。

雖然Spark在某些方面優於Hadoop，但Spark也有一些侷限性，例如在處理大規模資料方面不一定比Hadoop更好。 此外，Hadoop 生態系統比 Spark 好得多，有更多的元件和工具可供選擇。

因此，Spark並沒有直接取代Hadoop，而是與Hadoop一起使用，以提高大資料處理的效率和效能。 Spark和Hadoop可以根據資料的大小、型別、處理方式等因素進行選擇和組合，以獲得更好的處理效果。

必須在 Hadoop 集群上，其資料 ** 是 HDFS，它本質上是 yarn 上的計算框架，就像 MR 一樣。

Hadoop 是基礎，HDFS 提供檔案儲存，YARN 管理資源。 您可以執行 MapReduce、Spark 和 TEZ 等計算框架。

Spark 相對於 Hadoop 的真正優勢在於速度，Spark 的大部分操作都在記憶體中，而 Hadoop 的 MapReduce 系統在每次操作後將所有資料寫回物理儲存介質，以確保在出現問題時完全恢復，但 Spark 的彈性分布式資料儲存也實現了這一點。

要理解 HDFS 僅用於以分布式方式儲存資料，Spark 共有四種模式，local、standlone、yarn 和 mesos。 只有 yarn 模式會使用 Hadoop 的 yarn 集群。

Spark 和 Hadoop 的區別如下：

1、誕生順序：Hadoop屬於第一代開源大資料處理平台，Spark屬於第二代。 屬於下一代的Spark，在整體評價上絕對優於第一代Hadoop。

2、計算方式不同：Spark和Hadoop在分布式計算的具體實現上有所不同; Hadoop中的MapReduce演算法框架是乙個計算作業，執行map-reduce過程; 在 Spark 作業中，可以級聯多個 map-reduce 程序。

3.平台不同：Spark是乙個計算平台，而Hadoop是乙個復合平台（包括乙個計算引擎，乙個分布式檔案儲存系統，以及乙個用於分布式計算的資源排程系統），所以如果將Spark與Hadoop進行比較，Hadoop主要是因為它的計算部分正在下降，而Spark目前如火如荼，相關技術需求量很大， 而且報價很容易獲得。

4、資料儲存：使用Hadoop的MapReduce進行計算時，每次生成的中間結果都儲存在本地磁碟中; Spark 在計算過程中生成的中間結果儲存在記憶體中。

5.資料處理：Hadoop每次進行資料處理時都需要從磁碟載入資料，導致磁碟開銷較大。 Spark在進行資料處理時，只需要將資料載入到記憶體中，然後直接將中間結果資料集載入到記憶體中，從而減少磁碟開銷1O。

Hadoop 框架側重於離線大容量計算，而 Spark 框架側重於記憶體和實時計算。

Hadoop 和 Apache Spark 都是大資料框架，但它們的存在目的不同。 Hadoop本質上更像是乙個分布式資料基礎設施：它將巨大的資料集分發到乙個普通計算機集群中的多個節點進行儲存，這意味著你不需要購買和維護昂貴的伺服器硬體。

同時，Hadoop對這些資料進行索引和跟蹤，使大資料處理和分析比以往任何時候都更加高效。 Spark 是一種旨在處理分布式資料的工具，不儲存分布式資料。

除了眾所周知的HDFS分布式資料儲存功能外，Hadoop還提供了乙個名為MapReduce的資料處理函式。 所以在這裡我們可以完全放棄Spark，使用Hadoop自己的MapReduce來完成資料處理。

相反，Spark 不必附加到 Hadoop 才能生存。 但如上所述，它不提供檔案管理系統，因此它必須與其他分布式檔案系統整合才能工作。 在這裡，我們可以選擇Hadoop的HDFS，也可以選擇其他基於雲的資料系統平台。

但是 Spark 在 Hadoop 中還是預設使用的，畢竟大家都認為它們是最好的組合。

Spark：專為大規模資料處理而設計的快速通用計算引擎，是乙個類似於Hadoop的開源集群計算環境，具有Hadoop MapReduce的優勢，Spark是MapReduce的替代品，並且相容HDFS和Hive，可以整合到Hadoop生態中，以彌補MapReduce的不足。

Spark主要用於大資料計算，未來Hadoop將用於大資料儲存（如HDFS、Hive、HBase等）和資源排程（yarn）。 Spark + Hadoop是目前大資料領域最流行的組合

兩者的功能場景不同。

Hadoop 和 Spark 沒有直接可比性。

Hadoop是乙個全面的大資料軟體系統，包括MapReduce、Yarn和HDFS

另一方面，Spark 是乙個分布式計算引擎程式設計框架。

2.讓我們來比較一下分布式計算。

MapReduce和Spark都可以實現資料的分布式並行處理，但具體實現機制略有不同，MapReduce程式，乙個程式只能包含乙個MAP階段和乙個Reduce階段。

另一方面，Spark 可以在單個程式中將多個 map-reduce 程序組織成乙個 DAG 邏輯程序，效率相對較高。

1）不同的應用場景。

Hadoop 和 Spark 都是大資料框架，但它們的應用場景不同。 Hadoop是一種分布式資料儲存架構，它將海量資料集分發到普通計算機集群中的多個節點進行儲存，從而降低硬體成本。 Spark 是乙個旨在借助 HDFS 資料儲存處理分布式資料的工具。

2）處理速度不同。

Hadoop的MapReduce是一步一步地處理資料，從磁碟讀取資料，處理一次，將結果寫入磁碟，然後從磁碟讀取更新後的資料，再次處理，最後將結果儲存到磁碟，這會影響處理速度。 Spark 從磁碟讀取資料，將中間資料放入記憶體，完成所有必要的分析和處理，並將結果寫回集群，因此 Spark 速度更快。

3）容錯能力不同。

Hadoop 每次都會將處理後的資料寫入磁碟，在發生錯誤時幾乎不會斷電或丟失資料。 Spark 的資料物件儲存在彈性分布式資料集 RDD 中，RDD 是分布在一組節點上的唯讀物件的集合，如果資料集的一部分丟失，可以根據資料派生過程進行重構。 此外，RDD在計算時可以通過檢查點進行容錯。

Hadoop是一種大資料處理技術，已經存在了大約十年，被認為是大資料收集處理的首選解決方案。 MapReduce是單向計算的優秀解決方案，但對於需要多向計算和演算法的用例來說，它不是很有效。 資料處理過程中的每個步驟都需要乙個對映階段和乙個reduce階段，為了利用這個解決方案，所有用例都需要轉換為mapreduce模式。

在下一步開始之前，必須將上乙個作業的輸出資料儲存在分布式檔案系統中。 因此，複製和磁碟儲存可能會導致速度變慢。 此外，Hadoop 解決方案通常包含難以安裝和管理的集群。

為了處理不同的大資料用例，需要整合許多不同的工具（例如用於機器學習的 Mahout 和用於流資料處理的 Storm）。

如果你想做更複雜的工作，你必須連線一系列 mapreduce 作業並按順序執行它們。 每個作業都是高延遲的，下乙個作業只有在上乙個作業完成後才能啟動。

另一方面，Spark 允許開發人員使用有向無環圖 （DAG） 開發複雜的多步驟資料管道。 它還支援跨有向無環圖的記憶體中資料共享，以便不同的作業可以協同處理相同的資料。

Spark 執行在現有的 Hadoop 分布式檔案系統 （HDFS） 之上，並提供其他增強功能。 它支援將 Spark 應用程式部署到現有的 Hadoop V1 集群（使用 simr Spark-inside-MapReduce）或 Hadoop V2 Yarn 集群，甚至是 Apache Mesos。

我們應該把Spark看作是Hadoop MapReduce的替代品，而不是Hadoop。 其目的不是取代Hadoop，而是為管理不同的大資料用例和需求提供全面而統一的解決方案。