Kafka 適合在 Docker 中使用嗎？ 獨立集群有意義嗎

Docker 的核心功能之一是能夠將任何應用程式（包括 Hadoop）打包到 Docker 映像中。 本教程介紹使用 Docker 在單台計算機上快速設定多節點 Hadoop 集群的詳細步驟。 在發現當前 Hadoop on Docker 專案存在的問題後，筆者開發了乙個接近 minite 的 Hadoop 映象，支援快速建立任意數量節點的 Hadoop 集群。

github：kiwanlau hadoop-cluster-docker 直接從機器上設定Hadoop集群可能是乙個痛苦的過程，特別是對於初學者來說。 他們甚至還沒有開始計算字數，他們可能會被這個問題折磨。

不是每個人都有幾台機器，對吧？ 您可以嘗試使用多個虛擬機器進行構建，只要您擁有一台效能良好的計算機即可。 我的目標是在 Docker 容器中執行 Hadoop 集群，使 Hadoop 開發人員能夠快速輕鬆地在本地設定多節點 Hadoop 集群。

事實上，這個想法已經有很多實現，但沒有乙個是理想的，它們要麼影象太大，要麼使用速度太慢，要麼使用第三方工具使它們太複雜而無法使用。 下表顯示了一些已知的 Hadoop on Docker 專案及其問題。 更快、更輕鬆地更改 Hadoop 集群中的節點數 此外，在向 Alvinhenrick Hadoop-Mutino 專案新增節點時，需要手動修改 Hadoop 配置檔案，重新構建 Hadoop-nn-dn 映象，然後修改容器啟動指令碼新增節點。

而且我通過乙個 shell 指令碼自動實現了它，我能夠在不到 1 分鐘的時間內重建 hadoop-master 映像，然後立即執行它！ 預設情況下，此專案啟動具有 3 個節點的 Hadoop 集群，並支援具有任意數量節點的 Hadoop 集群。 此外，啟動 Hadoop、執行字數統計和重建映像都是使用 shell 指令碼自動完成的。

這使得整個專案的使用和開發非常方便快捷。 開發測試環境作業系統：Ubuntu和Ubuntu核心版本：

docker 版本：和朋友們，硬碟不夠，記憶體不夠，尤其是核心版本太低，會導致操作失敗。

很多，你不能傳送Q&A的鏈結，否則我會給你乙個鏈結。 比如Hadoop等良興開放渣型源大資料專案，程式語言，下面就講大資料的底層技術。 單純猜測永巨集科技的技術，有四個方面，其實也代表了通用大資料的一些底層技術：

z-suite 具有高效能的大資料分析功能。

是的，您可以使用 Linux 映象例項同時擁有多個微伺服器，並且可以練習集群。

Kafka 是由 LinkedIn 設計的高吞吐量、分布式、基於發布和訂閱的消費系統，用 Scala 編寫，因其水平擴充套件、可靠性、非同步通訊和高吞吐量而被廣泛使用。 目前，越來越多的開源分布式處理系統支援與 Kafka 整合。

SSHD 方法可能是連線到容器的最簡單方法，大多數使用者習慣於通過 SSH 連線到 VM。 此外，無需使用 root 訪問許可權即可連線到容器。 然而，關於乙個容器是否應該管理多個程序，仍然存在很多爭議。

這種方法最終會導致每個容器,..額外的 SSHD 程序

OpenStack 管理底層資源，它可以管理 KVM、Xen、HyperV 和現在的 Docker 容器的虛擬機器。 Docker只能在單機上實現容器的效果，如果管理集群中的所有容器，仍然需要OpenStack或類似OpenStack的管理平台。