hadoop是做什麼的 hadoop的資料

來源:時尚少女範 2.01W
hadoop是做什麼的 hadoop的資料

1、Hadoop主要是分散式計算和儲存的框架,所以Hadoop工作過程主要依賴於HDFS(Hadoop Distributed File System)分散式儲存系統和Mapreduce分散式計算框架。

2、分散式儲存系統HDFS中工作主要是一個主節點namenode(master)(hadoop1.x只要一個namenode節點,2.x中可以有多個節點)和若干個從節點Datanode(資料節點)相互配合進行工作。

3、HDFS主要是儲存Hadoop中的大量的資料,namenode節點主要負責的是:接收client使用者的操作請求,這種使用者主要指的是開發工程師的Java程式碼或者是命令客戶端操作。維護檔案系統的目錄結構,主要就是大量資料的關係以及位置資訊等。管理檔案系統與block的關係。

4、Hadoop中大量的資料為了方便儲存和管理主要是以block塊(64M)的形式儲存。一個檔案被分成大量的block塊儲存之後,block塊之間都是有順序關係的,這個檔案與block之間的關係以及block屬於哪個datanode都是有namenode來管理。

熱門標籤