HadoopHadoop是一個用于運行應用程序在大型集群的廉價硬件設備上的框架,。Hadoop為應用程序透明的提供了一組穩(wěn)定/可靠的接口和數(shù)據(jù)運動,。在Hadoop中實現(xiàn)了Google的MapReduce算法，它能夠把應用程序分割成許多很小的工作單元,，每個單元可以在任何集群節(jié)點上執(zhí)行或重復執(zhí)行,。此外，Hadoop還提供一個分布式文件系統(tǒng)用來在各個計算節(jié)點上存儲數(shù)據(jù),，并提供了對數(shù)據(jù)讀寫的高吞吐率,。由于應用了map/reduce和分布式文件系統(tǒng)使得Hadoop框架具有高容錯性，它會自動處理失敗節(jié)點,。已經在具有600個節(jié)點的集群測試過Hadoop框架,。 |
|
|
