1.在Apache/Hadoop項(xiàng)目的網(wǎng)站(hadoop.apache.org/)下載hadoop以及hbase的發(fā)行包
hadoop-0.20.2.tar.gz hbase-0.90.0.tar.gz2.使用root身份登錄目標(biāo)服務(wù)器系統(tǒng)(Suse10 Linux),首先安裝java的jdk,它的home目錄是/usr/jlocal/jdk
另外到 /etc/hosts 文件中查看主機(jī)映射是否存在如果需要做分布式的話,本機(jī)要做namenode,所以要把所有的datanode的 host添加到這里面.
3.創(chuàng)建hadoop用戶, $useradd hadoop 可以用 $passwd hadoop 修改hadoop用戶的登錄密碼.
4.創(chuàng)建hadoop用戶的home目錄,如果打算在別處安裝hadoop/hbase的話可以不這樣做,這里我們默認(rèn)將hadoop/hbase安裝在/home/${username}目錄下.
$cd /home
$mkdir hadoop
將目錄用戶指派給hadoop
$chown hadoop hadoop
改變目錄權(quán)限,這里我們配大一些,其實(shí)只要644就足夠了:
$chmod 755 hadoop
5.使用hadoop用戶登錄系統(tǒng),將下載的兩個(gè)發(fā)行包文件傳到/home/hadoop目錄下面,然后給它們加上執(zhí)行權(quán)限:
$chmod a+x hadoop-0.20.2.tar.gz
$chmod a+x hbase-0.90.0.tar.gz
6.解壓hadoop:
$tar zxvf hadoop-0.18.2.tar.gz
這樣做會(huì)在/home/hadoop目錄下解壓hadoop發(fā)行包并創(chuàng)建到/home/hadoop/hadoop-0.20.2目錄中
7.修改hadoop環(huán)境腳本:
修改文件/home/hadoop/hadoop-0.20.2/conf/hadoop-env.sh,在其中加入JAVA_HOME變量: export JAVA_HOME=/usr/local/jdk
HADOOP_HOME變量我們可以不設(shè)置,默認(rèn)的情況是指定HADOOP_HOME為運(yùn)行啟動(dòng)腳本當(dāng)前目錄的父目錄.
8.修改hadoop啟動(dòng)配置:
接下來(lái)的設(shè)定檔共有3個(gè) core-site.xml, hdfs-site.xml, mapred-site.xml
1.core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/var/hadoop/hadoop-\${user.name}</value>
</property>
</configuration>
2.hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
3.mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
9.格式化nodename及啟動(dòng)hdfs守護(hù)進(jìn)程:
$/home/hadoop/hadoop-0.20.2/bin/hadoop namenode -format
$/home/hadoop/hadoop-0.20.2/bin/start-all.sh
使用shart-all.sh可以方便的啟動(dòng)所有的hdfs守護(hù)進(jìn)程,如果想關(guān)閉這些守護(hù)進(jìn)程可以使用stop-all.sh腳本.
啟動(dòng)過(guò)程中需要輸入登錄密碼.
啟動(dòng)成功后可以用以下簡(jiǎn)單方法測(cè)試hdfs:
$/home/hadoop/hadoop-0.20.2/bin/hadoop fs -mkdir dir4test
$/home/hadoop/hadoop-0.20.2/bin/hadoop fs -ls
$/home/hadoop/hadoop-0.20.2/bin/hadoop fs -put /home/hadoop/file4test.zip file4test_temp.zip
相當(dāng)于linux系統(tǒng)下的mkdir ls cp命令.
10.解壓hbase發(fā)行包:
$tar zxvf hbase-0.20.2.tar.gz
11.修改hbase環(huán)境腳本:
修改文件/home/hadoop/hbase-0.20.4/conf/hbase-env.sh,在其中加入JAVA_HOME變量: export JAVA_HOME=/opt/IBM/WebSphere/AppServer/java
簡(jiǎn)單啟動(dòng)暫時(shí)不需要在用戶配置文件/home/hadoop/hbase-0.18.1/conf/hbase-site.xml添加任何替代屬性.
12.啟動(dòng)hbase:
$/home/hadoop/hbase-0.20.4/bin/start-hbase.sh
成功啟動(dòng)hbase的守護(hù)進(jìn)程.
啟動(dòng)hbase hql shell:
$/home/hadoop/hbase-0.20.4/bin/hbase shell
在hql shell中可以進(jìn)行hbase數(shù)據(jù)操作,如果需要幫助信息可以鍵入:
hbase>help
簡(jiǎn)單測(cè)試hbase:
在hbase shell下:
hbase>create 't1','f1','f3'
hbase>list
配置 hbase
(1)編輯$HBASE_HOME/conf/ hbase-env.sh配置環(huán)境變量JAVA_HOME;
(2)編輯$HBASE_HOME/conf/hbase-site.xml, 增加如下配置(與Hadoop保持一致):
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
<description>The directory shared by region servers.
</description>
</property>