IT技术互动交流平台

分布式Hbase-0.98.4在Hadoop-2.2.0集群上的部署

作者:fesh1124  来源:IT165收集  发布日期:2014-08-18 21:00:17

  fesh个人实践,欢迎经验交流!转载请注明Blog地址:http://www.cnblogs.com/fesh/p/3898991.html

  Hbase 是Apache Hadoop的数据库,能够对大数据提供随机、实时的读写访问功能,具有开源、分布式、可扩展及面向列存储的特点。由于Hbase架构是基于其他文件存储系统的,因此在分布式模式下安装Hadoop是必须的。本文参考官方文档,安装部署一个完全分布式的Hbase集群。@_@

一、基本环境

  操作系统:Ubuntu14.04 Server-x64

  JDK版本:jdk1.8.0_11

  Hadoop:hadoop-2.2.0

  Zookeeper:zookeeper-3.4.6

  Hbase  :hbase-0.98.4-hadoop2 (stable)(版本与Hadoop、Zookeeper相对应)

  计算机台数:3 

主机名 IP地址 JDK_x64 Hadoop-2.2.0集群 Zookeeper-3.4.6集群 Hbase-0.98.4集群
master 192.168.145.1 1.8.0_11 NameNode,DataNode QuorumPeerMain  HMaser,HRegionServer 
slave1 192.168.145.2 1.8.0_11 DataNode QuorumPeerMain   HMaster(backup-masters),HRegionServer
slave2 192.168.145.3 1.8.0_11 DataNode QuorumPeerMain   HRegionServer

二、预安装配置

  安装JDK

  安装SSH及设置SSH免密码登录,设置master可以免密码登陆slave1和slave2

  配置主机-IP地址映射 /etc/hosts 及 /etc/hostname

  搭建ZooKeeper集群,请参见《分布式Apache ZooKeeper-3.4.6集群安装》

  搭建Hadoop集群,可以参考《Ubuntu12.04-x64编译Hadoop2.2.0和安装Hadoop2.2.0集群》

三、Master节点配置信息

1、$HBASE_HOME/conf/hbase-env.sh  

  配置Hbase运行环境,包括Java安装路径及其他环境变量

  JAVA_HOME         :JAVA安装目录
  HADOOP_CONF_DIR   :HADOOP配置目录
  HBASE_HEAPSIZE    :设置堆内存为4G而不是默认的1G
  HBASE_MANAGES_ZK  :Tell HBase whether it should manage its own instance of Zookeeper or not.
          To point HBase at an existing ZooKeeper cluster, one that is not managed by HBase, set HBASE_MANAGES_ZK in conf/hbase-env.sh to false
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_11
export HADOOP_CONF_DIR=/home/fesh/hadoop-2.2.0/etc/hadoop
export HBASE_HEAPSIZE=4096
export HBASE_MANAGES_ZK=false

2、$HBASE_HOME/conf/hbase-site.xml

   hbase.rootdir          :Hbase数据存储目录(HDFS中目录)

   hbase.cluster.distributed        :指定Hbase是否运行在分布式模式

   hbase.zookeeper.property.dataDir :Zookeeper写数据目录(与ZooKeeper集群上配置相一致)

     hbase.zookeeper.quorun           :指定Hbase在每个节点上开启和管理一个Zookeeper instance,即指定ZooKeeper集群位置
    hbase.master           :指定Hbase的master的位置
<configuration>
  <property>
    <name>hbase.rootdir</name>
    <value>hdfs://master:9000/hbase</value>
  </property>
  <property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  </property>
 <property>
  <name>hbase.zookeeper.quorum</name>
  <value>master,slave1,slave2</value>
 </property>
  <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/fesh/data/zookeeper</value>
  </property>
 <property>
  <name>hbase.master</name>
  <value>hdfs://master:60000</value>
 </property>
</configuration>    

3、$HBASE_HOME/conf/regionservers

  regionservers文件列出了所有运行Hbase RegionServer CHRegion Server的机器。此文件的配置和Hadoop的slaves文件十分类似,每一行指定一台机器。当Hbase的时候,会将此文件中列出的所有机器启动;同样,当Hbase关闭的时候,也会同时自动读取文件并将所有机器关闭。

  删除localhost,添加

master
slave1
slave2

4、$HBASE_HOME/conf/backup-masters  

  新建此文件,用于设置备份Master (a backup master),这里设置为slave1节点

slave1

四、分发文件

分发到slave1:

scp -r hbase-0.98.4-hadoop2 slave1:~/

分发到slave2:

scp -r hbase-0.98.4-hadoop2 slave2:~/

五、其他配置(每个节点上都需要配置)

1、设置ulimit 和 nproc

  HBase是数据库,会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的,会导致FAQ: Why do I see 'java.io.IOException...(Too many open files)' in my logs?异常。所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc,如果过低会造成OutOfMemoryError异常。

/etc/security/limits.conf  Ubuntu上的ulimit设置,操作系统用户fesh(用户名)打开文件(nofile)的soft and hard limits数目设置为32768, 用户fesh的processes数目设置为32000

fesh  -       nofile  32768
fesh  -       nproc   32000

另外,在 /etc/pam.d/common-session 加上这一行,否则在 /etc/security/limits.conf上的配置不会生效

session required  pam_limits.so

还有注销再登录,这些配置才能生效!

2、配置dfs.datanode.max.xcievers

   一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了). 在你加载之前,先确认下你有没有配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096:

  配置文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml,添加

   <property>
        <name>dfs.datanode.max.xcievers</name>
        <value>4096</value>
      </property>

  如果没有这一项配置,你可能会遇到奇怪的失败。你会在Datanode的日志中看到xcievers exceeded,但是运行起来会报 missing blocks错误。

  对于HDFS修改配置要记得重启.

3、配置系统环境变量

  /etc/profile ,添加

#Set HBASE_HOME ENVIRONMENT
export HBASE_HOME=/home/fesh/hbase-0.98.4-hadoop2
export PATH=$PATH:$HBASE_HOME

 六、集群启动及查看

1、启动

  Hbase的启动顺序为:  HDFS -> ZooKeeper -> Hbase

master节点:

在$HADOOP_HOME目录下启动Hadoop集群

sbin/start-all.sh

每个节点:

在$ZOOKEEPER_HOME目录下启动ZooKeeper集群

bin/zkServer.sh start

master节点:

在$HBASE_HOME目录下启动Hbase集群

bin/start-hbase.sh

2、命令查看

 master节点:

slave1节点:

slave2节点:

3、UI查看

  60010查看端口Master

  60030端口查看RegionServer

master节点

这里slave1和slave2没有可视化界面,所以不使用UI查看。

 七、停止

停止顺序:Hbase  》  ZooKeeper  》 Hadoop

 

 

Tag标签: 分布式   集群  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规