IT技术互动交流平台

CDH上执行WordCount的意外和收获

作者:ljy2013  来源:IT165收集  发布日期:2015-07-25 21:10:59

  前面将Cloudera Manager安装到集群上的一台主机后,并通过Cloudera manager安装了hadoop-2.6.0-CDH5.4.4。今日来测试安装的集群是否很够很好的执行mapreduce任务。测试的方法就是测试WordCount的例子。

1、在讲测试用例之前,我们首先为系统当前用户在HDFS中创建一下工作目录,并服务相应的权限。

1.1、由于我安装的时候是用的root用户,因此也就需要在hdfs中为root用户创建工作目录,并授予权限。

  (1)首先在HDFS中,在用户目录/user/下创建一个root用户文件夹,作为root用户的工作目录。执行如下代码:

    sudo -u hdfs  hadoop  fs  -mkdir  /user/root

  (2)授予/user/root目录相应的权限

    1)先将该目录的所有权赋给root用户: sudo -u hdfs  hadoop  fs  -chown  root  /user/root

    2)再将该目录的组的权限赋给root用户自己管理:sudo -u hdfs  hadoop  fs  -chgrp  root  /user/root

    3)最后设置该目录的权限:sudo -u hdfs  hadoop  fs -chmod  777  /user/root    (该权限是拥有者:可读可写可执行;组用户:可读可写可执行;其他用户:可读可写可执行)

1.2、给普通用户创建HDFS工作目录,并授予权限。普通用户与root方法类似,只不过这个过程是需要在root用户下执行的。

2、测试WordCount例子。

2.1、执行测试用例

  通过CDH自身的jar来测试,该jar是在/opt/cloudera/parcels/CDH/jars/hadoop-examples.jar包。然后通过在界面执行如下命令:

    hadoop  jar /opt/cloudera/parcels/CDH/jars/hadoop-examples.jar  /user/root/input  /user/root/output

  以上代码需要注意的是/user/root/output必须是未存在的。mapreduce运行完之后,会自动创建。

  本以为可以搞定,并等待结果,当执行完毕后,通过hdfs网页管理进入/user/root/output发现有48个part-r-000xx文件,这说明该作业提交后,执行了48个reducer任务。这就奇了怪了。我并没有让他执行48个reducer任务啊,而且我以前部署了这么多次的hadoop集群都没有出现过这个问题,这次运行WordCount竟然出现了这样的问题。

2.2、2.1的问题的原因分析

  通过查看上面产生的48个文件的内容,发现对应的是只是执行了map任务,对应的每一个单词就是1,reducer并没有进行累加。出现上面的这个问题,开始分析发现是由于yarn-site.xml配置文件中没有设置shuffle过程。就是没有设置洗牌的过程。也就是在yarn-site.xml文件中设置:

     <property> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
     </property> 

通过查看Cloudera CDH的配置文件,发现貌似还真的没有设置。查看的方式是分别查看两个路径下的配置文件内容:

  客户端:/etc/hadoop

  服务端:/var/run/cloudera-scm-agent/process/ (在该目录下找yarn-RESOURCEMANAGER或yarn-NODEMANAGER的目录)

在这两个目录下可以查看相应的配置文件。发现配置文件并没有上面需要添加的信息,于是手动添加。最后发现也还是没用。

最后考虑reducer的代码的问题。最后发现是我的reducer类的代码下的有问题。

2.3、此时本以为问题已经解决了,但是运行之后,发现还是会有48个文件产生,这个时候我有郁闷了,我在查看了这48个文件的内容,发现这次reducer函数起到了作用,单词的个数进行了累加。那为什么还是会产生48个文件呢?

  原因:不明

  修改的方法是:通过在代码中设置reduce的个数来设置reducer的数目。如:job.setNumReduceTasks(1);

  此时发现有效,最后只有一个reducer。

  进一步测试,通过分别设置job.setNumReduceTasks(10);和job.setNumReduceTasks(100);,并运行产生结果,发现最后的结果都产生了我设置数目的reducer的个数的文件。这个时候,我推断默认情况下是reducer是48个。

 

延伸阅读:

  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规