拉开大变革序幕(下):分布式计算框架与大数据

来源:IT165收集  发布日期:2016-01-20 19:58:26

不可变基础设施

如何更好地使用容器技术实现不可变基础设施


Tachyon

Tachyon简介

南京大学PASA大数据实验室

SPARK/TACHYON:基于内存的分布式存储系统


Spark on Yarn

搭建spark on yarn集群全过程 —— 可与 3 形成参考

Spark on Yarn

Spark On YARN 集群安装部署 —— 推荐


下面是阿里云梯给出的Spark on YARN架构图

这里写图片描述

“基于YARN的Spark作业首先由客户端生成作业信息,提交给ResourceManager,ResourceManager在某一 NodeManager汇报时把AppMaster分配给NodeManager,NodeManager启动 SparkAppMaster,SparkAppMaster启动后初始化作业,然后向ResourceManager申请资源,申请到相应资源后 SparkAppMaster通过RPC让NodeManager启动相应的SparkExecutor,SparkExecutor向 SparkAppMaster汇报并完成相应的任务。此外,SparkClient会通过AppMaster获取作业运行状态。”

上面的信息来自
深入剖析阿里巴巴云梯YARN集群
是一浓ky"http://www.it165.net/qq/" target="_blank" class="keylink">qqyu7TttcS4ybv1PC9wPgo8aHIgLz4KPHA+PHN0cm9uZz4xKTwvc3Ryb25nPiDF5NbDSGFkb29wIFlhcm68r8i6yrGz9s/WtcTOyszivLDQ3ri0o7o8L3A+CjxwPtTaw7/Su8you/rG98nPo6htYXN0ZXK6zbj3uPZzbGF2ZaOpo6y2vNKqttRoYWRvb3AtZW52LnNous15YXJuLWVudi5zaMG9uPbOxLz+xKnOssztvNOjqGV4cG9ydKOpSkFWQV9IT01F1eK49ru3vrOx5MG/o6i4+b7dvt/M5bv6xvfJz0pBVkFfSE9NRbXEsrvNrLb4srvNrKOpoaM8YnIgLz4K1Nq+rbn9PC9wPgo8cHJlIGNsYXNzPQ=="brush:java;"> cd ~/hadoop-2.7.1 #进入hadoop目录 bin/hadoop namenode -format #格式化namenode sbin/start-dfs.sh #启动dfs sbin/start-yarn.sh #启动yarn

之后,登录 http://master:8088,发现有slave节点是unhealthy状态,再进行一下配置,在每台机器(master和各个slave)上,修改yarn-site.xml文件,添加如下:(不推荐!

name=yarn.nodemanager.disk-health-checker.enable
value=false

然后在master上stop-all.sh后,重新启动集群:

sbin/start-dfs.sh               #启动dfs 
sbin/start-yarn.sh              #启动yarn

就会发现恢复正常。


2) 配置spark的spark-env.sh时

注意master上SPARK_LOCAL_DIRS的值和各个slave上应当一样,即spark放在各个机器的同一路径下。


3) 目前来看在REHL 7.1上编译成的hadoop并不能在SUSE上跑起来


4) 各种slaves文件中不添加localhost这一项


Hadoop 编译出错

我是在IBM JAVA环境下进行hadoop的编译。列出编译过程中的错误和解决方法,供大家参考。

1) Antrun

Failed to execute goal
org.apache.maven.plugins:maven-antrun-plugin:1.6:run (create-testdirs)

http://stackoverflow.com/questions/17126213/building-hadoop-with-maven-failed-to-execute-goal-org-apache-maven-pluginsma

chown -R username parent-directory
( 如 chown -R root ../ )
mvn install -DskipTests

2) Build failed with JVM IBM JAVA on TestSecureLogins

package com.sun.security.auth.module does not exist

https://issues.apache.org/jira/browse/HADOOP-11783

这是专门为在IBM JAVA环境下打的patch。


3) 经过上面两个fix后如果很快显示BUILD SUCCESS,并且在(假设下载的源码文件夹名为hadoop-release-2.7.1)hadoop-release-2.7.1/hadoop-dist/target/目录下没有名为hadoop-2.7.1.tar.gz的tar包,说明没有编译成功,返回到hadoop-release-2.7.1这个根目录下,继续执行:

mvn package -Pdist -DskipTests -Dtar

http://www.iteblog.com/archives/897

这之后编译的时间明显变长,各位在这段惊心动魄的时间里度过吧:)


YARN集群运行SparkPi出错

Exception in thread “main” java.io.IOException: All datanodes
9.12.43.187:50010 are bad. Aborting…
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1206)
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.processDatanodeError(DFSOutputStream.java:1004)
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.run(DFSOutputStream.java:548)

有可能是因为IBM大型机上大小端的问题,需要一个patch。
或者通过组合异构平台解决。


运行成功显示

这里写图片描述

Tag标签: 分布式   序幕   框架  
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规