参考:
[1] http://hi.baidu.com/clockfly/item/f977cad1239bd94fddf9beea
[2] http://blog.csdn.net/jiushuai/article/details/18729367
1. 已有的环境
a. 安装有HDFS文件系统 b. 安装有YARN,且YARN服务已经开启 c. JAVA_HOME
注:本次安装实验是基于hadoop2.2.0的,jdk1.7,因此a,b,c全部满足。
2. Storm on Yarn的安装准备
a. 从GitHub上下载Storm on Yarn wget https://github.com/yahoo/storm-yarn/archive/master.zip b. Unzip master unzip master c. Edit pom.xml,修改Hadoop的版本号,改成对应的版本号
3. Maven安装(使用Maven来build工程)
wget http://mirror.symnds.com/software/Apache/maven/maven-3/3.1.1/binaries/apache-maven-3.1.1-bin.tar.gz tar –zxvf apache-maven-3.1.1-bin.tar.gz
4. 配置Storm的工作环境
a. 解压缩storm.zip unzip storm.zip b. 添加storm-0.9.0-wip21和storm-yarn-master的bin到Path环境变量 export PATH=${PATH}:${STORM_HOME}/storm-0.9.0-wip21/bin export PATH=${PATH}:${STORM_HOME}/storm-yarn-master/bin c. 添加Storm工程需要的额外Jar包到storm-0.9.0-wip21的lib下,重新压缩成storm.zip文件,上传至HDFS的指定目录中(非常重要,集群中通过访问hdfs中的storm.zip获取工作环境) zip –r storm.zip storm-0.9.0-wip21 hadoop fs –put storm.zip /lib/storm/0.9.0-wip21/
5. 安装并运行Storm
a. 使用maven来build工程 cd storm-yarn-master mvn package b. 修改storm.yaml文件 vi storm-0.9.0-wip21/conf/storm.yaml 注:只修改了zookeeper的servers信息,其余没有改动。
c. 提交运行storm on yarn,并得到一个ApplicationId storm-yarn launch storm.yaml 注:因为storm是作为一个yarn程序运行在集群上的,所以会有一个AppId,如下图所示
d. 存储storm.yaml文件到.storm,这样使用storm命令提交jobs时,会找到该文件
storm-yarn getStormConfig -appId application_1381089732797_0025 -output ~/.storm/storm.yaml e. 通过以下命令得到Nimbus host cat ~/.storm/storm.yaml | grep nimbus.host
6. 测试Storm
a. 提交Topology storm jar lib/storm-starter-0.0.1-SNAPSHOT.jar storm.starter.WordCountTopology WordCountTopology -c nimbus.host=<your nimbus host> b. 监控Topology 查看Storm ui,地址是:http://<your nimbus host>:7070 c. 关闭Topology storm kill [Topology_name] d. 关闭Storm on yarn集群 storm-yarn shutdown –appId [applicationId]
相关推荐
storm on yarn概念架构消息机制概述 包括storm job跟mapreduce job对比 storm on yarn架构图 storm关键概念描述 storm消息机制介绍
1. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上,关闭HDFS的安全模式: 3. 在 master 节点上
storm-yarn结合pig实现广告点击量分析源码,学习 storm-yarn和pig的必备研究项目
编译环境: flink on yarn flink版本:flink1.8.0 scala版本:scala_2.1.2 hadoop版本:hadoop2.6.0-cdh5.9.3 系统:cetos6.4 final
yarn安装.docx
Storm-yarn使Storm群集可以部署到Hadoop YARN管理的计算机中。 这项工作仍在进行中。 贡献者 冯德( ) 罗伯特·埃文斯( ) 德里克·达吉特( ) 内森·罗伯茨( ) 王鑫( ) 邮件列表 随时在Storm-yarn的邮件...
presto on yarn的安装部署文档。已经在测试环境安装,可访问生产环境hive数据,访问速度快。presto版本0.220
CDH6.2 FLINK on yarn : FLINK_ON_YARN-1.14.3.jar
CDH6.3.1集成安装flink on yarn服务(通过parcel制作生成的csd文件) 文件名:FLINK_ON_YARN-1.14.0.jar 相关信息如下: 1. flink版本号:1.14.0 2. 系统版本:CentOS7.7 3. CDH版本:6.3.1 4. 扩展版本号:BIN-...
该文档来自阿帕奇2015中国路演。梁宇明发表了题为“Voidbox – Docker on YARN”的主题演讲,欢迎下载!
■ YARN 的设计目的和基本架构 ■ MapReduce 概念 ■ Apache Spark 概念 ■ YARN 如何分配集群资源 ■ YARN 如何处理故障 ■ 如何查看和管理YARN 应用程序 ■ 如何访问YARN 应用程序日志
SPARK2_ON_YARN-2.4.0 jar包下载
Spark on Yan集群搭建的详细过程,减少集群搭建的时间
现在官网下载缓慢,这里可以直接下载安装,所以分享给大家,以供直接下载,版本号 yarn-1.0.2.msi
基于docker搭建spark on yarn及可视化桌面.doc
第2章详细讲解storm 集群环境的安装和搭建,以及如何将topology部署 到分布式环境中;第3章通过传感器数据实例详细 介绍Trident topology;第4章讲解如何使用Storm 和Tridentj挂行实时趋势分析;第5章介绍如何使用 ...
stormonyarn概念架构消息机制,基础的storm运行例子
Spark on Yarn模式部署.docx
yarn安装
【讲义-第10期Spark公益大讲堂】Spark on Yarn-.pdf