阿里调度系统zeus 安装使用_huguoping830623的博客-CSDN博客_zetsu安装教程
阿里调度系统zeus 安装使用
huguoping830623
于 2016-05-09 10:02:08 发布
10054
收藏
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huguoping830623/article/details/51350918
版权
注意：原始代码只支持centos6操作系统， 如果是centos7操作系统，需修改MemUseRateJob类的 run() 方法
1、安装jdk1.7    注意，zeus不支持jdk1.8
2、在部署服务器安装dos2unix 命令       yum install dos2unix
3、安装tomcat，我用的是tomcat7
4、在worker机器上添加biadmin用户 
修改权限文件 vim /etc/sudoers  
添加 biadmin         ALL=(ALL)       NOPASSWD:ALL
注释Defaults    requiretty
5、下载源码https://github.com/ctripcorp/dataworks-zeus.git
zeus-web工程pox文件加下面jar信息
<!-- https://mvnrepository.com/artifact/javassist/javassist -->
<dependency>
<groupId>javassist</groupId>
<artifactId>javassist</artifactId>
<version>3.12.1.GA</version>
</dependency>
<!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.43</version>
</dependency>
6、修改 zeus-web工程下的配置文件
1）persistence.xml 文件，mysql修改成自己的mysql信息
2）antx.properties 文件
#hadoop 配置文件路径
hadoop.home=/usr/bin/hadoop
hadoop.conf.dir=/etc/hadoop/conf
#hive 配置文件路径
hive.home=/usr/bin/hive
hive.conf.dir=/etc/hive/conf
3）env.sh文件
加上JAVA_HOME配置
7、编译配置mvn clean package -Pprod  -Dmaven.test.skip=true          生产环境war包
8、部署war到服务器tomcat 启动后会在数据库自动生成表
1）zeus_user 表添加用户biadmin  ，修改字段  user_iseffective=1， user_type=1，可以通过页面注册用户产 生记录
2）zeus_host_group 主机组 
3）zeus_host_relation 主机（zeus安装的主机ip）
4）zeus_worker 部署集群 （可运行的主机）
注意：这些表要手动维护
9、登陆 http://ip:port/zeus-web/login.do 
10、忽略第一次进入主页RPC错误、如有异常 参考properties  zeus.loggingRoot
11、zeus_action表，字段ready_dependency，dependencies ， 字段类型修改成text
huguoping830623
关注
关注
点赞
收藏
打赏
评论
阿里调度系统zeus 安装使用
注意：原始代码只支持centos6操作系统， 如果是centos7操作系统，需修改MemUseRateJob类的 run() 方法1、安装jdk1.7 注意，zeus不支持jdk1.82、在部署服务器安装dos2unix 命令 yum install dos2unix3、安装tomcat，我用的是tomcat74、在worker机器上添加biadmin用户修...
复制链接
扫一扫
zeus-admin：Zeus基于Golang Gin + casbin，致力于做企业统一权限和账号中心管理系统。包含账号管理，数据权限，功能权限，应用管理，多数据库适配，可docker一键运行。社区活跃，版本重组快，加群免费技术支持
02-05
Zeus宙斯权限和账号管理系统
项目介绍
Zeus 宙斯权限后台，为企业提供统一后台权限管理私有化Saas云服务。
项目使用golang gin + vue-element-admin框架开发，用jwt + casbin做权限管理，提供OAuth2.0的Restful Api连接。
为企业后台系统提供统一登陆鉴权，菜单管理，权限管理，组织架构管理，员工管理，配置中心，日志管理等。
支持企业微信，钉钉登陆和同步企业组织架构。
统一管理员工入离职，强化权限审批流程化。
打通开源软件，估计Saas软件，企业内部开发系统等，包括不包括jenkis，jira，gitlab，confluence，禅道，企
IDEA安装教程
最新发布
Fahaxike77的博客
11-15
50
安装教程
评论 4
您还未登录，请先
登录
后发表或查看评论
Hadoop 开源调度系统zeus(一)
05-23
8605
大数据分析中，经常使用Hadoop来做离线
Zeus资源调度系统介绍
weixin_34319111的博客
04-05
411
摘要： 本文主要概述阿里巴巴Zeus资源调度系统的背景和实现思路。 本文主线：问题、解决方案、依赖基础知识、工程实践、目标、经验分享。立足企业真实问题、常规解决策略，引出依赖的容器技术、实践方案，所有这些落实到工程实践，要解决那些问题、实现哪些目标、技术大趋势的影响。最后给出阿里巴巴的实践经验。本序列文章并不是突出架构上重大突破，毕竟这个领域已经发展了1...
阿里开源Zeus云梯分布式作业调度平台安装教程
rentian1的博客
06-06
652
来源：https://bbs.aliyun.com/simple/t338991.html
第一步：软件包的下载
[HTML]纯文本查看复制代码
apache-tomcat-7.0.69.tar.gz 下载URL：
http://mirror.bit.edu.cn/apache/tomcat/tomcat-7/v7.0.69/bin/
apache-maven...
etl数据调度平台系统类别的实现方法及工作流程
humsuen的博客
07-06
770
什么是调度系统
调度系统，更确切地说，作业调度系统（Job Scheduler）或者说工作流调度系统（workflow Scheduler）是任何一个稍微有点规模，不是简单玩玩的大数据开发平台都必不可少的重要组成部分。
除了Crontab，Quartz这类偏单机的定时调度程序／库。开源的分布式作业调度系统也有很多，比较知名的比如：oozie，azkaban，chronos，zeus等等，此外，还有包括阿里的TBSchedule，SchedulerX，腾讯的Lhotse以及我司历尽十年磨砺的TASKCTL
zeus安装流程
01-12
3315
1、解压zip包
https://github.com/cloverfisher/zeus
unzip zeus2-master.zip
2、上传tomcat、maven、highchart包，并解压
[root@hadoop5 zeus]# tar -zvx -f apache-maven-3.2.3-bin.tar.gz
[root@hadoop5 zeus]# tar -zvx
详解Hadoop作业平台宙斯Zeus
11-29
宙斯是一个完整的Hadoop的作业平台，从Hadoop任务的调试运行到生产任务的周期调度 宙斯支持任务的整个生命周期，从功能上来说，支持：
Hadoop MapReduce任务的调试运行
Hive任务的调试运行
Shell任务的运行
Hive元数据的可视化查询与数据预览
Hadoop任务的自动调度
完整的文档管理
本课程将详解详解Hadoop作业平台宙斯Zeus
zeus平台常见故障及排查方法
小诸葛的博客
08-09
182
zeus平台常见故障及排查方法
zeus安装部署全套资料
08-19
提供了一整套阿里大数据任务调度框架zeus的安装部署手册及源代码
zeus_nb:用较新的技术升级阿里调度系统zeus
05-14
zeus_nb
为什么叫zeus_nb new born的意思，新生。
zeus是阿里多年前开源的。介绍见下面。摘自网络。
阿里转向云计算平台后，项目停止了更新。不过很多中小型公司还在使用zeus作为大数据作业调度平台。本人也使用过zeus，觉得相比oozie，azkaban等任务流调度系统，
zeus操作起来更加方便。对被阿里抛弃的zeus，感觉很可惜。决心维护起该项目，为中小公司提供一个拿起就用，稳定成熟的调度系统。
老版zeus存在以下几个问题：
1.jdk支持的版本较低，支持jdk1.6。
2.技术框架版本较低，有些模块已经过时。例如spring版本是2.5，hibernate版本3.2.7，netty版本3.2.4，前端技术采用的是GWT，这个已经严重过时。
3.任务管理中没有完善的权限模块，缺少审核功能。
4.没有完整的ETL功能支持，需要二次开发。
5.没有配置页面，例如添加
集群中zeus平台的变更
David.peng
10-08
495
（1）在zeus的web页面查看自动任务/手动任务记录
（2）kill掉集群中zeus的进程
ps -ef | grep zeus | awk '/tomcat/{print $2}'|xargs kill -9
（3）检查集群中是否还存在相关zeus进程
ps -ef|grep zeus
（4）删除文件（旧的zeus相关war包）
rm -rf /data/zeus/...
Zeus 客户端的生成和使用
淙淙的专栏
02-15
2078
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。
上篇文章简述了Zeus1.2.4.2版控制端的配置，本文说明客户端的使用。
在Zeus目录中，打开builder文件夹，运行builder
选择edit config，编辑config文件，主要更改4个IP地址，改成你控制端所在主机的地址，就是上文配置LAMP环境
zeus
红泥火炉
07-27
3121
目录
1. Hadoop 的调度
2. Zeus 的使用
3. Zeus 安装
4. Zeus的使用
5. 解决zeus不能调度hive作业
6. 关闭zeus
1. Hadoop 的调度
Hadoop的调度是在zeus调起任务后执行，是hadoop内部任务的调度。
分为：公平调度（默认）、FIFO、容量调度。
Fair 调度：不超过集群总 map 数...
解析阿里云分布式调度系统伏羲
imgxr的博客
03-06
3653
作者：陶阳宇，花名举水，阿里云高级技术专家，飞天分布式系统早期核心开发人员，开发和优化过伏羲系统中多个功能模块，参加了飞天5K、世界排序大赛等多个技术攻坚项目。在分布式计算、高并发系统的设计和开发方面有较丰富的经验。
责编：郭芮（guorui@csdn.net），关注大数据领域。
本文为《程序员》原创文章，未经允许不得转载，更多精彩文章请订阅《程序员》
本文涉及阿里云分布式调度团...
zeus作业平台在hadoop2.x中的安装部署
u013623958的专栏
04-04
2838
前期工作：1、hadoop 2.7.3安装。
2、hive 2.1.1安装。
3、java 1.7安装。
4、mysql安装。
5、maven 3.3.9安装。
6、tomcat 7.0安装。
7、安装dos2unix。（命令:yum install -y dos2unix）zeus安装配置1、下载zeus下载zeus：https://github.com/michael8335/zeu
Zeus配置
lizhe9719的博客
12-15
1374
1.Zeus配置：
SSH配置：Zeus节点需要使用原始密钥对进行ssh验证。如果你在使用hepfarm02时创建原始密钥后创建了新密钥，请按照以下代码复制公钥交给管理员，或者直接联系管理员添加公钥。
scp username@hepfarm02.phy.hep.edu.cn:/home/pku/username/.ssh/id_rsa.pub /home/yourfile
如果是第一次配置ssh，请参考这个地址：
设置SHH通过密钥登录
完成公钥的配置后，使用下列命令登录zeus服务器。
ssh zeu
阿里开源Zeus概述
热门推荐
凌霄的专栏
10-28
1万+
阿里开源Zeus概述1. 什么是宙斯（Zeus）宙斯是阿里巴巴开源的一款分布式Hadoop作业调度平台，支持多机器的水平扩展。Zeus是一款完全分布式的调度系统，，支持多机器的水平扩展，一台机器为一个节点，由master节点分发任务至不同的worker,实现任务的分布式调度。目前支持的任务类型主要由hive脚本和shell脚本。Zeus不仅仅可以执行独立任务调度，还支持任务之间依赖调度。这就使得ze
宙斯 安装部署
zjw11763的专栏
09-17
672
http://central.maven.org/maven2/com/google/guava/guava/18.0/guava-18.0.jar 版本太老
HADOOP_CONF_DIR
拷贝 hive-site hdds-site hfs-core hadoop-auth-2.5.2 (1)到 classes
http://central.ma
Linux (Ubuntu) 下Zeus 环境的搭建和配置
淙淙的专栏
02-15
1547
技术抉择：阿里云13年后重构全部核心调度系统
阿里巴巴中间件
03-30
262
编辑 | Tina
在阿里云十三年的发展历史上，重新设计调度系统算得上是一个重要的技术抉择。云计算是一个庞大的技术工程。2009 年，阿里云从 0 到 1 自建国产云计算系统“飞天”，为了确保对每一行代码都有控制力，阿里云选择了一条艰难的道路：自主研发。伏羲调度系统是“飞天”三大服务之一。调度系统作为云计算的核心技术，无论是对亚马逊、谷歌还是其他云计算企业来说，都是...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：大白
设计师：CSDN官方博客
返回首页
huguoping830623
CSDN认证博客专家
CSDN认证企业博客
码龄14年
暂无认证
34
原创
25万+
周排名
134万+
总排名
12万+
访问
等级
1390
积分
18
粉丝
20
获赞
18
评论
10
收藏
私信
关注
热门文章
protobuf-2.5.0.tar.gz的下载与安装
30926
flume读取日志数据写入kafka
10984
阿里调度系统zeus 安装使用
10054
kafka+storm整合 java示例
10004
superset 安装部署
5572
分类专栏
hbase
4篇
推荐系统
算法
1篇
linux
1篇
hive
4篇
hadoop
4篇
相似度算法
flume_kafka
5篇
mysql
2篇
mongodb
1篇
storm
1篇
最新评论
Impala问题汇总
沧海深蓝:
IMPALA时区修改后无效CDH5.16.2
阿里调度系统zeus 安装使用
scx_white:
使用hera任务调度吧 基于zeus二次修改开源的。更多功能。码云地址 ：https://gitee.com/scx_white/hera
mysql-maxwell binlog订阅
meiguiyuan_ygm:
是不是高版本的maxwell对过滤做了调整？我测试的时候，在同一个实例下有几个前缀相同的数据库，例如CRM,CRM1,CRM2。 我设置include_dbs=CRM的时候，在操作其他CRM* 数据库表的时候也触发了往kafka发消息。
或者命令行启动的时候，该如何设置exclude ，include 规则？
CDH安装配置LDAP
九师兄:
大牛，能加你问一下这个问题吗？我扣扣：541711153
阿里调度系统zeus 安装使用
huguoping830623
回复
iot1994:
已经更新，可以参看更新后的文档
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
上传非结构化数据到HBase
kylin和superset整合
mysql-maxwell binlog订阅
2017年5篇
2016年26篇
2015年14篇
目录
目录
分类专栏
hbase
4篇
推荐系统
算法
1篇
linux
1篇
hive
4篇
hadoop
4篇
相似度算法
flume_kafka
5篇
mysql
2篇
mongodb
1篇
storm
1篇
目录
评论 4
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
huguoping830623
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值