Azkaban简介
遇到了什么问题才会使用Azkaban ?
比如: 想启动hadoop集群
先启动 zk集群,再启动 hdfs ,再启动 yarn,再启动日志系统
工作过程中总会遇到 多个脚本执行的时候有顺序。
任务可以有一个编排的工具。
1. 一个完整的大数据分析系统通常都是由大量任务单元组成:shell脚本程序,mapreduce程序、hive脚本、spark程序等。
hadoop jar topN.jar 参数 hive -e "sql语句" spark任务 flink任务等
2. 各任务单元之间存在时间先后及前后依赖关系:先后关系、依赖关系、定时执行。
3. 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行。
Azkban 就是一个任务调度和编排工具(类似于一个小型机器人)。