Azkaban简介

遇到了什么问题才会使用Azkaban ?

    比如: 想启动hadoop集群

      先启动 zk集群,再启动 hdfs ,再启动  yarn,再启动日志系统 

    工作过程中总会遇到 多个脚本执行的时候有顺序。

    任务可以有一个编排的工具。


1. 一个完整的大数据分析系统通常都是由大量任务单元组成:shell脚本程序,mapreduce程序、hive脚本、spark程序等。

hadoop jar topN.jar 参数
hive -e "sql语句"
spark任务  flink任务等

2. 各任务单元之间存在时间先后及前后依赖关系:先后关系、依赖关系、定时执行。

3. 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行。


Azkban 就是一个任务调度和编排工具(类似于一个小型机器人)。