网易云课堂IT互联网 网易云课堂IT互联网

大数据调度框架:Azkaban

所属微专业:

图片
课程概述

无论是数据开发平台还是个人,任务调度系统是极其核心的一环。本课程深度解析开源调度系统azkaban,从系统介绍、安装配置、再到工作流调度实战、以及改进思路,全面的介绍任务调度系统的整体架构,一线案例的讲解加以实际演练帮助大家全方位掌握大数据调度系统。


课程关键词:

  • 任务调度系统

  • 实际项目讲解

  • 实际操作演练

证书要求


课程属于《大数据开发工程师》微专业,不可单独购买,完成微专业要求后可按规定获得微专业证书。

预备知识
  • 具备Java基础语言的应用

  • 具备Linux常用基本命令使用的能力


授课大纲

1任务调度基本概念

1.1课程介绍

1.2调度系统背景知识

2Azkaban系统介绍

2.1架构组件和任务流程讲解

3Azkaban的安装和配置

3.1代码下载、编译:azkaban、azkaban-plugin

3.2服务的部署:solo、cluter模式

3.3插件的安装:hadoopJava、Spark等

4Azkaban工作流调度实战

4.1具体任务编写要点 和 DAG设计

4.2不同调度参数详解

5Azkaban进阶

5.1如何实现web高可用

5.2如何提高任务可用性

5.3如何增加新的插件类型