刘刚培训公开课：Hadoop与Spark大数据架构专题（2017年2月 上海站）

主题

内容

第一天 上午

Spark生态介绍

 Mapreduce、storm和spark模型的比较和使用场景介绍
 Spark产生背景
 Spark（内存计算框架）
 SparkSteaming（流式计算框架）
 Spark SQL（ad-hoc）
 Mllib（MachineLearning）
 GraphX（bagel将被代）
 DlinkDB介绍
 SparkR介绍

Spark安装部署

 Spark安装简介
 Spark的源码编译
 Spark Standalone安装
 Spark Standalone HA安装
 Spark应用程序部署工具spark-submit

Spark运行架构和解析

 Spark的运行架构
• 基本术语
• 运行架构
• Spark on Standalone运行过程
• Spark on YARN 运行过程
 Spark应用程序的配置
 Spark运行实例解析
• Spark on Standalone实例解析
• Spark on YARN实例解析

第一天 下午

Spark编程模型和解析

 python开发环境搭建
 Spark的编程模型
 Spark编程模型解析
 Partition实现机制
 RDD的特点、操作、依赖关系
 Transformation RDD详解
 Action RDD详解
 Spark的累加器详解
 Spark的广播变量详解
 Spark容错机制
— lineage和checkpoint详解

文件读写操作

 Spark支持哪些文件的读写
 Spark读Hive的数据
 Spark读Json格式的数据
 Spark读Hbase的数据

第二天 上午

Spark应用优化

 partition优化详解
 文件压缩格式(ORC、Parquet)
 持久化类型选择
 灵活使用Join操作
 Spark配置参数的优化
RDD的优化

Spark Streaming原理和实践

 Spark Streaming原理
• Spark流式处理架构
• DStream的特点
• Dstream的操作和RDD的区别
• SatefulRDD和windowRDD实战
• Kafka+Spark Steaming实战
• Spark Streaming的优化
 Kafka+Spark Streaming实例
• 文本实例
 网络数据处理

第二天下午

Spark SQL原理和实践

 Spark SQL原理
• Spark SQL的Catalyst优化器
• Spark SQL内核
• Spark SQL和Hive
 DataFrame和DataSet架构
 Fataframe、DataSet和Spark SQL的比较
 SparkSQL parquet格式实战
 Spark SQL的实例和编程
• Spark SQL的实例操作demo
 Spark SQL的编程

案例实战

 基于spark日志分析
 Kafka+Spark Streaming实时计算实战
 Spark SQL实战
 Spark在大型互联网使用案例分享
 大数据在大型银行的使用案例分享