Spark 及 Hadoop 开发员培训

-课程大纲-

课程介绍

 

Hadoop 及生态系统介绍

传统大规模系统的问题

Hadoop ！

Hadoop 生态系统

 

Hadoop 体系结构及 HDFS

机群环境下的分布式处理

存储：HDFS 体系结构

存储：使用 HDFS

资源管理：YARN 体系结构

资源管理：使用 YARN

 

使用 Apache Sqoop 导入关系数据

Sqoop 简介

数据的基本导入导出

减少传输的数据量

改善 Sqoop 性能

Sqoop 2

 

Impala 及 Hive 介绍

简介

为什么使用 Impala 及 Hive

Hive 和传统数据库的比较

Hive 应用场景

 

使用 Impala 及 Hive 管理数据及建模

数据存储

创建数据库及表

表数据导入

HCatalog

Impala 元数据缓存

 

数据格式

选择文件格式

支持不同文件格式的工具

Avro 数据格式定义模式

在 Hive 及 Sqoop 里使用 Avro

Avro 格式数据模式变更

压缩

 

数据分区

分区概述

Impala 及 Hive 里的数据分区

 

Apache Flume 实时数据采集

什么是 Apache Flume

Flume 基本体系结构

Flume 源

Flume 槽

Flume 通道

Flume 配置

 

Spark 基础

什么是 Apache Spark

使用 Spark Shell

RDDs( 可恢复的分布式数据集）

Spark 里的函数式编程

 

Spark RDD

RDD

键值对 RDD

MapReduce

其他键值对 RDD 操作

 

编写和部署 Spark 应用

Spark 应用对比 Spark Shell

创建 SparkContext

创建 Spark 应用（Scala 和 Java）

运行 Spark 应用

Spark 应用 WebUI

配置 Spark 属性

运行日志

 

Spark 的并行处理

回顾：机群环境里的Spark

RDD 分区

基于文件RDD 的分区

HDFS 和本地化数据

执行并行操作

执行阶段及任务

 

Spark 缓存和持久化

RDD 演变

缓存

分布式持久化

 

Spark 数据处理的常见模式

常见 Spark 应用案例

迭代式算法

图处理及分析

机器学习

例子：K －Means

 

预览：Spark SQL

Spark SQL 和 SQL Context

创建 DataFrames

变更及查询 DataFrames

保存 DataFrames

Spark SQL 对比 Impala

 

总结

-培训费用-

培训费9200元/人，认证考试费2200元/人。