CCA Spark and Hadoop Developer (CCA175) 公开课

-会议内容-

课时：28h/4天

课程介绍

Hadoop 及生态系统介绍    

•  传统大规模系统的问题   

•  Hadoop ！   

•  Hadoop 生态系统

Hadoop 体系结构及 HDFS   

•  机群环境下的分布式处理   

•  存储：HDFS 体系结构   

•  存储：使用 HDFS   

•  资源管理：YARN 体系结构   

•  资源管理：使用 YARN

使用 Apache Sqoop 导入关系数据   

•  Sqoop 简介   

•  数据的基本导入导出   

•  减少传输的数据量   

•  改善 Sqoop 性能   

•  Sqoop 2

Impala 及 Hive 介绍   

•  简介   

•  为什么使用 Impala 及 Hive   

•  Hive 和传统数据库的比较   

•  Hive 应用场景

使用 Impala 及 Hive 管理数据及建模   

•  数据存储   

•  创建数据库及表   

•  表数据导入   

•  HCatalog   

•  Impala 元数据缓存

数据格式   

•  选择文件格式   

• 支持不同文件格式的工具   

• Avro 数据格式定义模式   

• 在 Hive 及 Sqoop 里使用 Avro   

• Avro 格式数据模式变更   

• 压缩 数据分区   

• 分区概述   

• Impala 及 Hive 里的数据分区

Apache Flume 实时数据采集   

•  什么是 Apache Flume   

•  Flume 基本体系结构   

•  Flume 源   

•  Flume 槽   

•   Flume 通道   

•  Flume 配置

Spark 基础   

•  什么是 Apache Spark   

•  使用 Spark Shell   

•  RDDs( 可恢复的分布式数据集）   

•  Spark 里的函数式编程 Spark RDD   

•  RDD   

•  键值对 RDD   

•  MapReduce   

•  其他键值对 RDD 操作

编写和部署 Spark 应用   

•  Spark 应用对比 Spark Shell   

•  创建 SparkContext   

•  创建 Spark 应用（Scala 和 Java）   

•  运行 Spark 应用   

•  Spark 应用 WebUI   

•  配置 Spark 属性   

•  运行日志

Spark 的并行处理   

•  回顾：机群环境里的 Spark   

•  RDD 分区   

•  基于文件 RDD 的分区   

•  HDFS 和本地化数据   

•  执行并行操作   

•  执行阶段及任务

Spark 缓存和持久化   

•  RDD 演变   

•  缓存   

•  分布式持久化

Spark 数据处理的常见模式   

•  常见 Spark 应用案例   

•  迭代式算法   

•  图处理及分析   

•  机器学习   

•  例子：K－Means 预览：Spark SQL   

•  Spark SQL 和 SQL Context   

•  创建 DataFrames   

•  变更及查询 DataFrames   

•  保存 DataFrames   

•  Spark SQL 对比 Impala

-主办方介绍-

上海碧茂信息科技有限公司

上海碧茂信息科技有限公司，是中国科学院上海计算技术研究所孵化企业，全球顶级大数据科技公司Cloudera中国区合作伙伴，专业大数据解决方案服务商。 公司成立于2011年，肩负推进中国科学院上海计算技术研究所项目成果产业化的使命，致力于中国企业，尤其是金融、政府、电信等行业的数字化转型战略。总部位于上海，并在北京、广州、长沙等地设有分支机构，形成了覆盖全国的服务体系。2015年成为Cloudera合作伙伴，提供基于Cloudera CDH、Hortonworks HDP、华为FusionInsight、星环 TDH等大数据平台的一体化技术支持，包括集群搭建、架构梳理、数据迁移、计算监测、系统改造、应用开发、数据治理、技术培训。 代表项目：黑龙江移动Hadoop平台第三方维护、中信证券上交所运维、武汉大学大数据实验室建设等。 累计培训大数据企业上百家、工程师逾千人。包括中国人民银行、上海市公安系统、中国移动、思科、浪潮、中兴通讯、东方国信、上海大数据联盟等。