|
会议详情 |
|
2019-06-21 09:00 至 2019-06-23 17:00
50人
推荐会议：2025大健康产业技术创新（昆明）论坛 暨中生协特医食品及生物活性肽工作委员会第三届年会
发票类型：增值税专用发票 增值税普通发票
参会凭证：现场凭电话姓名参会
各有关单位：
当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架，已经广为人知，且得到了广泛的应用，但MapReduce自身存在很多问题，包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下，不能很好地利用内存资源，编程复杂度较高等。为了克服MapReduce的众多问题，新型计算框架出现了。Spark已经被不少互联网公司采用，大部分数据挖掘算法和迭代式算法在逐步MapReduce平台迁移到Spark平台中，包括阿里巴巴，腾讯，百度，优酷土豆，360，支付宝等互联网公司已经在线上产品中使用spark，且取得了令人满意的效果，另外，部分省份的运营商也正在尝试使用spark解决数据挖掘和分析问题，部分银行，如工商银行，也正在尝试spark平台。因此大数据产业培训基地决定开展“Spark高级工程师”实战培训班，本次培训由数环云创（北京）科技有限公司具体承办，望相关单位收到通知后积极参加。相关培训事宜如下:
一、 课程目的
1) 深入理解Spark计算原理和编程模型，掌握Spark Core和SparkSql、SparkStreaming等上层系统的结合方式
2) 深入掌握SparkCore、SparkSql使用调优技巧
3) 深入掌握SparkStreaming和SparkMllib使用和调优技巧
4) 深入掌握Spark和其他组件的结合使用
5) 了解Spark与MapReduce分布式计算模型的区别和各自适合的使用场景。
6) 能够使用java、python和scala进行spark应用开发（如果要讲解三种语言开发spark，工作量会非常大，建议只讲解一种(可以根据企业的要求来定，）
7) 熟练使用spark、spark streaming、spark SQL、spark mllib
8) 深入了解spark在大型互联网的架构和使用场景
二、 培训对象
1)已经熟练掌握Sparkapi并希望深入掌握性能调优方法的开发人员
2)希望使用SparkSql进行高效结构化数据处理的开发人员
3)希望使用SparkStreaming提高数据处理实效性的开发人员
4）技术经理、架构师、产品经理
三、 培训时间
2019年04月19日—04月21日 周五、周六、周日 （上海）
2019年05月24日—05月26日 周五、周六、周日 （广州）
2019年06月21日—06月23日 周五、周六、周日 （成都）
数环云创（北京）科技有限公司成立于2015年3月，是一家初创的新型互联网科技企业，公司目前致力于IT领域的信息化培训与项目咨询、企业大数据实施与技术服务的解决方案提供商。
|
日程 |
课程主题 |
主要内容(内容可以根据学员的要求现场定制化和调整) |
|
第 一 天 |
Spark 2.1概述 |
1、Spark产生背景，包括mapreduce缺陷，多计算框架并存等 2、Spark 基本特点 3、Spark版本演化 4、Spark核心概念，包括RDD, transformation, action, cache等 5、Spark生态系统，包括Spark生态系统构成，以及与Hadoop生态系统关系 6、Spark在互联网公司中的地位与应用 7、介绍当前互联网公司的Spark应用案例 8、Spark集群搭建，包括测试集群搭建和生产环境中集群搭建方法，并亲手演示整个过程 9、背景知识补充介绍 |
|
第 一 天
|
Spark Core |
Spark 程序设计与企业级应用案例 1、Spark运行模式介绍 Spark运行组件构成，spark运行模式（local、standalone、mesos/yarn等）
2、Spark开发环境构建 集成开发环境选择，亲手演示spark程序开发与调试，spark运行
3、常见transformation与action用法 介绍常见transformation与action使用方法，以及代码片段剖析
4、常见控制函数介绍 包括cache、broadcast、accumulator等
5、Spark 应用案例：点击流日志分析 包括：背景介绍，数据导入，数据分析，常见Spark transformation和action用法在线演示
|
|
第 一 天 |
Spark 内部原理剖析与源码阅读 |
1、Spark运行模式剖析 深入分析spark运行模式，包括local，standalone以及spark on yarn
2、Spark运行流程剖析 包括spark逻辑查询计划，物理查询计划以及分布式执行
3、Spark shuffle剖析 深入介绍spark shuffle的实现，主要介绍hash-based和sort-based两种实现
4、Spark 源码阅读 Spark源码构成以及阅读方法 |
|
第 二 天 |
Spark 程序调优技巧 |
1、数据存储格式调优 数据存储格式选择，数据压缩算法选择等
2、资源调优 如何设置合理的executor、cpu和内存数目，YARN多租户调度器合理设置，启用YARN的标签调度策略等
3、程序参数调优 介绍常见的调优参数，包括避免不必要的文件分发，调整任务并发度，提高数据本地性，JVM参数调优，序列化等
4、程序实现调优 如何选择最合适的transformation与action函数
5、调优案例分享与演示 演示一个调优案例，如何将一个spark程序的性能逐步优化20倍以上。
|
|
第 二 天 |
Spark sql 2.1 |
Spark SQL基本原理 1、Spark SQL是什么 2、Spark SQL基本原理 3、Spark Dataframe与DataSet 4、Spark SQL与Spark Core的关系
|
|
第 二 天 |
Spark SQL 程序设计与企业级应用案例 |
1、Spark SQL程序设计 a. 如何访问MySQL、HDFS等数据源，如何处理parquet格式数据 b. 常用的DSL语法有哪些，如何使用 c. Spark SQL调优技巧 d. 数据倾斜解决方案 |
|
第 三 天 |
Spark Streaming 程序设计及应用案例 |
1、Spark Streaming基本原理 a. Spark Streaming是什么 b. Spark Streaming基本原理 c. Structured Streaming d. Spark Streaming 编程接口介绍 e. Spark Streaming应用案例
2、Spark Streaming程序设计与企业级应用案例 a. 常见流式数据处理模式 b. Spark Streaming与Kafka 交互 c. Spark Streaming与Redis交互 d. Spark Streaming部署与运行 e. Spark Streaming企业级案例：用户行为实时分析系统 |
|
第 三 天 |
Spark Mllib Spark MLlib及企业级案例（用户画像案例） |
1. Spark MLlib简介 2. 数据表示方式 3. MLlib中的聚类、分类和推荐算法 4. 如何使用MLlib的算法 5. Spark MLLib企业级案例：用户画像之性别预测 |
|
第 三 天 |
Spark综合案例 信用评分实时分析系统 |
1. 背景介绍 2. 什么是Lambda architecture 3. 利用Spark Core+MLlib+构建离线处理 4. 利用flume+Spark Streaming+Redis构建实时处理线 5. 整合批处理和实时处理线 |
授课专家
周老师：基地金牌讲师：腾讯大数据资深专家，6年以上大数据开发经验，熟悉hadoop 以及spark 生态系统，负责大数据平台及机器学习平台的研发及运营工作，对自然语言处理、机器学习、用户画像建模、个性化推荐等技术有深厚的积累。2011年在移动互联网公司做大数据开发，负责hadoop、spark的基础平台开发。2015年加入前3的手机厂商，负责hadoop、spark运维以及相关和个性化推荐的工作。实现spark 和hbase 从无到有的过程。2016至今在腾讯从事大数据开发工作，负责平台的大数据平台研发，主导了内部核心画像系统，以及自助分析平台。
李老师：一线技术大咖，曾任职华为、腾讯大数据高级工程师，现就职于阿里巴巴，从事分布式sql技术研究和开发，具有6年以上大数据平台组件开发和调优经验，对Hadoop、Hive、Spark、Presto、Hbase、Kafka等开源系统有深度研究和开发。2010年毕业于北京航空航天大学，获信息系统专业硕士学位，随后加入华为，从事nosql技术研究，带领团队开发优化Nosql数据库内核，并从事行列混合存储的MPP系统研究和开发，并对spark内核进行优化，减少shuffle开销，随后主持华为终端数据平台部运营大数据平台建设。2016年加入腾讯数据平台部，从事基于HDFS的实时多维分析引擎开发。2018年加入阿里巴巴。
普通票：7800元/人，团购票：5800元/人（5张起售）
费用含培训、教材、专家、场地、证书、学习用品费等；学员须自带笔记本电脑！培训期间有大量核心培训资料拷贝给学员！
相关会议
2025-06-20深圳
商务会议
会议嘉宾
会议主办方
会议场地
会议PPT
APP参会
订单查询
开通会员
