|
会议详情 |
|
2017-10-28 08:00 至 2017-10-29 18:00
推荐会议：QCon上海2025|全球软件开发大会
发票类型：增值税普通发票 增值税专用发票
课程信息
大数据（Hadoop、Spark、NOSQL）案例分析与实践
培训特色
当下是大数据时代，为构建大数据平台，技术人员需要对分布式计算平台有一定深入的理解和应用。MapReduce作为一个经典的分布式计算框架，已经广为人知，且得到了广泛的应用，但MapReduce自身存在很多问题，包括迭代式计算和DAG计算等类型的数据挖掘与机器学习算法性能低下，不能很好地利用内存资源，编程复杂度较高等。为了克服MapReduce的众多问题，新型计算框架出现了。
目标收益
本课程将为大家全面而又深入的介绍Spark、Hadoop平台的构建流程，涉及Spark、Hadoop系统基础知识，概念及架构， Spark、Hadoop实战技巧，Spark、Hadoop经典案例等。
通过本课程实践，帮助学员对Spark、Hadoop生态系统有一个清晰明了的认识；理解Spark、Hadoop系统适用的场景；掌握Spark、Hadoop等初中级应用开发技能；搭建稳定可靠的Spark、Hadoop集群，满足生产环境的标准；了解和清楚大数据应用的几个行业中的经典案例，包括阿里巴巴，华为等。
培训对象
各类 IT/软件企业和研发机构的软件架构师、软件设计师、程序员。对于怀有设计疑问和问题，需要梳理解答的团队和个人，效果最佳。
学员基础
了解Linux系统及相关语言环境
课程时长
2天
麦思博软件技术有限公司
麦思博(msup)有限公司发源美国西雅图，2007年创办，是一家面向技术型组织的培训咨询机构，服务于技术团队的技能提升、软件工程的实际应用和产品品质的创新与超越。强调人员、技术、流程和管理的有机结合，注重角色岗位的技能提升与职业发展，以及技术团队复合管理与协作。每年超过1000家企业续单参与msup旗下公开课、工作坊、案例研究、国际游学等培训项目。
|
主题 |
内容 |
|
Hadoop简介和生态系统介绍 |
传统大规模数据分析存在的问题 |
|
Hadoop安装和主要配置文件介绍 |
Hadoop安装所需软件介绍 |
|
Hadoop组件介绍 |
Hadoop NameNode 介绍 |
|
Hadoop的HDFS模块 |
HDFS架构介绍 |
|
MapReducer入门 |
Mapreduce原理 |
|
Hive |
Hive和Pig基础 |
|
Sqoop介绍 |
Sqoop是什么 |
|
Hadoop集群配置和维护 |
Hadoop集群的部署要点 |
|
Hbase使用 |
Hbase原理 |
|
大数据在国内的运用 |
大数据在国内的使用介绍 |
|
Spark生态介绍 |
Spark产生背景 |
|
spark安装部署 |
Spark安装简介 |
|
Spark运行架构和解析 |
Spark的运行架构 |
|
SparkSQL原理和实践 |
SparkSQL原理 |
Teradata
云平台系统架构师
毕业于大连理工大学，本科，有多年大数据分析类大型项目的架构实施经验，目前任职TD,先后服务于北京大学软件研究所、高德软件、阿里巴巴和Teradata，实施过基于Hadoop平台PageRank算法的实现、高德大数据中心的建设(300+的Hadoop集群开发、优化、运维和提供服务)、阿里巴巴OPDS大数据平台维护、内蒙移动大数据平台试点(Hadoop)、台湾远传Hadoop平台开发和优化、兰州银行大数据平台的架构和开发(Hadoop)、招商银行的大数据咨询规划和设施。在大数据架构、数据集成、数据挖掘/机器学习、实时推荐和营销方面有丰富经验，了解大数据在互联网的使用场景。
1）编写并出版《Hadoop应用开发技术详解》图书，销售10000+册——机械工业出版社(2014-01)
2）专利《海量数据基于记录级别的容错》
3）在infoQ和CSDN等技术论坛都有采访和发表过文章
4）2015 China hadoop summit 的特约演讲嘉宾
专业技能：
1）能熟练的运用Linux系统开发和shell编程,
2）精通java、熟悉python、R语言
3）熟悉struts、spring、hibernate开发
4）熟练运用mysql、oracle等关系型数据库，Cassendra、mongoDB、Redis等NoSql数据库
7）熟练运用flumeNG、scribe等日志收集工具
8）熟练运用ganglia和Nagios、openTSDB对hadoop集群进行监控
9）熟练运用storm、spark 分布式计算模型，spark Streaming、Mllib和graphx
10）精通MR的编程、Mahout、hbase、Oozie、Kafka、Impala、Tez、hive等应用
11）精通hadoop平台的搭建、优化、监控和其生态系统组件的使用。
12）熟悉openstack和docker虚拟化技术
认证：
国考——软件设计师(中级)—2009年
近期案例：
兰州银行，大数据平台，架构师，2014年
内蒙移动，大数据平台试点(Hadoop)，架构师，2014年
远传电信(台湾)，Hadoop平台优化解决方案和实施，架构师，2014年
招商银行大数据咨询项目规划和设施，架构师 2015年
交通银行大数据平台规划和设施，架构师 2015年
高德软件，高德集团大数据中心的建设、从15个Hadoop节点经过5次的扩容到300+节点，机房换了两个，负责Hadoop平台的开发、优化、运维和给兄弟部门提供服务等，Hadoop部门经理，2011.03 -2013.01年
阿里巴巴大数据高级架构师，负责OPDS平台架构、开发和运维 2013-2014.04年
课程费用 ：5800元
相关会议
2025-10-23上海
2025-04-25深圳
商务会议
会议嘉宾
会议主办方
会议场地
会议PPT
APP参会
订单查询
开通会员
