会议详情 |
2019-05-23 08:00 至 2019-05-26 18:00
推荐会议:2025大健康产业技术创新(昆明)论坛 暨中生协特医食品及生物活性肽工作委员会第三届年会
发票类型:增值税普通发票 增值税专用发票
深圳华大生命科学研究院
课程介绍
一、需求理解
Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性,正是这些设计上与生俱来的优点,才使得Hadoop 一出现就受到众多大公司的青睐,同时也引起了研究界的普遍关注。
对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。本课程将全面介绍Hadoop平台开发和运维的各项技术,对学员使用该项技术具有很高的应用价值。
二、培训课程架构与设计思路
(1)培训架构:
本课程分为三个主要部分:
第一部分:重点讲述大数据技术在的应用,使学员对大数据技术的广泛应用有清晰的认识,在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。
第二部分:具体对hadoop技术进行模块化分拆,从大数据文件存储系统技术和分布式文件系统平台及其应用谈起,介绍Hadoop技术各主要应用工具和方法,以及在运维维护当中的主流做法,使学员全面了解和掌握Hadoop技术的精华。
第三部分:重点剖析大数据的应用案例,使学员在案例当中对该项技术有更深入的感观印象
(2)设计思路:
本课程采用模块化教学方法,以案例分析为主线,由浅入深、循序渐进、由理论到实践操作进行设计。
(3)与企业的贴合点:
本课程结合企业转型发展及大数据发展战略,围绕企业大数据业务及行业应用市场拓展发展目标,重点讲授Hadoop的应用技术,提升企业IT技术人员的开发和运维能力,有很强的贴合度。
3.培训对象
各地企事业单位大数据产业相关人员,运营商 IT信息化和运维工程师相关人员,金融业信息化相关人员,或对大数据感兴趣的相关人员。
三、培训目标
掌握大数据处理平台(Hadoop、Spark、Storm)技术架构、以及平台的安装部署、运维配置、应用开发;掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用;利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用;讲解Hadoop生态系统组件,包括Storm,HDFS,MapReduce,HIVE,HBase,Spark,GraphX,MLib,Shark, ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术
四、培训时间和地点
2019年05月23日-05月26日 深圳
五、颁发证书
参加相关培训并通过考试的学员,可以获得:
工业和信息化部全国网络与信息技术考试管理中心中心颁发的-“Hadoop与Spark大数据应用与开发”职业技能证书(等级高级)。该证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。
注:请学员带一寸彩照2张(背面注明姓名)、身份证复印件一张。
天博信通-中国信息化人才培训中心率先在国内开展高级软件架构等IT高端培训的公开课。多年来持续不断的投入精力创新课程体系,至今已在国内开展公开课培训的课程达十几门,分别涵盖、云计算、大数据、软件架构、软件设计、高级UI设计、项目管理、质量管理、需求工程、运营管理等领域,也根据企事业单位的实用需求, 通过定制培训方案,培训后的技术服务,将企业单位的信息化投资的效益发挥到最高点。目前中心已经与几百家企事业单位建立了长期的培训合作关系, 深得用户信赖和好评。
时间 |
培训内容 |
教学方式 |
|
第一天 |
上午 |
第一部分:移动互联网、大数据、云计算相关技术介绍 第二部分:大数据的挑战和发展方向 |
理论讲授+案例分析 |
下午 |
第三部分:大数据文件存储系统技术和分布式文件系统平台及其应用 第四部分:Hadoop文件系统HDFS最佳实战 |
理论讲授+案例分析+小组讨论 |
|
第二天 |
上午 |
第五部分:Hadoop运维管理与性能调优 第六部分:NOSQL数据库Hbase与Redis |
理论讲授+案例分析+实战演练 |
下午 |
第七部分:类SQL语句工具——Hive 第八部分:数据挖掘SPARK建模基础介绍 |
理论讲授+案例分析+实战演练 |
|
第三天 |
上午 |
第九部分:Kafka基础介绍 第十部分:大数据典型应用与开发案例分析:互联网数据运营 |
理论讲授+案例分析 |
下午 |
第十一部分:当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例 第十二部分:课程总结与问题答疑 评估培训 |
理论讲授+案例分析+小组讨论 |
|
第四天 |
学员考试与业界交流 |
培训大纲
(1)课程框架
详细培训内容介绍
课程模块 |
课程主题 |
主要内容及案例和演示 |
|
模块一 |
移动互联网、大数据、云计算相关技术介绍 |
数据中心与云计算技术应用 智慧城市与云计算技术应用 移动互联网、大数据与云计算关联技术 移动云计算的生态系统及产业链 大数据技术在运营商、金融业、银行业、电子商务行业、零售业、制造业、 国内外主流的大数据解决方案介绍 当前大数据解决方案与传统数据库方案的剖析比较 Cloudera Hadoop 大数据平台方案剖析 开源的大数据生态系统平台剖析 |
|
模块二 |
大数据的挑战和发展方向 |
大数据时代的挑战 大数据时代的发展方向 云计算是基础设施架构 大数据挖掘在各行业应用情况 电信行业应用及案例分析 |
|
模块三 |
大数据文件存储系统技术和分布式文件系统平台及其应用 |
Hadoop的发展历程 分布式文件系统HDFS 概述、功能、作用、优势 分布式文件系统HDFS架构及原理 核心关键技术 分布式文件系统HDFS操作 SHELL命令操作 Hadoop生态系统组件 Storm |
|
模块四 |
Hadoop文件系统HDFS最佳实战 |
HDFS的设计 HDFS的概念 命令行接口 Hadoop文件系统 Java接口 从Hadoop URL读取数据 数据流 剖析文件读取 通过Flume和Sqoop导入数据 通过distcp并行复制 Hadoop存档 使用Hadoop存档工具 |
|
模块五 |
Hadoop运维管理与性能调优 |
第二代大数据处理框架 集群配置管理 HDFS的静态调优技巧 |
|
模块六 |
NOSQL数据库Hbase与Redis |
NOSQL基础 HBase分布式数据基础3 .安装Hbase 4.Hbase应用 HBase分布式数据库简介、发展历程、应用场景、工作原理、以及应用优势与不足之处 |
|
模块七 |
类SQL语句工具——Hive |
安装Hive 示例 运行 Hive与传统数据库相比 HiveQL 表 查询数据 用户定义函数 |
|
模块八 |
数据挖掘SPARK建模基础介绍
|
Spark简介 Spark架构 Spark集群的安装与部署 Spark硬件配置 |
|
模块九 |
Kafka基础介绍 |
Kafka介绍 kafka体系结构 kafka设计理念简介 kafka通信协议 kafka的伪分布安装、集群安装 kafka的shell操作、java操作 kafka设计理念* kafka producer和consumer开发 Kafka分布式消息订阅系统的应用介绍、平台架构、集群部署与配置应用实战 Flume-NG数据采集系统的数据流模型、平台架构、集群部署与配置应用实战 Hadoop与DBMS之间数据交互工具Sqoop的应用实践, Sqoop导入导出数据以及Sqoop集群部署与配置 Kettle 集群的平台架构、核心技术、部署配置和应用实战 利用Sqoop实现 MySQL 与 Hadoop 集群之间 |
|
模块十 |
大数据典型应用与开发案例分析:互联网数据运营 |
案例1:贵州数据交易中心 案例2:大数据应用案例:公共交通线路的智能规划 讨论:浙江移动大数据应用与开发方向 |
|
模块十一 |
当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例 |
流商业大数据解决方案比较 主流开源云计算系统比较 国内外代表性大数据平台比较 各厂商最新的大数据产品介绍 案例分析 |
师资介绍
张老师:阿里大数据高级专家,国内资深的Spark、Hadoop技术专家、虚拟化专家,对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究,更主要的是这些技术在大量的实际项目中得到广泛的应用,因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有:某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
培训费用及须知
培训费6800元。(含培训费、资料费、考试费、证书费、讲义光盘费等)。需要住宿学员请提前通知,可统一安排,费用自理。
颁发证书
参加相关培训并通过考试的学员,可以获得:
工业和信息化部全国网络与信息技术项目管理中心颁发的-大数据高级工程师职业技能证书。该证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。
注:请学员带一寸彩照2张(背面注明姓名)、身份证复印件一张。
相关会议
2025-06-20深圳