Hadoop大型应用开发实战培训

互联网企业和云计算服务企业每天都会产生大量的数据并面临高并发的严峻考验，传统的关系型数据库已经无法满足大数据量高并发的要求，何以解忧？Hadoop！我中心针对目前企事业单位信息技术研发人员对Hadoop大数据处理技术的紧迫需求，设计推出了Hadoop大型应用开发实战课程。 　
 

1.　全面掌握Hadoop的架构原理和使用场景； 　
2.　全程项目实战训练； 　
3.　彻底掌握使用Hadoop进行MapReduce程序开发； 　
4.　熟悉分布式计算领域的常用算法； 　
 

第一天 　
第1个主题：Hadoop　MapReduce 　
1.　Hadoop　JobTracker　剖析 　
2.Hadoop　TaskTracker　剖析 　
3.Hadoop　任务提交流程剖析 　
第2个主题：　Hadoop　MapReduce　Streaming编程 　
1.　Hadoop　Streaming　和　Java　MapReduce　Api　差异 　
2.　使用　MapReduce　实现数据库功能 　
第3个主题：MapReduce分布式程序 　
1.　MapReduce流程 　
2.剖析一个MapReduce程序 　
3.基本MapReduceAPI　概念 　
4.驱动代码 　
5.Mapper 　
6.Reducer 　
7.API　使用Eclipse进行快速开发 　
8.新MapReduce　API 　
第4个主题：Hadoop　核心代码剖析 　
1.　Hadoop　Mapper　类核心代码剖析 　
2.　Hadoop　Reducer　类核心代码剖析 　
第5个主题：HDFS分布式文件系统编程 　
1.　Hadoop　HDFS　剖析　 　
2.　Hadoop　NameNode　剖析 　
3.　Hadoop　DataNode　剖析 　
4.　hadoop　I/O　操作 　
5.　使用Hadoop　HDFS　API对HDFS编程 　
第二天 　
第1个主题：Hadoop　Mapreduce高级编程 　
1.ToolRunner介绍 　
2.使用MRUnit进行测试 　
3.利用Combiners来减少中间数据 　
4.使用Configure和Close方法来进行Map/Reduce设置和关闭 　
5.编写Partitioner来优化负载平衡 　
6.直接访问Hadoop分布式文件系统（HDFS） 　
7.使用分布式缓存（Distributed　Cache） 　
第2个主题：MapReduce的优化 　
1.　map优化 　
2.　reduce优化 　
3.　小文件优化 　
第3个主题：MapReduce的任务调度 　
1.　Queue调度的使用 　
2.　公平调度的使用 　
3.　能力调度的使用 　
第4个主题：MapReduce编程实战 　
1.　Hadoop的join操作 　
2.　Hadoop的二次排序 　
3.　Hadoop的海量日志分析 　
第5个主题：flume+hadoop日志收集实战 　
1.　flume介绍 　
2.　flume核心组件讲解 　
3.　flume自带的组件分析 　
4.　flume二次开发实战 　
第三天 　
第1个主题：Hadoop的来源和动机 　
1.传统大规模系统存在的问题 　
2.对一种新的解决方案的需求 　
第2个主题：Hadoop安装和部署准备 　
1.　Hadoop系统模块组件概述 　
2.　Hadoop试验集群的部署结构 　
3.　Hadoop　安装依赖关系 　
4.　Hadoop　生产环境的部署结构 　
第3个主题：Hadoop集群安装和部署 　
1.　Red　hat　Linux基础环境搭建　上机实验 　
2.　Hadoop　单机系统版本　安装配置　上机实验 　
3.　Hadoop　集群系统版本　安装和启动配置　上机实验 　
4.　Hadoop　集群异常Debug　方法 　
5.　Hadoop　集群简单测试方法 　
6.　使用　Hadoop　MapReduce　Streaming　快速测试系统 　
第4个主题：Hadoop组件详解 　
1.　Hadoop　HDFS　基本结构 　
2.　Hadoop　HDFS　副本存放策略 　
3.　Hadoop　NameNode　详解 　
4.　Hadoop　SecondaryNameNode　详解 　
5.　Hadoop　DataNode　详解 　
6.　Hadoop　JobTracker　详解 　
7.　Hadoop　TaskTracker　详解 　
第5个主题：Hadoop集群配置详解 　
1.　Hadoop　core-site,hdfs-site,mapred-site　配置详解 　
2.　Hadoop　高可用配置方法

第四天 　　
第1个主题：Hadoop集群配置:机架感知,开启压缩和任务均衡 　
Hadoop　集群安装和开启LZO压缩 　
Hadoop　配置集群具备机架感知 　
Hadoop　集群开启公平任务调度器 　
Hadoop　集群开启能力任务调度器 　
第2个主题：Hadoop　集群维护与管理 　
查看集群状态 　
HDFS数据管理 　
Mapreduce　任务管理 　
HDFS安全模式 　
模拟集群Namenode,jobtrack失效 　
添加删除节点 　
数据平衡 　
文件数据跨集群拷贝 　
集群升级 　
第3个主题：Hadoop　集群规划和测试 　
集群规划(硬件,系统,网络) 　
集群性能测试 　
第4个主题：Hadoop　集群监控和运维 　
1.　使用Ganglia　监控Hadoop集群 　
2.　使用Cacti　监控操作系统 　
第5个主题：Hadoop　HDFS高可用 　
Hadoop　元数据NFS备份方案 　
Hadoop　SecondaryNameNode备份方案 　
Hadoop　CheckpointNode备份方案 　
Hadoop　BackupNode备份方案 　
Hadoop　Cloudera　HA　Namenode　方案 　
 

王老师：国内最早从事于Hadoop框架应用程序软件开发以及Hadoop解决方案专家。业界知名资深IT技术培训讲师、多家著名公司的技术顾问。