会议详情 菜单
2019Apache Hadoop管理员培训(9月深圳班)

2019Apache Hadoop管理员培训(9月深圳班)

2019-09-07 08:00 至 2019-09-10 18:00

深圳  

上海碧茂信息科技有限公司   

报名截止

推荐会议:2024GOPS 全球运维大会 · 北京站

发票类型:增值税普通发票 增值税专用发票

-会议内容-

课程概述:
综合理解并全面掌握通过Cloudera Manager对Hadoop机群的运维管理,包括:安装,配置、负载平衡及性能调优等。通过该培训,Hadoop系统管理员将能准备好应对实际运维中遇到的挑战。


课时安排:

4天/24课时。


认证编号:
CCA131。通过并获取该证书是向公司及客户证明个人在Hadoop领域的技术和专长的有力依据。


培训内容:
通过讲师在课堂上的讲解,以及实操练习,学员将学习以下内容:
> Cloudera Manager管理机群的特性,譬如日志汇总、配置管理、报告、报警及服务管理。
> YARN、MapReduce、Spark及HDFS的工作原理。
> 如何为你的机群选取合适的硬件和架构。
> 如何将Hadoop机群和企业已有的系统进行无缝集成。
> 如何使用Flume进行实时数据采集以及如何使用Sqoop在RDBMS和Hadoop机群之间进行数据导入导出。
> 如何配置公平调度器为Hadoop上的多用户提供服务级别保障。
> 产品环境中Hadoop机群的最佳运维实践。
> Hadoop机群排错、诊断问题和性能调优。


培训对象及学员基础:
面向系统管理员和IT经理,需具备Linux经验,无需Apache Hadoop基础。


客户评价:

“Cloudera的Hadoop管理员培训让我快速并全面地掌握了我在解决客户所面临的大数据及云平台挑战时所需要的技能和知识,大量节省了时间!”
—— Canonical

-主办方介绍-

上海碧茂信息科技有限公司 上海碧茂信息科技有限公司

上海碧茂信息科技有限公司,是中国科学院上海计算技术研究所孵化企业,全球顶级大数据科技公司Cloudera中国区合作伙伴,专业大数据解决方案服务商。 公司成立于2011年,肩负推进中国科学院上海计算技术研究所项目成果产业化的使命,致力于中国企业,尤其是金融、政府、电信等行业的数字化转型战略。总部位于上海,并在北京、广州、长沙等地设有分支机构,形成了覆盖全国的服务体系。2015年成为Cloudera合作伙伴,提供基于Cloudera CDH、Hortonworks HDP、华为FusionInsight、星环 TDH等大数据平台的一体化技术支持,包括集群搭建、架构梳理、数据迁移、计算监测、系统改造、应用开发、数据治理、技术培训。 代表项目:黑龙江移动Hadoop平台第三方维护、中信证券上交所运维、武汉大学大数据实验室建设等。 累计培训大数据企业上百家、工程师逾千人。包括中国人民银行、上海市公安系统、中国移动、思科、浪潮、中兴通讯、东方国信、上海大数据联盟等。

课程大纲

Apache Hadoop介绍
·Hadoop动机
·基本概念
·Hadoop核心部件

Hadoop机群安装
·机群管理方案
·Cloudera Manager特性
·Cloudera manager安装
·Hadoop(CDH)安装

Hadoop分布式文件系统(HDFS)
·HDFS特性
·读写文件
·NameNode内存考虑
·HDFS安全简介
·HDFS WebUI
·使用HDFS Shell

YARN上的MapReduce和Spark
·计算平台在Hadoop里扮演的角色
·YARN:机群资源管理器
·MapReduce概念
·Apache Spark概念
·Yarn上的计算平台
·YARN WebUI及Shell
·YARN应用运行日志

Hadoop 配置及服务运行日志
·Cloudera Manager 配置管理机制
·定位配置参数及进行配置变更
·管理角色实例及添加服务
·配置HDFS服务
·配置Hadoop服务运行日志
·配置YARN服务

向HDFS导入数据
·使用ume从外部数据源实时导入数据
·使用Sqoop从关系数据库导入数据
·REST接口
·导入数据的最佳实践

Hadoop机群规划
·规划考虑因素
·硬件选择
·虚拟化选项
·网络因素
·节点配置

Hive,Impala及Pig的安装及配置
·Hive
·Impala
·Pig

Hadoop 客户端及Hue
·什么是Hadoop客户端
·安装及配置Hadoop 客户端
·安装及配置 Hue
·使用Hue进行身份验证及授权

机群高级配置
·高级配置参数
·Hadoop端口配置
·HDFS机柜感知配置
·HDFS高可靠性配置

Hadoop安全
·Hadoop安全的重要性
·Hadoop安全性概念
·Kerberos简介
·使用Kerberos 保护Hadoop机群
·其他安全特性

资源管理
·使用静态服务池配置Linux qgroup
·公平调度器
·配置动态资源池
·YARN内存及CPU设置
·Impala查询调度

机群维护
·检查HDFS状态
·机群间复制数据
·添加/移除机群节点
·机群数据负载平衡
·目录快照
·机群升级

机群监控及排错
·Cloudera Manager监控特性
·监控Hadoop机群
·Hadoop机群排错
·常见配置不当问题

总结

-会议门票-

会务费:7360元/人,包含4天/24课时的课程,住宿交通与餐饮自理。

会议标签:

运维 Hadoop Apache Hadoop

温馨提示
酒店与住宿: 异地参会客户请注意,为防止会议临时变动,建议您先与活动家客服确认参会信息,再安排出行与住宿事宜。
退款规则: 活动各项资源需提前采购,购票后不支持退款,可以换人参加。

相关会议

分享到

QQ好友 QQ空间 微博 ×