|
会议详情 |
|
发票类型：增值税普通发票 增值税专用发票
本课程关注大数据架构下如何进行系统监控、业务监控，涉及到：海量日志的保存、收集、分析和监控。课程讲解如何搭建部署大数据系统，如何构建监控平台，如何基于平台进行大数据业务和系统的监控。
培训目标：
.了解大数据运维都有什么内容
·大数据系统核心组件介绍
·性能调优策略实战
·离线服务平台介绍
·业务实时监控介绍
·Hadoop集群硬件监控
.通过应用案例了解工作方法与流程
培训对象：大数据运维工程师，架构师
学员基础：了解大数据系统的构成，对运维工作有一定了解
授课方式：定制课程+案例讲解+小组讨论，60%案例讲解，40%实践演练
培训内容：2天
火龙果咨询
火龙果软件工程技术中心是UML软件工程组织下属的一家软件工程综合技术服务公司，为软件行业提供技术研发、技术咨询、技术培训和产品支持服务
| 大数据运维概览 | 大数据的运维案例回顾： 大数据运维涉及哪些内容 |
| 大数据系统核心组件介绍 | 1、集群管理工具一anbari 2、数据仓库一hive 3、分布式计算一MapReduce 4、nosQL数据库一Hbase 5、工作流工具一0ozie 6、数据的并行采集一Flume 7、MapReduce却本工具一Pig 8、与关系型数据库之间的数据迁移-Sqop 9、资源管理平台一Yarn 10、数据挖掘算法一Mahout 11、分布式统一服务-Zookeeper 12、流式计算一Stron 13、内存计算一Spark |
| 性能调优策略实战 | 1、Linu版本选择 2、安装DFS系统调优 3、网络优化策略 4、Hdfs优化策略 5、安装HDFS服务 6、HDFS配置参数介绍 7、HDFS运维工具介绍 8、Hbase服务优化 9、H地ase表设计 10、spark服务介绍 |
| 离线服务平台介绍 | 1、大数据平台架构设计 2、底层存储服务平台架构设计与应用场景 3、离线计算框架实现对比 4、元数据服务治理与数据生命周期管理 5、统一调度平台设计 6、海量日志处理架构介绍 |
| 业务实对监控介绍 | 1、流计算框架服务介绍 2、Storm流计算服务介绍与应用场景 3、Spark Streaning服务框架介绍与应用场景 4、Flink服务框架介绍与应用场景 5、流计算案例分享（天猫双十服务） 6、58业务数据监控方案设计 |
| Hacdoop 集群硬件监控 | 1、查看集群状态 .HDS数据管理 ·Mapreduce任务管理 ·HDFS安全模式 ·添加删除节点 ·数据平衡 ·文件数据跨集群拷贝 2、使用6anglia 监控Hadoop集群 3、使用Cacti监控操作系统 4、使用Zabbix监控 5、ganglia nagios联合使用分析 6、集群监控 7、服务监控运行的进程监控 8、主机状态监控 9、主机磁盘存储情况监控 10、网络状况监控 11、ganglia监控 12、zabbix监控 13、提供的服务监控监控 14、堡垒机监控 15、任务监控 16、任务运行时常、资源数、读取数里、shuffle数里等 17、按人任务按部门的任务汇总 18、队列监控 19、队列下的任务运行历史监控 20、总里超过一个小时的任务列表监控报表 21、数据里监控 22、各个一级部门目录的数据增长量监控 |
| 应用案例 | 1、互联网行业大数据平台的搭建 2、移动手机上网日志分析系统 3、电信业使用hadoop场景分析 4、电商个性化推荐系统 |
Kent老师
大数据架构师，具有丰富的大数据实践项目经验
课程费用：5000元/月
相关会议
2024-06-28北京
2024-09-25上海
商务会议
会议嘉宾
会议主办方
会议场地
会议PPT
APP参会
订单查询
开通会员
2019-09-19 08:00 至 2019-09-20 18:00
