|
会议详情 |
|
2019-09-19 08:00 至 2019-09-27 18:00
推荐会议：2025大健康产业技术创新（昆明）论坛 暨中生协特医食品及生物活性肽工作委员会第三届年会
发票类型：增值税普通发票 增值税专用发票
一、课程介绍
Hadoop板块
Hadoop 设计之初的目标就定位于高可靠性、高可拓展性、高容错性和高效性，正是这些设计上与生俱来的优点，才使得Hadoop 一出现就受到众多大公司的青睐，同时也引起了研究界的普遍关注。
对电信运营商而言,用户上网日志包含了大量用户个性化需求、喜好信息,对其进行分析和挖掘,能更好地了解客户需求。传统经营分析系统小型机加关系型数据库的架构无法满足对海量非结构化数据的处理需求,搭建基于X86的Hadoop 平台,引入大数据处理技术的方式,实现高效率、低成本、易扩展的经营分析系统混搭架构成为电信运营商最为倾向的选择。本课程将全面介绍Hadoop平台开发和运维的各项技术，对学员使用该项技术具有很高的应用价值。
（1）培训架构：
本课程分为三个主要部分：
第一部分：重点讲述大数据技术在的应用，使学员对大数据技术的广泛应用有清晰的认识，在这环节当中会重点介绍Hadoop技术在整个大数据技术应用中的重要地位和应用情况。
第二部分：具体对hadoop技术进行模块化分拆，从大数据文件存储系统技术和分布式文件系统平台及其应用谈起，介绍Hadoop技术各主要应用工具和方法，以及在运维维护当中的主流做法，使学员全面了解和掌握Hadoop技术的精华。
第三部分：重点剖析大数据的应用案例，使学员在案例当中对该项技术有更深入的感观印象
（2）设计思路：
本课程采用模块化教学方法，以案例分析为主线，由浅入深、循序渐进、由理论到实践操作进行设计。
（3）与企业的贴合点：
本课程结合企业转型发展及大数据发展战略，围绕企业大数据业务及行业应用市场拓展发展目标，重点讲授Hadoop的应用技术，提升企业IT技术人员的开发和运维能力，有很强的贴合度。
大数据建模与挖掘板块
本次课程面向有一定的数据分析挖掘算法基础的工程师，带大家实践大数据分析挖掘平台的项目训练，系统地讲解数据准备、数据建模、挖掘模型建立、大数据分析与挖掘算法应用在业务模型中，结合主流的Hadoop与Spark大数据分析平台架构，实现项目训练。
结合业界使用最广泛的主流大数据平台技术，重点剖析基于大数据分析算法与BI技术应用，包括分类算法、聚类算法、预测分析算法、推荐分析模型等在业务中的实践应用，并根据讲师给定的数据集，实现两个基本的日志数据分析挖掘系统，以及电商（或内容）推荐系统引擎。
本课程基本的实践环境是Linux集群，JDK1.8， Hadoop 2.7.*，Spark 2.1.*。
学员需要准备的电脑最好是i5及以上CPU，4GB及以上内存，硬盘空间预留50GB（可用移动硬盘），基本的大数据分析平台所依赖的软件包和依赖库等，讲师已经提前部署在虚拟机镜像（VMware镜像），学员根据讲师的操作任务进行实践。
本课程采用技术原理与项目实战相结合的方式进行教学，在讲授原理的过程中，穿插实际的系统操作，本课程讲师也精心准备的实际的应用案例供学员动手训练。
Python机器学习板块
1.每个算法模块按照“原理讲解→分析数据→自己动手实现→特征与调参”的顺序。
2.“Python数据清洗和特征提取”，提升学习深度、降低学习坡度。
3.增加网络爬虫的原理和编写，从获取数据开始，重视将实践问题转换成实际模型的能力，分享工作中的实际案例或Kaggle案例：广告销量分析、环境数据异常检测和分析、数字图像手写体识别、Titanic乘客存活率预测、用户-电影推荐、真实新闻组数据主题分析、中文分词、股票数据特征分析等。
4.强化矩阵运算、概率论、数理统计的知识运用，掌握机器学习根本。
5.阐述机器学习原理，提供配套源码和数据。
6.以直观解释，增强感性理解。
7.对比不同的特征选择带来的预测效果差异。
8.重视项目实践，重视落地。思考不同算法之间的区别和联系，提高在实际工作中选择算法的能力。
9.涉及和讲解的部分Python库有：Numpy、Scipy、matplotlib、Pandas、scikit-learn、XGBoost、libSVM、LDA、Gensim、NLTK、HMMLearn。
二、培训对象
各地高校大数据产业相关讲师，信息中心相关人员、系主任、院长或对大数据感兴趣的相关人员。
三、培训目标
掌握大数据处理平台（Hadoop、Spark、Storm）技术架构、以及平台的安装部署、运维配置、应用开发；掌握主流大数据Hadoop平台和Spark实时处理平台的技术架构和实际应用；利用Hadoop+Spark对行业大数据进行存储管理和分析挖掘的技术应用；讲解Hadoop生态系统组件，包括Storm，HDFS，MapReduce，HIVE，HBase，Spark，GraphX，MLib，Shark， ElasticSearch等大数据存储管理、分布式数据库、大型数据仓库、大数据查询与搜索、大数据分析挖掘与分布式处理技术
让学员充分掌握大数据平台技术架构、大数据分析的基本理论、机器学习的常用算法、国内外主流的大数据分析与BI商业智能分析解决方案、以及大数据分析在搜索引擎、广告服务推荐、电商数据分析、金融客户分析方面的应用案例。
强调主流的大数据分析挖掘算法技术的应用和分析平台的实施，让学员掌握主流的基于大数据Hadoop和Spark、R的大数据分析平台架构和实际应用，并用结合实际的生产系统案例进行教学，掌握基于Hadoop大数据平台的数据挖掘和数据仓库分布式系统平台应用，以及商业和开源的数据分析产品加上Hadoop平台形成大数据分析平台的应用剖析。
让学员掌握常见的机器学习算法，深入讲解业界成熟的大数据分析挖掘与BI平台的实践应用，并以客户分析系统、日志分析和电商推荐系统为案例，串联常用的数据挖掘技术进行应用教学。
从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现（Python）、如何做算法的参数调试、以实际应用案例分析各种算法的选择等。
四、颁发证书
参加相关培训并通过考试的学员，可以获得：
工业和信息化部颁发的-《大数据工程师证书》。该证书可作为专业技术人员职业能力考核的证明，以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。
注：请学员带一寸彩照2张（背面注明姓名）、身份证复印件一张。
五、课程时间、地点
2019年9月19-27日 北京
中国信息化人才培训中心
天博信通-中国信息化人才培训中心率先在国内开展高级软件架构等IT高端培训的公开课。多年来持续不断的投入精力创新课程体系，至今已在国内开展公开课培训的课程达十几门，分别涵盖、云计算、大数据、软件架构、软件设计、高级UI设计、项目管理、质量管理、需求工程、运营管理等领域，也根据企事业单位的实用需求, 通过定制培训方案，培训后的技术服务，将企业单位的信息化投资的效益发挥到最高点。目前中心已经与几百家企事业单位建立了长期的培训合作关系, 深得用户信赖和好评。
一、Hadoop培训内容
|
课程模块 |
课程主题 |
主要内容及案例和演示 |
|
|
模块一 |
移动互联网、大数据、云计算相关技术介绍 |
|
|
|
模块二 |
大数据的挑战和发展方向 |
|
|
|
模块三 |
大数据文件存储系统技术和分布式文件系统平台及其应用 |
|
|
|
模块四 |
Hadoop文件系统HDFS最佳实战 |
|
|
|
模块五 |
Hadoop运维管理与性能调优 |
|
|
|
模块六 |
NOSQL数据库Hbase与Redis |
|
|
|
模块七 |
类SQL语句工具——Hive |
|
|
|
模块八 |
数据挖掘SPARK建模基础介绍
|
|
|
|
模块九 |
Kafka基础介绍 |
|
|
|
模块十 |
大数据典型应用与开发案例分析：互联网数据运营 |
|
|
|
模块十一 |
当前数据中心的改造和转换分析-以国内外运营商、互联网公司为例 |
|
|
二、大数据建模与分析挖掘培训内容
|
内容提要 |
授课详细内容 |
实践训练 |
|
业界主流的数据仓库工具和大数据分析挖掘工具 |
|
配置数据仓库工具Hadoop Hive和SparkSQL
部署数据分析挖掘工具Hadoop Mahout和Spark MLlib |
|
大数据分析挖掘项目的数据集成操作训练 |
|
项目数据集加载ETL到Hadoop Hive数据仓库并建立多维模型 |
|
基于Hadoop的大型数据仓库管理平台 |
|
利用HIVE构建大型数据仓库项目的操作训练实践 |
|
Spark大数据分析挖掘平台实践操作训练 |
|
|
|
聚类分析建模与挖掘算法的实现原理和技术应用 |
|
基于Spark MLlib的聚类分析算法，实现日志数据集中的用户聚类 |
|
分类分析建模与挖掘算法的实现原理和技术应用 |
|
基于Spark MLlib的分类分析算法模型与应用操作 |
|
关联分析建模与挖掘算法的实现原理和技术应用 |
|
基于Spark MLlib的关联分析操作 |
|
推荐分析挖掘模型与算法技术应用 |
|
推荐分析实现步骤与操作（重点） |
|
回归分析模型与预测算法 |
|
回归分析预测操作例子 |
|
图关系建模与分析挖掘及其链接分析和社交分析操作 |
|
图数据的分析挖掘操作， |
|
神经网络与深度学习算法模型及其应用实践 |
|
基于Spark或TensorFlow神经网络深度学习库 |
|
项目实践 |
|
项目数据集和详细的实验指导手册由讲师提供 |
|
培训总结 |
|
讨论交流 |
三、Python机器学习培训内容
|
课程模块 |
课程主题 |
主要内容及案例和演示 |
|
|
模块一 |
机器学习的数学基础1 - 数学分析 |
1. 机器学习的一般方法和横向比较 2. 数学是有用的：以SVD为例 3. 机器学习的角度看数学 4. 复习数学分析 5. 直观解释常数e 6. 导数/梯度 7. 随机梯度下降 8. Taylor展式的落地应用 9. gini系数 10. 凸函数 11. Jensen不等式 12. 组合数与信息熵的关系 |
|
|
模块二 |
机器学习的数学基础2 - 概率论与贝叶斯先验 |
1. 概率论基础 2. 古典概型 3. 贝叶斯公式 4. 先验分布/后验分布/共轭分布 5. 常见概率分布 6. 泊松分布和指数分布的物理意义 7. 协方差(矩阵)和相关系数 8. 独立和不相关 9. 大数定律和中心极限定理的实践意义 10. 深刻理解最大似然估计MLE和最大后验估计MAP 11. 过拟合的数学原理与解决方案 |
|
|
模块三 |
机器学习的数学基础3 - 矩阵和线性代数 |
1. 线性代数在数学科学中的地位 2. 马尔科夫模型 3. 矩阵乘法的直观表达 4. 状态转移矩阵 5. 矩阵和向量组 6. 特征向量的思考和实践计算 7. QR分解 8. 对称阵、正交阵、正定阵 9. 数据白化及其应用 10. 向量对向量求导 11. 标量对向量求导 12. 标量对矩阵求导工作机制 |
|
|
模块四 |
Python基础1 - Python及其数学库 |
1. 解释器Python2.7与IDE：Anaconda/Pycharm 2. Python基础：列表/元组/字典/类/文件 3. Taylor展式的代码实现 4. numpy/scipy/matplotlib/panda的介绍和典型使用 5. 多元高斯分布 6. 泊松分布、幂律分布 7. 典型图像处理 8. 蝴蝶效应 9. 分形与可视化 |
|
|
模块五 |
Python基础2 - 机器学习库 |
1. scikit-learn的介绍和典型使用 2. 损失函数的绘制 3. 多种数学曲线 4. 多项式拟合 5. 快速傅里叶变换FFT 6. 奇异值分解SVD 7. Soble/Prewitt/Laplacian算子与卷积网络 8. 卷积与(指数)移动平均线 9. 股票数据分析 |
|
|
模块六 |
Python基础3 - 数据清洗和特征选择 |
1. 实际生产问题中算法和特征的关系 2. 股票数据的特征提取和应用 3. 一致性检验 4. 缺失数据的处理 5. 环境数据异常检测和分析 6. 模糊数据查询和数据校正方法、算法、应用 7. 朴素贝叶斯用于鸢尾花数据 8. GaussianNB/MultinomialNB/BernoulliNB 9. 朴素贝叶斯用于18000+篇/Sogou新闻文本的分类 |
|
|
模块七 |
回归 |
1. 线性回归 2. Logistic/Softmax回归 3. 广义线性回归 4. L1/L2正则化 5. Ridge与LASSO 6. Elastic Net 7. 梯度下降算法：BGD与SGD 8. 特征选择与过拟合 |
|
|
模块八 |
Logistic回归
|
1. Sigmoid函数的直观解释 2. Softmax回归的概念源头 3. Logistic/Softmax回归 4. 最大熵模型 5. K-L散度 6. 损失函数 7. Softmax回归的实现与调参 |
|
|
模块九 |
回归实践 |
1. 机器学习sklearn库介绍 2. 线性回归代码实现和调参 3. Softmax回归代码实现和调参 4. Ridge回归/LASSO/Elastic Net 5. Logistic/Softmax回归 6. 广告投入与销售额回归分析 7. 鸢尾花数据集的分类 8. 交叉验证 9. 数据可视化 |
|
|
模块十 |
决策树和随机森林 |
1. 熵、联合熵、条件熵、KL散度、互信息 2. 最大似然估计与最大熵模型 3. ID3、C4.5、CART详解 4. 决策树的正则化 5. 预剪枝和后剪枝 6. Bagging 7. 随机森林 8. 不平衡数据集的处理 9. 利用随机森林做特征选择 10. 使用随机森林计算样本相似度 11. 数据异常值检测 |
|
|
模块十一 |
随机森林实践 |
1. 随机森林与特征选择 2. 决策树应用于回归 3. 多标记的决策树回归 4. 决策树和随机森林的可视化 5. 葡萄酒数据集的决策树/随机森林分类 6. 波士顿房价预测 |
|
|
模块十二 |
提升 |
1. 提升为什么有效 2. 梯度提升决策树GBDT 3. XGBoost算法详解 4. Adaboost算法 5. 加法模型与指数损失 |
|
|
模块十三 |
提升实践 |
1. Adaboost用于蘑菇数据分类 2. Adaboost与随机森林的比较 3. XGBoost库介绍 4. Taylor展式与学习算法 5. KAGGLE简介 6. 泰坦尼克乘客存活率估计 |
|
|
模块十四 |
SVM |
1. 线性可分支持向量机 2. 软间隔的改进 3. 损失函数的理解 4. 核函数的原理和选择 5. SMO算法 6. 支持向量回归SVR |
|
|
模块十五 |
SVM实践 |
1. libSVM代码库介绍 2. 原始数据和特征提取 3. 葡萄酒数据分类 4. 数字图像的手写体识别 5. SVR用于时间序列曲线预测 6. SVM、Logistic回归、随机森林三者的横向比较 |
|
|
模块十六 |
聚类（一） |
1. 各种相似度度量及其相互关系 2. Jaccard相似度和准确率、召回率 3. Pearson相关系数与余弦相似度 4. K-means与K-Medoids及变种 5. AP算法(Sci07)/LPA算法及其应用 |
|
|
模块十七 |
聚类（二） |
1. 密度聚类DBSCAN/DensityPeak(Sci14) 2. DensityPeak(Sci14) 3. 谱聚类SC 4. 聚类评价AMI/ARI/Silhouette 5. LPA算法及其应用 |
|
|
模块十八 |
聚类实践 |
1. K-Means++算法原理和实现 2. 向量量化VQ及图像近似 3. 并查集的实践应用 4. 密度聚类的代码实现 5. 谱聚类用于图片分割 |
|
|
模块十九 |
EM算法 |
1. 最大似然估计 2. Jensen不等式 3. 朴素理解EM算法 4. 精确推导EM算法 5. EM算法的深入理解 6. 混合高斯分布 7. 主题模型pLSA |
|
|
模块二十 |
EM算法实践 |
1. 多元高斯分布的EM实现 2. 分类结果的数据可视化 3. EM与聚类的比较 4. Dirichlet过程EM 5. 三维及等高线等图件的绘制 6. 主题模型pLSA与EM算法 |
|
|
模块二十一 |
主题模型LDA |
1. 贝叶斯学派的模型认识 2. Beta分布与二项分布 3. 共轭先验分布 4. Dirichlet分布 5. Laplace平滑 6. Gibbs采样详解 |
|
|
模块二十二 |
LDA实践 |
1. 网络爬虫的原理和代码实现 2. 停止词和高频词 3. 动手自己实现LDA 4. LDA开源包的使用和过程分析 5. Metropolis-Hastings算法 6. MCMC 7. LDA与word2vec的比较 8. TextRank算法与实践 |
|
|
模块二十三 |
隐马尔科夫模型HMM |
1. 概率计算问题 2. 前向/后向算法 3. HMM的参数学习 4. Baum-Welch算法详解 5. Viterbi算法详解 6. 隐马尔科夫模型的应用优劣比较 |
|
|
模块二十四 |
HMM实践 |
1. 动手自己实现HMM用于中文分词 2. 多个语言分词开源包的使用和过程分析 3. 文件数据格式UFT-8、Unicode 4. 停止词和标点符号对分词的影响 5. 前向后向算法计算概率溢出的解决方案 6. 发现新词和分词效果分析 7. 高斯混合模型HMM 8. GMM-HMM用于股票数据特征提取 |
|
|
模块二十五 |
|
课堂提问与互动讨论 |
|
师资介绍
张老师：阿里大数据高级专家，国内资深的Spark、Hadoop技术专家、虚拟化专家，对HDFS、MapReduce、HBase、Hive、Mahout、Storm、spark和openTSDB等Hadoop生态系统中的技术进行了多年的深入的研究，更主要的是这些技术在大量的实际项目中得到广泛的应用，因此在Hadoop开发和运维方面积累了丰富的项目实施经验。近年主要典型的项目有：某电信集团网络优化、中国移动某省移动公司请账单系统和某省移动详单实时查询系统、中国银联大数据数据票据详单平台、某大型银行大数据记录系统、某大型通信运营商全国用户上网记录、某省交通部门违章系统、某区域医疗大数据应用项目、互联网公共数据大云(DAAS)和构建游戏云(Web Game Daas)平台项目等。
培训费用及须知
9800元/人（含教材、培训费、考证费以及学习用具等费用） 食宿统一安排，费用自理。
注：请学员带一寸彩照2张（背面注明姓名）、身份证复印件一张。
相关会议
2025-06-20深圳
商务会议
会议嘉宾
会议主办方
会议场地
会议PPT
APP参会
订单查询
开通会员
