大数据分析与可视化技术应用实战培训班(5月网络直播)

时间

知识模块

授课内容

第一天

上午

数据分析实战

第一讲  零基础学Python

讲解Python背景、国内发展状况、基础语法、数据结构及绘图操作等内容。特别针对向量计算这块，着重介绍Python在这方面的优势及用法。

第二讲  数据分析方法论

讲解统计分析基础，包括统计学基本概念，假设检验，置信区间等基础，并结合数据案例说明其使用场景和运用方法。介绍数据分析流程和常见分析思路，并结合案例进行讲解。

第三讲  数据处理技法

从数据接入、数据统计、数据转换等几个方面进行讲解。数据接入包含接入MySQL、Oracle、Hadoop等常见数据库操作；数据统计包含Pandas包的具体用法和讲解；数据转换包含对数据集的关联、合并、重塑等操作。此外，针对海量数据的情况下，介绍在Spark平台上的数据处理技术，并结合真实环境进行操作讲解。

第一天

下午

数据挖掘理论及核心技术

第四讲  认识数据挖掘

讲解数据挖掘基本概念，细致讲解业务理解、数据理解、数据准备、建立模型、模型评估、模型部署各环节的工作内容及相关技术；结合业界经典场景，讲解数据挖掘的实施流程和方法体系。

第五讲  数据挖掘核心技术

细致讲解抽样、分区、样本平衡、特征选择、训练模型、评估模型等数据挖掘核心技术原理，并结合案例讲解其具体实现和用法。尤其针对样本平衡，重点讲解人工合成、代价敏感等算法；针对特征选择，重点讲解特征选择的核心思路，并结合Python进行案例演示。

第二天

上午

大数据算法原理及案例实现（1）

第六讲 特征降维算法及Python实现

降维是大数据分析非常重要的算法 ，它可以在降低极少信息量的情况下，极大地缩小数据规模。主要讲解主成分、LDA以及t-SNE原理，并结合案例进行Python实现。特别地，针对海量数据情况下的应用场景，讲解实现思路和Python案例。

第七讲 决策树算法及Python实现

决策树是非常经典的算法 ，一般常见于小数据的挖掘。由于决策树具有极强的可解释性，针对海量数据仍然是非常重要的实用价值。主要讲解ID3、C4.5、C5.0以及CART决策树算法的实现原理，并结合案例进行Python实现。

第八讲 基于乳腺癌数据进行降维分析并建立分类模型

实战部分：基于乳腺癌数据进行降维处理，并尝试建立分类评估模型。旨在通过该模型，并潜在的乳腺癌患者进行识别。

第二天

下午

大数据算法原理及案例实现（2）

第九讲  因果推理算法及Python实现

大数据分析技术可以帮助我们去发现、解决一些业务问题，然而如何去判断我们的改进是否生效，是否在业务指标上呈现过一定的因果逻辑，则是一个重要问题和分析方向。本节主要介绍因果推理算法，包括贝叶斯推理、状态空间模型以及CausalImpact工具等内容，并结合案例进行Python实现。

第十讲 深度学习算法及Python实现

对于大数据的建模任务，我们可以基于深度学习来实现，不仅能够针对海量数据进行建模，其效果也非常不错。本节主要讲解深度学习的发展历程，DBN、DNN等经典深度学习算法，深度学习优化算法以及一些技巧。同时，介绍Keras库的使用方法，并结合案例进行Python实现。

第十一讲 Lending Club信贷违约分析案例

实战部分：基于Lending Club信贷违约数据，尝试从多个不同的维度进行数据分析，旨在发现一些有价值的信息，同时基于该数据，经过一定的处理，建立信贷违约识别模型，旨在对信贷业务办理提供模型支持，降低违约风险。

第三天

上午

Python应用实战（一）

第十二讲 Python自然语言处理原理及案例

目前文档数据已经成为很多企业重要的资产，通过对文档数据进行解析、建模、分析、挖掘、可视化，我们能够发现不一样的洞察。本节主要讲解自然语言处理基本概念和技法，包含分词、关键字提取、文摘提取、文本分类、主题模型、word2vec等内容。介绍在深度学习的加持下，与传统做法的区别，并使用Python进行案例讲解。

第十三讲 数据分析图表及Python案例

数据可视化是大数据分析的重要手段，通过合理地使用图表，不仅可以简洁地表达数据的含义，高效地发现问题，还可以为报告的编写以及数据分析web应用增色不少。本节主要讲解常用的数据分析图表及其使用场景，介绍数据可视化的方法论，避免生搬硬套的使用图表，针对不同的业务场景和需求，合理选择可视化方法。介绍的工具不限于matplotlib、pycha、pyecharts、ggplot、Bokeh、HoloViews、mpld3、plotly、pygal等常用可视化库。

第三天

下午

Python应用实战（二）

第十四讲 使用Notebook编写数据分析报告

数据分析报告在大数据分析过程中具有重要价值，它体现了大数据分析的目的、过程和结果，以及对发现问题的解读、改进方案等等，本节主要讲解使用Notebook编写数据分析报告的具体方法，以及编写数据分析报告的方法论，并结合案例讲解其用法。

第十五讲 Dash可视化开发实战

Dash是一款不错的框架，可以基于Dash快速开发一个轻量级的数据分析web应用。在网页中嵌入图表、数据以及分析的算法，非常适合打造企业内部的敏捷数据分析工具集。本节主要介绍Dash的UI、Server、Reactivity、控件等内容，同时讲解一个用Dash实现数据分析功能（兼图表）的实际案例，搭建服务器，在企业内部实现轻量级数据分析应用。

总结与答疑