python网络爬虫、文本挖掘与数据可视化培训班2019（8月贵阳班）

模块一

第1讲：网络爬虫技术基础与开发环境

1. 网络通信基础

2. Web开发与网站分析介绍

3. 开发环境安装与使用

4. Python基础数据结构与语法

5. 常用Python库使用案例分享

第2讲：网络爬虫工具库

1. 认识正则表达式

2. 基础Python爬虫库（urllib/Requests）

3.“漂亮”的爬虫库-Beautiful Soup

4. 静态网页爬取案例分享（论坛、维基百科、小说网站等）

5. Selenium与无头浏览器

6. Ajax和DHTML网站爬取

7. 动态网页爬取案例分享（图片网站、新闻网站、

第3讲：网络爬虫存储

1. 文件读取与保存

2. 关系数据库存储-MySQL

3. 爬虫配合MySQL存储案例分享

4. 分布式存储-NoSQL数据库

5. 爬虫配合MongoDB存储案例分享

6. HDFS简介

模块二

第4讲：网络爬虫框架

1.Python网络爬虫框架介绍

2.Scrapy基本使用

3.Scrapy进阶使用

4.爬虫框架使用案例分享（评论类网站、二手车网站等）

第5讲：网络爬虫常用技巧

1. 表单处理

2. 模拟登录

3. 爬虫代理池

4. 各类网页内容处理

5. 设计隐蔽的网络爬虫

第6讲：文本挖掘技术基础

1. 文本挖掘全流程概述

2. 自然语言处理库（NLTK）

3. TextBlob文本处理库介绍

4. 中文分词介绍（jieba）

5. 词云介绍

模块三

第7讲：文本挖掘技术进阶

1. 文本挖掘预处理技术

2. 文本特征处理

3. 文本聚类与主题模型

4. 基于深度学习的文本挖掘

5. 文本挖掘案例分享（主题发现、新闻分类、情感分析等）

第8讲：数据可视化技术基础

1. 数据可视化介绍

2常用Python可视化模块（matplotlib,seaborn）

3. 常用统计图绘制:

3.1条形图

3.2直方图

3.3面积图

3.4饼图

3.5箱线图

3.6散点图

第9讲：数据可视化技术进阶

1. 交互式数据可视化

1.1更加‘美丽’的表达--pyecharts

1.2让你的图形有‘反馈’—bokeh

2. 地图可视化—basemap

3. 文本可视化--wordcloud

4. 网络图可视化—network

5. 爬虫技术、文本挖掘及数据可视化综合案例

附加模块（视课程整体进度而定）

第10讲：Python数据挖掘实战

Python数据挖掘技术概览：

1.数据挖掘与模型

2.建模流程和步骤

3.常见算法介绍

4.效果评估

数据挖掘典型项目流程示范：

1.数据探索性分析

2.数据探索中的可视化

3.特征处理和数据建模、

代码和案例实践：

1.泰坦尼克号沉船幸存者预测

2.Amazon员工访问需求预测

3.贷款违约风险预测

4.基于titanic数据集预测生存概率

5.演示如何进行绘图探索

第4天（8月6日）

培训考核、参观贵阳“国家大数据中心”