全国高校数据分析与挖掘实战师资研修班1月广州培训班

第一部分：线上学习

学习时间

报名成功后即可开始学习

时间

课程内容

学习平台

正式培训前

Python编程基础

1准备工作

2列表操作

3程序流程控制语句

4字符串操作

4.1字符串及其索引&切片

4.2字符串的常见方法

4.3字典的创建及索引

4.4字典常用操作

4.5字典推导式

5Python文件读取操作

5.1Python读取文件

5.2练习3：统计小说中的单词频次

6函数

6.1Python函数自定义

6.2练习4：自定义求序列偶数个数的函数

7面向对象与模块

7.1Python方法与函数对比介绍

7.2Python面向对象示例

7.3Python模块使用

7.4第三方库的安装与调用

8注意事项

8.1Python工作路径说明

8.2模块命名及存放路径的注意事项

8.3结语

泰迪云课堂

第二部分：线下实战

学习时间

2021年1月20日-24日

时间

课程内容

学时

1月20日

报到

全天

1月21日

Python数据分析与应用

1 Python数据分析概述

1.1认识数据分析

1.2熟悉Python数据分析的工具

1.3安装Python3的Anaconda发行版

1.4掌握Jupyter Notebook常用功能

2 使用Pandas进行数据预处理

2.1合并数据

2.2清洗数据

2.3标准化数据

2.4转换数据

Python数据分析实训

练习1 探索Chipotle快餐数据

1.将数据集存入一个名为chipo的数据框内

2.查看前10行内容

3.数据集中有多少个列(columns)？

4.打印出全部的列名称

5.数据集的索引是怎样的？

6.被下单数最多商品(item)是什么?

7.在item_name这一列中，一共有多少种商品被下单？

8.一共有多少个商品被下单？

9.将item_price转换为浮点数

10.在该数据集对应的时期内，收入(revenue)是多少？

11.在该数据集对应的时期内，一共有多少订单？

12.每一单(order)对应的平均总价是多少？

练习2 用户用电量统计分析

1.将数据进行转置，转置后行为用户编号、列为日期、值为用户每日用电量。

2.对数据中的异常数据进行识别并处理。

3.统计每个用户用电数据的基本统计量，包括：最大值、最小值、均值、中位数、和、方差、偏度、峰度。

4.每个用户用电数据按日差分，并求取差分结果的基本统计量，统计量同3。

5.求取每个用户的5%分位数。

6.每个用户按周求和并差分（一周7天，年度分开），并求取差分结果的基本统计量，统计量同3。

7.统计每个用户的日用电量在其最大值0.9倍以上的次数。

8.合并上述特征。

9:00-12:00

14:00-17:00

1月22日

机器学习实践

1机器学习绪论

1.1引言

1.2基本术语

1.3假设空间&归纳偏好

2模型评估与选择

2.1经验误差与过拟合

2.2评估方法

2.3性能度量

2.4性能度量Python实现

市财政收入预测

1 背景与案例目标

2 相关系数分析

2.1求解person相关系数

2.2person相关系数解读

3 Lasso回归特征提取

3.1了解Lasso回归方法

3.2Lasso回归选取关键特征的实现

3.3Lasso回归数据写出及相应解读

4 灰色预测模型

4.1关键特征数据读取及准备

4.2GM11特征值预测

4.3GM11特征数据整理及写出

5 模型训练及预测

5.1数据标准化

5.2模型训练及预测

5.3结果可视化

垃圾短信智能识别

1 背景与目标

2 数据探索

2.1数据读取

2.2数据抽取

3 数据预处理

3.1去除短信中的x序列

3.2结巴分词

3.3去除停用词

3.4数据预处理函数封装

3.5垃圾短信的词频统计

3.6词云图绘制

4 文本向量的表示

4.1文本数据的向量化表达

4.2获取训练样本的tf-idf权值向量

4.3获取测试样本的tf-idf权值向量

5 模型训练及评价

6 小结

9:00-12:00

14:00-17:00

1月23日

Python网络爬虫

1 Python爬虫介绍

1.1 认识爬虫

1.2 认识反爬虫

1.3 Python爬虫环境

2 网页爬虫

2.1 了解Python爬虫基本流程

2.2 实现HTTP请求

2.3 网页解析

2.4 数据存储

3 常规动态网页爬取

3.1 常规动态网页爬取概述

3.2 逆向分析爬取动态网页

3.3 使用Selenium打开浏览对象

3.4 Selenium页面等待

3.5 使用Selenium获取图书信息

Python爬虫实战

练习1 爬取网站“泰迪智能科技”（http://www.tipdm.com/）导航条的信息。

练习2 爬取“泰迪智能科技”（http://www.tipdm.com/）新闻中心中公司新闻的信息（新闻标题+新闻内容）

练习3 获取人邮网站新书资讯

练习4 采集京东商品评论数据

9:00-12:00

14:00-17:00

1月24日

综合实战：电商智能推荐--优惠券使用预测

1 背景与目标

2 数据说明

2.1线下训练集数据介绍

2.2线上训练集数据介绍

2.3测试数据介绍

2.4项目流程介绍

3 数据预处理

3.1构建正样本

3.2构建负样本

3.3构建样本标签

4 特征构建

4.1特征构建介绍

4.2处理Discount_rate列

4.3特征1-折扣率

4.4特征2-商户与用户之间的距离

5 模型训练

5.1建模前数据准备

5.2初级模型构建

5.3ROC曲线与AUC值

5.4模型性能评估

5.5训练函数封装

5.6模型预测

5.7预测函数封装

6 特征完善

6.1特征3-优惠券流行度

6.2特征4-用户在商家中的消费次数

6.3如何进行特征拼接

6.4拼接训练集的特征3&4

6.5拼接测试及的特征3&4

7 预测

7.1模型训练

7.2预测

7.3代码整理

7.4结果提交

9:00-12:00

14:00-17:00

1月25日

大数据企业参观访学

认证考试

工信部教育与考试中心高级大数据技术应用职业技术认证在线考试

泰迪云课堂