2019暑假期Python数据可视化、深度学习研修班（7月北京班）

一、机器学习和深度学习的概念、基本技术方法、大规模深度学习基本框架与开发过程以及实践

（第一天上午和下午进行课程内容教学，两个小时的开发工具应用实践，全连接神经网络实现和手写字识别，模拟分类器实现）

1. 人工智能概述、计算智能、类脑智能、深度学习的前生今世、发展趋势

2. 机器学习和深度学习概述、基本过程和方法，包括深度学习的三要素、模型设计、训练方法；深度学习与机器学习的联系、深度学习产生优势的原因、深度学习解决问题的强势和弱势。

3. 深度神经网络基础包括深度神经网络的高维复杂函数近似、流形推断、泛化的基本原理

4. 人工神经网络和基本训练方法（训练目标和训练BP 算法） 

5. 实践：Tensorflow框架的开发模式、开发案例

6. 深度神经网络开发的基本过程、训练和问题解决技巧

7. 基本神经网络开发实践

二、深度学习的基本模型设计、训练方法和应用问题决

（第二天上午和下午理论教学，下午两个小时实践，内容包括基本的卷积网络、循环网络开发，解决复杂结构的表示学习）

1. CNN 卷积神经网络的设计思想、设计和应用开发与上机实习（卷积层（一维卷积、二维卷积）、池化层（均值池化、最大池化）全连接层、激活函数层、Softmax 层）

2. 神经网络训练的基本技巧和问题解决方法

3. 卷积神经网络的变化、思想和应用实例（残差网络、R-CNN、SPPNET、Fast-R-CNN、Faster-R-CNN、Mask-R-CNN、YOLOv1-v3）

4. RNN 循环神经网络改进的思想和LSTM、GRU、Bi-RNN、Attention based RNN

5. RNN、LSTM 实际应用：自然语言处理、Seq2Seq 、跨模态应用（Caption/无导师翻译/无导师生成）

6. 残差神经网络、非局部神经网络以及它们的应用，特别在自然语言处理和图数据处理方面的应用。

7. 对象识别、机器翻译、看图说话、以文成图、推荐/信息检索、信号处理的基本技术方法

三、深度学习模式和基本技术：弱导师学习、强化学习、无导师学习、迁移学习

（第三天上午理论教学）

1. 深度学习的基本模式、似然估计和非似然估计、指数复杂度/下界和后验推理/重参数

2. 最大似然估计技术体系：弱导师学习、远程学习Autoencoder、VAE、GAN+VAE

3. 非似然技术体系：对抗生成模型GAN 的理论知识、INFOGAN、f-GAN、WGAN、Conditioned-GAN的基本原理与应用

4. 迁移学习的理论概述、迁移学习常见方法举例

5. 强化学习的基本原理和实践：动态规划、TD和MC算法

6. 深度强化的基本思想、策略递度、价值近似的建模和训练方法以及各种改进技术的详细解析

四、深度学习的大数据处理技术

（第三天下午一个小时理论教学，两个小时的实践内容包括：模型可视化分析和调试、对抗神经网络实现和结果可视化）

1. 多模态数据的深度学习分析技术

2. 深度社交网络分析

3. 多模态深度推荐/信息检索技术

4. 深度模型调试案例解析（训练目标设计、不稳定、超参数设计自动化、元学习）