深度学习理论与实战及GPU高性能计算解决方案应用高级培训班

                        模块一：深度学习理论与实战

一、人工智能、机器学习、深度学习的历史和基本思想

1，人工智能概述、机器学习概述及基本思想

2，深度学习的前生今世、发展趋势

3，深度学习的主要模型及应用场景

二、生成性对抗网络GAN

1， GAN的理论知识   

2， GAN经典模型：

CGAN

LAPGAN

DCGAN

3，GAN实际应用： DCGAN提高模糊图片分辨率

三、卷积神经网络

1，CNN卷积神经网络：

卷积层（一维卷积、二维卷积）

池化层（均值池化、最大池化）

全连接层    

激活函数层    

Softmax层

2，CNN卷积神经网络改进：

R-CNN （SPPNET）  

Fast-R-CNN  

Faster-R-CNN （YOLO、SSD）

3， CNN应用案例：

CNN与手写数字集分类

YOLO实现目标检测

PixelNet原理与实现

利用卷积神经网络做图像风格结合

四、循环神经网络

1， RNN循环神经网络：

梯度计算

BPTT

2， RNN循环神经网络改进：

LSTM      

Bi-RNN 

3，RNN实际应用： Seq2Seq的原理与实现    

五、强化学习

1， 强化学习的原理；

2， RL实际应用；

六、迁移学习

1，迁移学习的理论概述；

2，迁移学习的常见方法：

特征、实例、数据、深度迁移、强化迁移、研究案例；

                        模块二：AI+HPC、GPU高性能及深度学习

一、 GPU通用计算

1、高性能计算的应用场景和实际意义；

2、CPU/GPU体系结构对比介绍：

流水线、多核、缓存、访存、通信模型、分支预测等；

3、HPC场景：GPU加速高性能计算；

4、AI场景：GPU加速深度学习；

5、AI+HPC场景：

深度学习应用耗时分析

矩阵乘和卷积

对应的GPU解决方案；

二、 GPU高性能计算

1、搭建高性能计算平台，CUDA开发环境搭建和工具配置；

2、CUDA基础：

API、数据并行、线程模型、存储模型、控制、同步、并发和通信、加速比；

3、CUDA优化进阶：

线程组织调度，访存优化，数据传输，原子操作；

4、GPU并行计算模式及案例分析；

5、CUDA 9新特性；

GPU高性能上机实操：

1、向量加；

2、深度学习瓶颈函数的GPU实现：矩阵乘，卷积；

三、 GPU深度学习

1、搭建深度学习平台，深度学习显卡选型；

2、Pascal架构和Volta架构；

3、深度学习GPU解决方案：

3.1基于GPU的交互式深度学习训练平台：DIGITS；

3.2深度学习框架的GPU加速：TensorFlow，Caffe等；

3.3 NVIDIA深度学习SDK：cuDNN，TensorRT，NCCL；

GPU深度学习上机实操：

1、Caffe，TensorFlow等通用深度学习框架的GPU加速库cuDNN的使用；

2、深度学习推理引擎TensorRT的使用；