人工智能培训课程大纲-猎维人工智能培训

课程大纲

前置课程

PRE CURRICULUM

环境搭建

Python环境搭建

Python深度学习环境搭建

C++环境搭建

C++深度学习环境搭建

语言

Python快速入门

C++快速入门

版本管理

Git入门和使用

学习目标：能让学生在正课前快速进入学习状态，了解AI所需要的基础知识

第一阶段

STAGE ONE

公开课

科普人工智能

——

AI的分类、AI能解决的问题

工作流程

科普工作流程

——

数据处理、模型搭建、模型部署、硬件选型

科普工作范围

——

AI的工作范围

场景应用

图像领域

——

图像识别案例分析、图像跟踪案例分析、图像分割案例分析、图像生成案例分析、图像超分辨率案例分析、图像去噪案例分析

自然语义领域

——

文本生成案例分析、文本摘要案例分析、文本分类案例分析、文本实体提取案例分析、问答模型案例分析

语音领域

——

语音识别案例分析、文本转语音案例分析、声纹识别案例分析、语音唤醒案例分析、语言支付案例分析

自动化领域

——

棋牌/游戏案例分析、机器人案例分析、群控案例分析、智能规划案例分析

其他

——

3D重构案例分析、换脸案例分析

技术方案

AI产品技术方案

——

AI产品技术方案格式、AI产品技术方案编写

学习目标：详细了解人工智能的整套体系，应用领域，行业，一开始就对人工智能整套体系有个明确的认知，带着应用问题进入技术知识的学习。

第二阶段

THE SECOND STAGE

数学

高数

——

初等函数、复合函数、数列、极限、导数、微分与积分、极值和最值、梯度下降法
项目：梯度下降解决与非问题

线性代数

——

线性代数基本概念、行列式、矩阵、矩阵运算、最小二乘法、矩阵的初等变换、线性方程组的解、矩阵特征值、向量的线性相关性、特征方程与相似变换

概率统计

——

事件、事件运算、古典概率、条件概率、联合概率、边缘概率、全概率、期望和方差、贝叶斯公式、分布：常用分布/高斯分布详解、参数估计：极大似然估计
项目：垃圾邮件分类

信息论

——

交叉熵、相对熵、KL散度、相对熵与交叉熵的关系

学习目标：理解数学知识体系在深度学习中的应用，可以读懂深度学习中常用的数学函数公式，能够用Python编程实现常用的数学算法。

Numpy

基本操作

——

张量创建、张量基本运算、张量形状操作

PIL/Matplotlib

基本绘图操作

——

基本绘图操作

学习目标：掌握常用框架对图像的基本操作，理解图像与矩阵的含义

OpenCV

读写

——

图像读写、视频读取、摄像头读取、RTSP读取

像素操作

——

像素操作、通道分离与合并、像素算术运算（加、减、混合、位操作）

几何操作

——

仿射变换、透视变换、膨胀/腐蚀/开/闭/顶帽/黑帽、画点/线/矩形/圆/椭圆/多边形/文字

颜色空间

——

RGB/RGBA/GRAY/HSV/YUV颜色空间讲解、颜色空间的相互转换、YUV颜色空间操作
项目：文字提取

滤波

——

滤波解释、卷积滤波、低通滤波：均值滤波/高斯滤波/双边滤波/中值滤波、锐化：拉普拉斯锐化/USM锐化、梯度：Sobel，Scharr和Laplacian

阀值操作

——

OTSU、简单阀值、自适应阀值

边缘提取

——

Canny操作
项目：CT图像边缘提取

轮廓

——

轮廓提取、轮廓近似、凸包、轮廓属性、对象提取、轮廓匹配
项目：综合前面知识进行车牌提取

模板匹配

——

模板匹配

图像金字塔

——

高斯金字塔、拉普拉斯金字塔
项目：用苹果和橘子创造一种新水果

霍夫变换

——

霍夫变换原理、寻找直线、寻找圆

分水岭算法

——

分水岭算法原理
项目：CBCT分割

傅里叶变换

——

傅里叶变换原理、傅里叶变换与逆变换、频域滤波
项目：放大视频中睡觉小孩的呼吸

特征提取

——

理解特征、Harris角点提取/亚像素级精确角点、Shi-Tomasi角点检测、SIFT算法、SURF算法、FAST算法、BRIEF算法、ORB算法

特征匹配

——

Brute-Force 匹配、FLANN 匹配器、使用特征匹配和单应性查找对象

视频分析

——

Meanshift均值漂移算法、Camshift算法、背景减除、光流

检测与跟踪

——

CSTR/KCF/Booting/MIL/TLD/MOSSE

学习目标：掌握对图像的基本处理方法，为深度学习的数据预处理和后处理做准备

机器学习

回归

——

线性回归、逻辑斯蒂回归、岭回归/LASSO回归、最小二乘法

贝叶斯/朴素贝叶斯

——

贝叶斯/朴素贝叶斯

EM算法

——

EM算法

最大熵模型

——

最大熵模型

SVM

——

SVM

聚类算法

——

Kmeans、Knn、层次聚类、谱聚类

决策树

——

决策树

集成学习

——

随机森林、GBDT

主成分分析与数据降维

——

PCA、SVD

图模型

——

贝叶斯网络、HMM、条件随机场

学习目标：为深度学习的数据预处理和后处理做准备

数据预处理

数据标注

——

数据标准工具应用

数据增强

——

数据增强工具使用、自定义数据增强

学习目标：掌握常用数据格式的解析方式，对数据或图片进行标注、旋转、缩放、噪点处理等

深度学习

pytorch入门

——

张量创建、张量基本运算

学习目标：熟练的使用PyTorch进行神经网络的搭建、训练和调参。

MLP全连接神经网络

——

感知机模型、激活函数、全连接神经网络、MSE损失、反向传播算法（SGD/RmsPro/ADAM)
项目：MNIST手写数字分类

学习目标：深入了解神经网络，理解多层感知机的运行过程和原理，并能够搭建多层感知机模型。

模型评估

——

混淆矩阵、Accuracy准确率、Precision精确率、Recall召回率、F1Score评价指标、PR曲线、ROC曲线、AUC、回归模型评估、聚类评估、MAP/Floats

学习目标：掌握测试网络性能的标准

Tensorboard可视化工具

——

损失可视化、输入/输出可视化、参数分布可视化、梯度可视化、评估可视化

学习目标：为调参提供图形化参考

CNN卷积神经网络

——

卷积过程、卷积尺寸与参数量计算、卷积网络、交叉熵损失、自定义数据读入
项目：cifar10分类识别
项目：单目标追踪

学习目标：最重要的神经网络，95%以上的深度学习模型都要用到他

RNN循环神经网络

——

RNN讲解、梯度弥散问题、LSTM长短期记忆网络、GRU网络、SRU网络
项目：验证码识别

SEQ2SEQ

——

SEQ2SEQ/CNN2SEQ结构、CTC损失、
项目：银行卡卡号识别

学习目标：可以处理所有的序列问题,如智能应答，智能翻译等，理解循环神经网络RNN和LSTM、GRU的运行过程和原理,能够搭建相关的循环神经网络模型训练和优化，解决商业中的一维信号或数据预测分析。

能解决的问题：OCR，一维信号处理、安全信号检测、产奶量预测分析，行为关键点识别

GAN生成式对抗网络

——

反卷积/上采样、DCGAN深度卷积生成对抗网络、项目1：生成动画人脸、InfoGAN
项目2：条件控制生成手写数字

学习目标：让神经网络具备创造能力，理解生成式对抗神经网络和其变种网络的原理，可实现图像生成，语音生成等，具备一维、二维、三维图像的生成，补全，还原的相关项目能力。

能解决的问题：AR试衣生成衣服，景区文物图像还原，音乐歌曲生成、短视频生成，虚拟化妆镜

GNN图神经网络

——

GCN图卷积、图嵌入

学习目标：了解下一代神经网路，让网络具备强大的知识融合，推理能力。

RL强化学习

——

马可夫链、马科夫决策过程、马科夫随机过程、贝尔曼方程、Q学习、DQN
项目：像素小鸟

学习目标：掌握强化学习的思想，让AI具备决策和规划能力

能解决的问题：智能玩游戏，游戏平衡性分析，多设备联动配合，无人驾驶

第三阶段

THE THIRD STAGE

深度学习进阶

损失/训练优化

——

正则化、Dropout、激活函数分析、参数初始化、梯度分析、困难样本训练/focal loss、特征解纠缠center loss、特征解纠缠arc loss、特征解纠缠trip loss、分布式训练

学习目标：掌握更高级的损失函数，能做出更优质的网络效果

网络结构设计

——

容量/精度/性能平衡关系、残差、1*1卷积/3*3卷积、DW卷积、batch normal、instance normal、layer normal、shuffle net、upsample/shuffle pixel、宽网络、常用网络结构进化与分析：Alex/Vgg/GoogleNet/ResNet/Inception/SqueezeNet/DenseNet/MobileNetV1-3/ShuffleNetV2

学习目标：掌握网络设计技巧，如何设计出性能更好，速度更快的神经网络

推理优化

——

剪枝、蒸馏、量化、TensorRT

学习目标：让网络的性能支持一些性能较低物联网设备

模型部署

——

C++部署、Android/IOS部署、HTTP部署

学习目标：训练好的模型应用在不同的设备环境

第四阶段

THE FOURTH STAGE

图像

图像识别：基于MTCNN和ArcNet的人脸识别项目

——

图像跟踪算法思路、图像金字塔、重叠度IOU、NMS非极大值抑制、特征层到原图的映射、MTCNN算法流程、MTCNN网络结构、MTCNN训练样本、MTCNN网络的训练过程、MTCNN网络的使用过程、人脸识别的难点、Siamese network 孪生神经网络、距离衡量常用方法、余弦相似度和欧氏距离的等价性、Arc-SoftmaxLoss、人脸识别数据集

学习目标：人脸追踪主要应用的技术是MTCNN，人脸识别目前主要应用ArcNET网络，定位是用来对单目标的侦测和识别，其市场应用有人脸追踪识别、车辆追踪识别、无人机追踪识别等。在安防，门禁等上商业应用广泛。

能解决的问题：垃圾分类、工业缺陷检测、无损检测、医美面部纹理和斑识别、异物检测

目标检测：基于YOLO-v3的人车识别项目

——

RCNN\fastRCNN\fasterRCNN\SSD\YOLO发展过程和原理、YOLO-v1、YOLO-v2、YOLO-v3版本差异、建议框设计、网络结构、YOLO-v3网络源码解析、COCO数据集、YOLO-v3网络的训练过程、YOLO-v3网络的使用过程、YOLO-V3代码实现、未来趋势：Free Anchor、应用YOLO-v3完成完整人车识别项目、项目答辩

学习目标：YOLOV3多物体追踪：目前行业应用最广泛的商业级多目标追踪模型，主要作用是对一个区域内的多种物体进行追踪。已经用于很多商业领域的案例，如人流，车流分析。YOLO的最大特点就是速度快、追踪位置准确。能够使用于实时监控和追踪目标。

能解决的问题：动作捕捉、机械零件检测、管道线路巡检、河流漂浮物识别，海洋浮冰识别、无人机的识别、道路巡检、智慧工地违规行为识别，无人驾驶

图像切割：基于U-NET切割物体

——

FCN\DeepLib\MaskRCNN\U-NET发展过程和原理、语义分割、实例分割、全景分割、空洞卷积、全局金字塔池化、Mask R-CNN、下采样+上采样、多尺度特征融合：特征相加／特征拼接、获得像素级别的segement map、U-NET代码实现（完整图像分割项目）、项目答辩

学习目标：U-NET图像分割：主要用于迅速自动“抠图”，就行PS一样，但是PS需要人手动去把要抠取的图像边缘描绘出来，才能够抠取，应用领域广泛，比如基于人类行为的动作识别，可以用于体育运动、学生行为识别等等，或者基于医学影像的肿瘤分割，器官分割等等。

能解决的问题：金融图表分割，医疗影像分割，视频素材提取、卫星图像用地性质区分，游戏精彩时刻自动生成

自然语义

生成文章：用GPT2智能生成文章

——

Seq2Seq模型在自然语义中的应用和问题、SEQ2SEQ注意力、词向量、word2vec、ELMo、EMLo原理介绍、EMLo总结、Transformers、多头注意力模型、单头注意力模型、位置编码、BPE编码、Mask LM、Fine-tuning过程、霍夫曼编码(Huffman Coding)、BERT、GPT2(代码实现)、GPT2答辩

学习目标：目前效果最好的NLP模型BERT和GPT-2，主要基于NLP自然语义处理技术，让机器学会理解人类文字语言中的含义。最终可以和人类进行文字语言对话。基于NLP技术的网络模型也可以在人类的“指引”下，独立写一些简单的文章，或者对文章进行翻译、写摘要等等，应用非常广泛，如智能客服，微软小冰等

能解决的问题：智能生成文章、智能生成歌词、游戏舆情分析，用药物疗效监控

我们的项目标准：

商业级别的实战项目。第一阶段：先掌握项目所需要的核心技术和网络。第二阶段：掌握项目商业全流程。
1、数据寻找，数据标注，数据处理
2、选择和实验多模型，再到模型参数调整。
3、增加数据多样性，提升模型性能和精度。
4、测试和部署，持续优化网络。

第五阶段

THE FIFTH STAGE

面试题讲解

opencv面试题讲解

机器学习面试题讲解

深度学习面试题讲解

简历指导

简历撰写

——

技能和项目撰写

模拟面试

面试技巧

——

自我介绍、技术和项目分解

学习目标：200家国内人工智能企业面试真题和扩展题型

后置课程

THE SIXTH STAGE

语言

Python

C++

框架

Tensorflow 2.0

学习目标：满足工作中的额外工程需求，后续增值小课的方向知识图谱，slam，3D点云，stylegan，神经网络芯片设计FPGA等

排列5走势图