扫描关注，提前了解课程动态
开课信息
Course Info
学员评价
Experienced Project Reviewers
导语
以最专业的教学团队传递知识，以最负责的做事方式服务学员，愿和你在贪心相遇。一起收获一份知识、一段时光、一群朋友！
导师介绍
Learn With the Best
课程研发团队
Course Instructor Board
-
周景阳前百度资深工程师人工智能领域专家、百度人工智能事业群资深工程师、多家一线公司技术负责人和技术顾问。业内公认技术工程、数据分析、大数据等多领域专家。 -
史源人工智能基金管理人10多年人工智能领域相关研发和研究经历，负责过多项人工智能基金项目。美国南加州大学人工智能博士，卡内基梅隆大学机器人系访问学者。 -
蓝振忠Google人工智能科学家现任Google科学家，美国卡耐基梅隆人工智能博士，曾任美国智能监控公司的首席科学家， 对视频和多媒体的智能分析有深入研究。 -
Hancheng美国亚马逊总部资深科学家负责Amazon Alexa的智能化以及个性化的研发与应用，曾任职于美国ebay以及NEC北美实验室， 拥有美国Texas A&M大学的博士学位。
课程亮点
What You Will Learn
-
双师教学 顶级团队一线技术专家亲自授课；同时为学员配备了经验丰富的助教团队，均毕业于美国顶尖高校。 -
金牌助教 24h辅导博士助教团队提供在线答疑，代码审核，帮助学员快速解决问题，消灭“拦路虎”，消除盲点，不怕学不会！ -
产学结合 真实案例课程涵盖10个实习项目+Cap-stone项目，且侧重技能不同，学员的知识体系会更加全面。 -
小班精学 全程监督小班授课，小群互动，班主任日日陪伴，全程督学，关注你点滴进步，不怕拖延症。 -
Capstone学员有机会选择并完成自己感兴趣的课题，无论应用性的还是学术性的课题，导师助教团队都可以很好地指导你。或许这样的一个项目可以让你实现拥有顶会论文的目标。 -
最专业、最体系化的课程从传统CV技术到基于深度学习的CV技术，帮助学员理解技术深层次的本质关系。 -
前沿顶会论文深度解读我们将邀请国内外的AI博士与资深工程师，来对NIPS, ICM-L，ACL, EMNLP等AI会议的热点paper进行详解与讨论。 -
就业面试指导，就业推荐在课程末期，导师助教团队会给学员提供个性化就业面试指导。成绩优异者，还会帮你内推一线AI企业的岗位。
适合什么样的人群
How do I know if this program is right for me?
有机器学习基础，有较强的编程能力，对数据结构与算法比较熟悉
之后想从事CV、深度学习相关研究工作，想申请国外名校读相关专业的硕士/博士
对计算机视觉和深度学习领域最新知识体系深入学习
想转型到一线做AI工程师、深度学习工程师、视觉工程师的学员
您将获得
You will get
深度神经网络处理计算机视觉任务有清晰的理论认知
具备动手能力解决实际问题
自己写代码实现经典网络结构解决各种计算机视觉任务
按照自己的需要定制, 裁剪, 拼装自己的深度网络模型
项目列表
Project-Based Learning
【经典CV】综合项目之Image Captioning
项目介绍Image Captioning是让计算机自动对图像的内容产生一段描述性的文字。Image Captioning结合了计算机视觉和自然语言处理的技术。首先需要计算机能够理解图像中包含的物体，然后需要计算机理解物体与物体，物体与环境之间的关系，最后要结合自然语言处理的技术将计算机“看”到的场景描述出来。
技术应用场景Image Captioning是让计算机自动对图像的内容产生一段描述性的文字。Image Captioning结合了计算机视觉和自然语言处理的技术。首先需要计算机能够理解图像中包含的物体，然后需要计算机理解物体与物体，物体与环境之间的关系，最后要结合自然语言处理的技术将计算机“看”到的场景描述出来。
【无人驾驶】交通指示牌识别之CNN
项目介绍给定一张包含交通指示牌的图片，例如:限速80，单行道等等。图片是在真实场景下面捕捉的, 有如下的问题: 光照不均衡，有积雪/树叶遮挡，分辨率非常低，夜间反光。我们需要在各种复杂场景下面达到98%以上的识别准确率。
技术应用场景这个项目是一个典型的深度学习在计算机视觉领域的应用，具有广泛的应用范围。根据汽车前方摄像头捕捉的画面控制汽车方向盘转动的方向和角度是自动驾驶要解决的核心问题。除了无人驾驶的应用场景，您还能够将掌握的知识用于人脸识别，商品识别（无人超市），鉴黄，安全监控，OCR等许多领域。
【无人驾驶】方向盘自动转向之CNN
项目介绍自动驾驶里面最需要解决的问题: 给定车载摄像头捕捉的画面，判断如何转动方向， 预测方向盘的方向和角度。这一个项目旨在向您介绍如何使用深度神经网络解决回归（Regression）的问题。不同于分类识别（Classification/Recognition）等场景， 回归问题场景中，神经网络输出的值是一个连续的值。
技术应用场景此技术是一个典型的回顾问题, 可以用于所有基于图像的回顾问题， 例如: 自动驾驶之油门的大小控制、无人驾驶的轮船、无人机的驾驶、预测图像中一个人的年龄、预测图像中的物体的尺寸、预测图像中物体离摄像头的距离等。
【无人驾驶】目标检测之SSD
项目介绍通过汽车前方摄像头捕捉的画面，定位其中的物体（行人、车辆、自行车等等）是保证自动驾驶汽车安全行驶不可缺少的技术。目标检测包含图像的定位和分类识别，需要同时解决回归（Regression）和分类（Classification）的问题。
技术应用场景此项目用到的技术是目标检测，同时包含了分类识别和回归的多任务，是计算机视觉要解决的一个根本性问题: 图像包含了什么物体，它们的位置在哪儿，大小是什么。这项技术可以用于多个场景，例如: 无人超市，判断是否货架缺货了，缺什么货，哪一个货架；军事里面需要做战场图片中的敌我识别，给定敌方的物体的位置；工业探伤: 自动从图像里面发现残次品, 把残次品从正品里面分离等。
【无人驾驶】交通指示牌识别之二值化神经网络
项目介绍传统的深度神经网络的权值都是浮点数。 二值化神经网络使用二进制的值来表示网络的权值。二值化神经网络有两个优点:1.训练出的网络模型小(理论上小32倍) 2.容易使用硬件做高效实现, 使得预测速度快。我们将通过重复交通指示牌识别的项目，看出BNNs这个网络结构的优势。
技术应用场景此技术可以任何深度学习场景，目标是减少模型的大小和预测的计算速度。我们常常需要将深度学习用于手机和其它IOT设备，这些硬件的内存小，电量有限，计算能力有限。直接使用的话效果不现实，二值化神经网络提供了一个比较好的解决方案，它使得我们可以牺牲一点性能的前提下在计算受限情况下使用深度神经网络。
【无人驾驶】方向盘转向之效率网络
项目介绍效率网络的目标是在不牺牲深度神经网络性能的前提下尽量减少网络模型的大小和计算量。自动驾驶需要在极短的情况下做出精准的预测, 效率网络可以在不牺牲性能的情况下做到这一点。
技术应用场景之前的效率网络为我们提供了一个提供了一个减少模型的大小和预测的计算速度解决方案。 效率网络对模型的大小的减少没有二值化网络那么明显，但是效率网络能够保持普通深度网络的性能, 适合对网络输出结果的准确性要求非常高的应用场景。
【经典CV】人脸识别之孪生网络
项目介绍对于办公室刷脸打卡的场景，每天都可能有新的员工到来或者离职. 增加/删除员工等价于增加/删除类别，传统的深度学习需要重新训练网络，开销非常大。如果做到一次训练, 增加/删除员工无需重新训练网络模型呢个，孪生网络是一个解决方案。
技术应用场景此项目用到的技术是One-shot learning(一次性学习)。One-shot learning可以极大的降低由于重新训练所需的工作量。没有One-shot learning，每增加一个类别就需要重新训练, 极大的限制了深度学习的应用场景。
【经典CV】手写字符识别之胶囊网络
项目介绍收集数据是一个非常费时费力的工作，而传统的深度学习需要大量的数据. 胶囊网络的目标是使用少量数据就能进行深度学习。这一个项目我们将使用胶囊网络进行手写字符识。
技术应用场景此技术可以任何深度学习场景, 目标是减少对训练数据的需要, 节约收集数据的开销。
试学视频
Try It Out
课程大纲
Syllabus
1深度学习基础篇
实战案例
使用Tensorflow和PyTorch构建自己的神经网络
Python与Numpy摸底考试
核心知识点
逻辑回归与梯度下降法
凸函数与凸优化
BP算法的讲解
Tensorflow、Keras、PyTorch的使用教程
GPU配置，安装，训练模型及评估
Conv2D，Conv2DTranspos详解
Dropout, Batch Normalization详解
如何自定义网络层，损失函数
深度学习中的调参技术. 解决过拟合与欠拟合
激活函数详解：Sigmoid, Softmax, tanh, softplus, ReLU, hard_sigmoid, linear, exponential, LeakyReLU, PReLU, ELU.
优化器详解：GD，SGD，MiniBatch GD，Nesterov，RMSprop，Adagrad，Adadelta，Adam.
2多模态模型
实战案例
利用Pytorch搭建VGG16卷积神经网络
搭建基于注意力机制的LSTM网络
基于Bert的Image Captioning项目实战
核心知识点
什么是多模态学习？
VGG16以及基于Pytorch的实现
迁移学习详解
RNN以及BPTT，梯度消失问题
LSTM, GRU详解
注意力机制
SkipGram
Elmo, Bert, XLNet
Beam Search, Greedy Decoding
BLEU评价指标
搭建系统过程中用到的工程技巧
3物体识别
实战案例
各类卷积神经网络结构剖析以及实现
不同环境下交通指示牌的识别
定制自己的神经网络
核心知识点
CNN卷积层工作原理剖析
卷积核尺寸，卷积步长，边界填充，输出通道，输出特征图，视场计算
LeNet-5
AlexNet
ZFNet
GoogleNet/Inception
VGGNet
ResNet
Fully-Convolutional Network
DenseNet
图像增强技术
图像增加噪声与降噪
4目标检测技术
实战案例
利用SSD模型完成自动驾驶中的车辆，行人，交通灯的定位
人脸关键点定位
图像分割任务
核心知识点
R-CNN，Fast R-CNN, Faster RCNN
Region Proposal，Region Proposal Network
One-Stage物体检测网络模型
SSD模型
Anchor的内涵与工作原理
IoU (Intersection Over Union)
Hard Negative Mining
Non-Max Suppression
OpenCV Haar小波滤波器
OpenCV Adaboost
图像分割 Dense Prediction
Unet，Up-Conv
Transpose Convolution/Deconvolution
5自动驾驶
实战案例
自动驾驶方向盘转向预测
自动驾驶中行车道的检测
核心知识点
自动驾驶技术介绍
如何使用多个摄像头
DataGenerator技术
图像的空间域
频率域滤波
图像色彩变换
边缘检测
Hough Transform用于检测图像中的几何形状物体
6图像生成
实战案例
Python编写GAN生成手写数字图像
图像风格迁移：将自拍照转换为毕加索油画
核心知识点
GAN 生成对抗网络
Generator，Discriminator网络结构
GAN的优化以及实现
GAN与其他生成模型的比较
图像风格化迁移的实现
Gram Matrix图像风格表达
7低能耗神经网络
实战案例
二值化神经网络识别交通指示牌
低能耗网络完成自动驾驶方向盘转向预测
核心知识点
如何降低神经网络的耗能
Binarized Neural Network
MobileNet
ShuffleNet
EffNet
神经网络的节能原理
Depth-wise Separable Convolution
Spatial Separable Convolution
Grouped Convolution
Channel Shuffle
8新颖网络结果
实战案例
双子网络完成人脸识别项目
使用胶囊网络进行手写数字的识别和重建
核心知识点
One-Shot Learning
Siamese Network 双子网络
人脸识别关键技术
CapsuleNet 胶囊网络
胶囊替代神经元旦原理
9Capstone 开放式项目(Optional)
往期学员项目展示
利用图像识别对英雄联盟游戏中的英雄走位进行定位，从而分析战队战术
通过图像技术对二手车市场的车辆进行伤损评定
探索财务系统与OCR技术的结合
利用图像识别技术自动批改数学卷子
项目展示
什么是Capstone项目？
项目介绍
开放式项目又称为课程的capstone项目。作为 课程中的很重要的一部分，可以选择work on 一个具有挑战性的项目。通过此项目，可以深 入去理解某一个特定领域，快速成为这个领域 内的专家，并且让项目成果成为简历中的一个 亮点。
项目流程
Step 1: 组队
Step 2: 立项以及提交proposal
Step 3: Short Survey Paper
Step 4: 中期项目Review Step
5: 最终项目PPT以及代码提交
Step 6: 最终presentation
Step 7: Technical Report/博客
结果输出
完整PPT、代码和Conference-Style Technical Report 最为项目的最后阶段，我们 将组织学员的presentation分享大会。借此我 们会邀请一些同行业的专家、从业者、企业招 聘方、优质猎头资源等共同参与分享大会。
课程大纲
Syllabus
1深度学习基础篇
实战案例
使用Tensorflow和PyTorch构建自己的神经网络
Python与Numpy摸底考试
核心知识点
逻辑回归与梯度下降法
凸函数与凸优化
BP算法的讲解
Tensorflow、Keras、PyTorch的使用教程
GPU配置，安装，训练模型及评估
Conv2D，Conv2DTranspos详解
Dropout, Batch Normalization详解
如何自定义网络层，损失函数
深度学习中的调参技术. 解决过拟合与欠拟合
激活函数详解：Sigmoid, Softmax, tanh, softplus, ReLU, hard_sigmoid, linear, exponential, LeakyReLU, PReLU, ELU.
优化器详解：GD，SGD，MiniBatch GD，Nesterov，RMSprop，Adagrad，Adadelta，Adam.
2多模态模型
实战案例
利用Pytorch搭建VGG16卷积神经网络
搭建基于注意力机制的LSTM网络
基于Bert的Image Captioning项目实战
核心知识点
什么是多模态学习？
VGG16以及基于Pytorch的实现
迁移学习详解
RNN以及BPTT，梯度消失问题
LSTM, GRU详解
注意力机制
SkipGram
Elmo, Bert, XLNet
Beam Search, Greedy Decoding
BLEU评价指标
搭建系统过程中用到的工程技巧
3物体识别
实战案例
各类卷积神经网络结构剖析以及实现
不同环境下交通指示牌的识别
定制自己的神经网络
核心知识点
CNN卷积层工作原理剖析
卷积核尺寸，卷积步长，边界填充，输出通道，输出特征图，视场计算
LeNet-5
AlexNet
ZFNet
GoogleNet/Inception
VGGNet
ResNet
Fully-Convolutional Network
DenseNet
图像增强技术
图像增加噪声与降噪
4目标检测技术
实战案例
利用SSD模型完成自动驾驶中的车辆，行人，交通灯的定位
人脸关键点定位
图像分割任务
核心知识点
R-CNN，Fast R-CNN, Faster RCNN
Region Proposal，Region Proposal Network
One-Stage物体检测网络模型
SSD模型
Anchor的内涵与工作原理
IoU (Intersection Over Union)
Hard Negative Mining
Non-Max Suppression
OpenCV Haar小波滤波器
OpenCV Adaboost
图像分割 Dense Prediction
Unet，Up-Conv
Transpose Convolution/Deconvolution
5自动驾驶
实战案例
自动驾驶方向盘转向预测
自动驾驶中行车道的检测
核心知识点
自动驾驶技术介绍
如何使用多个摄像头
DataGenerator技术
图像的空间域
频率域滤波
图像色彩变换
边缘检测
Hough Transform用于检测图像中的几何形状物体
6图像生成
实战案例
Python编写GAN生成手写数字图像
图像风格迁移：将自拍照转换为毕加索油画
核心知识点
GAN 生成对抗网络
Generator，Discriminator网络结构
GAN的优化以及实现
GAN与其他生成模型的比较
图像风格化迁移的实现
Gram Matrix图像风格表达
7低能耗神经网络
实战案例
二值化神经网络识别交通指示牌
低能耗网络完成自动驾驶方向盘转向预测
核心知识点
如何降低神经网络的耗能
Binarized Neural Network
MobileNet
ShuffleNet
EffNet
神经网络的节能原理
Depth-wise Separable Convolution
Spatial Separable Convolution
Grouped Convolution
Channel Shuffle
8新颖网络结果
实战案例
双子网络完成人脸识别项目
使用胶囊网络进行手写数字的识别和重建
核心知识点
One-Shot Learning
Siamese Network 双子网络
人脸识别关键技术
CapsuleNet 胶囊网络
胶囊替代神经元旦原理
9Capstone 开放式项目(Optional)
往期项目展示
利用图像识别对英雄联盟游戏中的英雄走位进行定位，从而分析战队战术
通过图像技术对二手车市场的车辆进行伤损评定
探索财务系统与OCR技术的结合
利用图像识别技术自动批改数学卷子
项目展示
什么是Capstone项目？
项目介绍
开放式项目又称为课程的capstone项目。作为 课程中的很重要的一部分，可以选择work on 一个具有挑战性的项目。通过此项目，可以深 入去理解某一个特定领域，快速成为这个领域 内的专家，并且让项目成果成为简历中的一个 亮点。
项目流程
Step 1: 组队
Step 2: 立项以及提交proposal
Step 3: Short Survey Paper
Step 4: 中期项目Review Step
5: 最终项目PPT以及代码提交
Step 6: 最终presentation
Step 7: Technical Report/博客
结果输出
完整PPT、代码和Conference-Style Technical Report 最为项目的最后阶段，我们 将组织学员的presentation分享大会。借此我 们会邀请一些同行业的专家、从业者、企业招 聘方、优质猎头资源等共同参与分享大会。
Capstone项目选题方向有哪些？
学员可以选择自己感兴趣的项目来做，可以是
自己在公司中遇到的问题，也可以纯粹中自己
的兴趣出发，也可以是偏学术性的。主要分成
四个方向：应用型、工具型、论文复现性/总
结型的、研究性质的。
推荐相关课程
Related AI Courses
如果NLP训练营无法满足你的需求，来看看其他相关课程吧，总有一款适合你
常见问题
FAQS
问参加本次课程有什么要求吗？
答本次课程适合具备一定编程基础的开发人员，以及对自然语言处理和人工智能有兴趣的践行者。
问学员会有实际实操的机会？
答这是本课程设计的核心，课程设计以理论+实践的方式，带你实战典型的行业应用。
问本课程怎么答疑？
答本课程会配有专门助教团队，对于学员的问题，及时提供在线答疑。