deeplearning.ai deeplearning.ai

改善深层神经网络:超参数调试、正则化以及优化

所属微专业:

图片
课程概述

这是深度学习工程师微专业中的第二门课。


学完这门课之后,你将会:


- 理解业界构建深度神经网络应用最有效的做法。

- 能够高效地使用神经网络通用的技巧,包括初始化、L2和dropout正则化、Batch归一化、梯度检验。

- 能够实现并应用各种优化算法,例如mini-batch、Momentum、RMSprop和Adam,并检查它们的收敛程度。

- 理解深度学习时代关于如何构建训练/开发/测试集以及偏差/方差分析最新最有效的方法。

- 能够用TensorFlow实现一个神经网络。


这门课将会详尽地介绍深度学习的基本原理,而不仅仅只进行理论概述。


当你完成这门微专业之后,你就能够将深度学习运用到你的个人应用中,调教出属于你自己的AI。



如果你正在找与人工智能有关的工作,那么,在学习完这门课后,应对面试官提问的基础面试问题就绰绰有余了。


制作方:deeplearning.ai

原载于:Coursera


证书要求

预备知识

需要有基本的数学、编程和机器学习基础。

授课大纲

第一周  深度学习的实用层面


1.1  训练/开发/测试集

1.2  偏差/方差

1.3  机器学习基础

1.4  正则化

1.5  为什么正则化可以减少过拟合?

1.6  Dropout 正则化

1.7  理解 Dropout

1.8  其他正则化方法

1.9  正则化输入

1.10  梯度消失与梯度爆炸

1.11  神经网络的权重初始化

1.12  梯度的数值逼近

1.13  梯度检验

1.14  关于梯度检验实现的注记



第二周  优化算法


2.1  Mini-batch 梯度下降法

2.2  理解 mini-batch 梯度下降法

2.3  指数加权平均

2.4  理解指数加权平均

2.5  指数加权平均的偏差修正

2.6  动量梯度下降法

2.7  RMSprop

2.8  Adam 优化算法

2.9  学习率衰减

2.10  局部最优的问题



第三周  超参数调试、Batch正则化和程序框架


3.1  调试处理

3.2  为超参数选择合适的范围

3.3  超参数训练的实践:Pandas VS Caviar

3.4  正则化网络的激活函数

3.5  将 Batch Norm 拟合进神经网络

3.6  Batch Norm 为什么奏效?

3.7  测试时的 Batch Norm

3.8  Softmax 回归

3.9  训练一个 Softmax 分类器

3.10  深度学习框架

3.11  TensorFlow



大师访谈

 

我在本微专业中采访了多位人工智能领域大师,希望你可以从他们的睿智回答中了解 AI 领域的专业建议。


Yoshua Bengio



加拿大蒙特利尔大学教授,蒙特利尔大学机器学习研究所(MILA)的负责人,神经网络三巨头之一,人工智能孵化器 Element AI 联合创始人之一,2017年成为微软人工智能研究顾问。



林元庆



现任百度深度学习实验室(IDL)主任,曾任 NEC 美国实验室媒体分析部门主管。在他的带领下 NEC 研究团队在深度学习、计算机视觉和无人驾驶等领域取得世界领先水平。




参考资料

【致谢】

本课程中英文目录与字幕由深虫小组的沈敏琰、杨枭、蒋慧桢、李寒宁、陈璟仪、李轩,HTLL 翻译组,及 Eureka 字幕组的 Trazom、Ziling Zhang、范家璇、Terrence、heyhey 贡献,是他们的贡献使得本课程字幕能够又快又准确地呈现在大家面前。另外,我们还感谢其他对本门课程作出贡献的所有 deeplearning.ai 及网易云课堂相关工作人员。