这是深度学习工程师微专业中的第二门课。
学完这门课之后,你将会:
- 理解业界构建深度神经网络应用最有效的做法。
- 能够高效地使用神经网络通用的技巧,包括初始化、L2和dropout正则化、Batch归一化、梯度检验。
- 能够实现并应用各种优化算法,例如mini-batch、Momentum、RMSprop和Adam,并检查它们的收敛程度。
- 理解深度学习时代关于如何构建训练/开发/测试集以及偏差/方差分析最新最有效的方法。
- 能够用TensorFlow实现一个神经网络。
这门课将会详尽地介绍深度学习的基本原理,而不仅仅只进行理论概述。
当你完成这门微专业之后,你就能够将深度学习运用到你的个人应用中,调教出属于你自己的AI。
如果你正在找与人工智能有关的工作,那么,在学习完这门课后,应对面试官提问的基础面试问题就绰绰有余了。
制作方:deeplearning.ai
原载于:Coursera
无
需要有基本的数学、编程和机器学习基础。
第一周 深度学习的实用层面
1.1 训练/开发/测试集
1.2 偏差/方差
1.3 机器学习基础
1.4 正则化
1.5 为什么正则化可以减少过拟合?
1.6 Dropout 正则化
1.7 理解 Dropout
1.8 其他正则化方法
1.9 正则化输入
1.10 梯度消失与梯度爆炸
1.11 神经网络的权重初始化
1.12 梯度的数值逼近
1.13 梯度检验
1.14 关于梯度检验实现的注记
第二周 优化算法
2.1 Mini-batch 梯度下降法
2.2 理解 mini-batch 梯度下降法
2.3 指数加权平均
2.4 理解指数加权平均
2.5 指数加权平均的偏差修正
2.6 动量梯度下降法
2.7 RMSprop
2.8 Adam 优化算法
2.9 学习率衰减
2.10 局部最优的问题
第三周 超参数调试、Batch正则化和程序框架
3.1 调试处理
3.2 为超参数选择合适的范围
3.3 超参数训练的实践:Pandas VS Caviar
3.4 正则化网络的激活函数
3.5 将 Batch Norm 拟合进神经网络
3.6 Batch Norm 为什么奏效?
3.7 测试时的 Batch Norm
3.8 Softmax 回归
3.9 训练一个 Softmax 分类器
3.10 深度学习框架
3.11 TensorFlow
大师访谈
我在本微专业中采访了多位人工智能领域大师,希望你可以从他们的睿智回答中了解 AI 领域的专业建议。
Yoshua Bengio
加拿大蒙特利尔大学教授,蒙特利尔大学机器学习研究所(MILA)的负责人,神经网络三巨头之一,人工智能孵化器 Element AI 联合创始人之一,2017年成为微软人工智能研究顾问。
林元庆
现任百度深度学习实验室(IDL)主任,曾任 NEC 美国实验室媒体分析部门主管。在他的带领下 NEC 研究团队在深度学习、计算机视觉和无人驾驶等领域取得世界领先水平。
【致谢】
本课程中英文目录与字幕由深虫小组的沈敏琰、杨枭、蒋慧桢、李寒宁、陈璟仪、李轩,HTLL 翻译组,及 Eureka 字幕组的 Trazom、Ziling Zhang、范家璇、Terrence、heyhey 贡献,是他们的贡献使得本课程字幕能够又快又准确地呈现在大家面前。另外,我们还感谢其他对本门课程作出贡献的所有 deeplearning.ai 及网易云课堂相关工作人员。