deeplearning.ai deeplearning.ai

序列模型

所属微专业:

图片
课程概述

这是深度学习工程师微专业的第五门课。


通过这门课的学习,你将会:

-      理解如何构建并训练循环神经网络(RNN),以及一些广泛应用的变体,例如GRU和LSTM

-      能够将序列模型应用到自然语言问题中,包括文字合成。

-      能够将序列模型应用到音频应用,包括语音识别和音乐合成。


制作方:deeplearning.ai

原载于:Coursera


证书要求

预备知识

需要有基本的数学、编程和机器学习基础。

授课大纲

第一周  循环序列模型


本周的知识点是循环神经网络。这种类型的模型已经被证明在时间数据上表现非常好,它有几个变体,包括 LSTM、GRU 和双向神经网络,本周的课程中也都包括这些内容。


1.1  为什么选择序列模型

1.2  数学符号

1.3  循环神经网络模型

1.4  通过时间的反向传播

1.5  不同类型的循环神经网络

1.6  语言模型和序列生成

1.7  对新序列采样

1.8  带有神经网络的梯度消失

1.9  GRU 单元

1.10  长短期记忆(LSTM)

1.11  双向神经网络

1.12  深层循环神经网络



第二周  自然语言处理与词嵌入


自然语言处理与深度学习是特别重要的组合。使用词向量表示和嵌入层,可以训练在各种行业中表现出色的循环神经网络。应用程序示例包括情绪分析、物体识别和机器翻译。


2.1  词汇表征

2.2  使用词嵌入

2.3  词嵌入的特性

2.4  嵌入矩阵

2.5  学习词嵌入

2.6  Word2Vec

2.7  负采样

2.8  GloVe 词向量

2.9  情绪分类

2.10  词嵌入除偏



第三周  序列模型和注意力机制


注意力机制可以增强序列模型。这个算法将帮助你的模型理解,在给出一系列的输入时,它应该把注意力放在什么地方。本周,你还将学习语音识别以及如何处理音频数据。


3.1  基础模型

3.2  选择最可能的句子

3.3  定向搜索

3.4  改进定向搜索

3.5  定向搜索的误差分析

3.6  Bleu 得分(选修)

3.7  注意力模型直观理解

3.8  注意力模型

3.9  语音辨识

3.10  触发字检测

3.11  结论和致谢