深度学习和神经网络导论

好的，以下是更新后的学习笔记：

• 深度学习是机器学习的一个子领域，涉及受大脑结构和功能启发而来的算法，这些算法被称为人工神经网络。
• 深度学习模型可以自动发现检测所需的复杂特征，而无需手动进行特征工程。
• 深度学习模型在计算机视觉、语音识别和自然语言处理等领域取得了显著成果。
• 深度学习依赖于大量数据来有效训练其模型。

神经网络

• 神经网络由相互连接的节点或神经元组成，这些节点或神经元按层组织。
• 神经元之间的连接具有在训练期间调整的权重。
• 神经元将激活函数应用于其输入的加权总和以产生输出。
• 常见的激活函数包括 ReLU、sigmoid 和 tanh。
• 神经网络通过使用随机梯度下降等优化算法调整神经元之间连接的权重来进行学习。
• 前馈神经网络是一种基本类型，其中信息在一个方向上流动，从输入层到输出层。
• 循环神经网络 (RNN) 旨在通过结合反馈连接来处理顺序数据，从而允许信息随时间持续存在。
• 卷积神经网络 (CNN) 专门用于处理栅格状数据（例如图像），使用卷积层来提取空间特征。

自然语言处理 (NLP)

• NLP 是一个专注于使计算机能够理解、解释和生成人类语言的领域。
• NLP 任务包括文本分类、情感分析、机器翻译和问答。
• NLP 中的常见技术包括标记化、词干提取和词性标注，以预处理文本数据。
• 词嵌入（如 Word2Vec 和 GloVe）将词表示为密集向量，捕捉词之间的语义关系。
• 序列到序列模型（通常基于 RNN 或 Transformer）用于机器翻译和文本摘要等任务。

Transformer

• Transformer 架构是一种完全依赖于注意力机制的神经网络模型。
• 与 RNN 不同，Transformer 可以并行处理输入序列，而 RNN 则是顺序处理。
• 注意力机制允许模型在处理输入序列时权衡输入序列不同部分的重要性。
• 由于能够捕捉远程依赖关系和平行性，Transformer 在各种 NLP 任务中都取得了最先进的结果。
• 自注意力机制允许模型关联单个输入序列的不同位置，以便计算序列的表示。
• 编码器由多层自注意力和前馈神经网络组成，处理输入序列并创建上下文嵌入。
• 解码器还包含自注意力和前馈层，并根据编码器的输出一次生成一个令牌的输出序列。

强化学习 (RL)

• 强化学习 (RL) 是一种机器学习类型，其中智能体学习在环境中做出决策以最大化奖励信号。
• 智能体与环境交互，采取行动并获得奖励或惩罚。
• 智能体的目标是学习一种将状态映射到行动的最优策略，从而最大化随时间的累积奖励。
• RL 中的关键概念包括状态、行动、奖励、策略和价值函数。
• Q-learning 和 SARSA 是用于在 RL 环境中学习最优策略的常用算法。
• 深度强化学习将 RL 与深度神经网络相结合，以处理复杂的高维状态空间。

专家混合 (MoE)

• MoE 是一种机器学习技术，它将多个单独的模型（专家）组合起来以提高整体性能。
• 门控网络选择要用于给定输入的专家，从而使模型可以专门处理输入空间的不同区域。
• 门控网络通常使用 softmax 函数为每个专家分配权重，从而确定他们对最终输出的贡献。
• 与单个的整体模型相比，MoE 模型可以实现更高的准确性和效率，尤其是在具有不同数据分布的任务中。
• 每个专家都可以学习数据中的特定模式或关系，而门控网络可以协调他们的贡献以获得最佳性能。
• MoE 模型通常用于大规模机器学习应用，例如语言建模和推荐系统。