机器学习复习
55 Questions
0 Views

Choose a study mode

Play Quiz
Study Flashcards
Spaced Repetition
Chat to lesson

Podcast

Play an AI-generated podcast conversation about this lesson

Questions and Answers

机器学习的目标是什么？

  • 减少训练样本的数量
  • 最大化训练误差
  • 使模型能适用于新样本 (correct)
  • 提高模型对训练数据的适应性

    • 哪种学习方法属于无监督学习？

  • 聚类 (correct)
  • 分类
  • 回归
  • 半监督学习

    • 以下哪项用于评估模型的泛化能力？

  • 损失函数
  • 训练误差
  • 留出法 (correct)
  • 测试误差

    • 以下哪一项是导致过拟合的原因？

    <p>模型复杂度过高</p> Signup and view all the answers

    在偏差-方差理论中，偏差指的是什么？

    <p>学习算法期望预测和真实结果的偏差</p> Signup and view all the answers

    怎样称呼对样本集进行随机采样后得到的训练集与测试集的划分方法？

    <p>自助法</p> Signup and view all the answers

    以下哪个概念与支持向量机有关？

    <p>决策边界</p> Signup and view all the answers

    K近邻算法的主要特点是什么？

    <p>在训练阶段没有显式的模型构建</p> Signup and view all the answers

    以下哪项是机器学习错误率的定义？

    <p>分类错误样本占总样本的比例</p> Signup and view all the answers

    在进行类别不平衡处理时，欠采样的主要目的是什么？

    <p>减少负例的样本数</p> Signup and view all the answers

    在机器学习中，模型评估的交叉验证法的过程是怎样的？

    <p>将数据分为k个部分，每次划分一部分作为测试集</p> Signup and view all the answers

    类别不平衡问题中，“过采样”主要是指什么？

    <p>增加正例样本</p> Signup and view all the answers

    支持向量机中用于寻找决策边界的算法是？

    <p>广义瑞利商</p> Signup and view all the answers

    支持向量回归（SVR）模型中，落入间隔带的样本是如何处理的？

    <p>不计算损失</p> Signup and view all the answers

    以下哪一项是条件概率的定义？

    <p>事件A在事件B发生后仍依赖于B的概率</p> Signup and view all the answers

    在强化学习中，智能体的奖励来自于哪个过程？

    <p>动作执行后环境的反应</p> Signup and view all the answers

    深度学习的三大核心问题不包括以下哪一项？

    <p>performance</p> Signup and view all the answers

    在多臂老虎机问题中，e-贪婪算法的特点是什么？

    <p>随机选择动作的概率随时间减少</p> Signup and view all the answers

    香农信息量的单位是什么？

    <p>比特</p> Signup and view all the answers

    以下哪个算法并不属于多臂老虎机算法这一范畴？

    <p>随机森林算法</p> Signup and view all the answers

    哪个描述最符合对深度学习的定义？

    <p>利用神经网络从数据中学习模式</p> Signup and view all the answers

    在马尔可夫决策过程中，价值函数的作用是什么？

    <p>评价当前状态的奖励期望</p> Signup and view all the answers

    以下哪项不是特征空间的直接描述？

    <p>样本的线性叠加</p> Signup and view all the answers

    相对熵是用来衡量什么的？

    <p>两个随机分布的差距</p> Signup and view all the answers

    在深度学习中，输入层和输出层之间的隐藏层添加了什么？

    <p>非线性激活函数</p> Signup and view all the answers

    以下哪些选项表示强化学习中的状态转移概率？

    <p>下一状态只依赖于当前状态</p> Signup and view all the answers

    深度强化学习的主要特征是什么？

    <p>利用深度神经网络进行价值函数和策略近似</p> Signup and view all the answers

    马尔可夫决策过程的五元组中，不包括以下哪个因素？

    <p>特征集合 F</p> Signup and view all the answers

    在动态规划中，策略评估的目标是？

    <p>输出每个状态的价值函数</p> Signup and view all the answers

    以下哪个方法属于无模型强化学习？

    <p>Q-learning</p> Signup and view all the answers

    在历史数据的基础上更新价值函数的方法是？

    <p>经验回放</p> Signup and view all the answers

    对于时序差分学习，以下哪个陈述是正确的？

    <p>可以从不完整的轨迹中学习</p> Signup and view all the answers

    下面哪种策略评估的方法强调在每个步骤进行更新？

    <p>时序差分</p> Signup and view all the answers

    强化学习的主要目标是什么？

    <p>最大化期望奖励</p> Signup and view all the answers

    基于策略的方法有哪些优缺点？

    <p>收敛性好，但学习效率低</p> Signup and view all the answers

    关于ε-贪心和玻尔兹曼探索方法，下面哪个是合适的？

    <p>都是解决探索-利用窘境的方法</p> Signup and view all the answers

    在深度Q网络(DQN)中，如何增加算法的稳定性？

    <p>使用经验回放和双结构网络</p> Signup and view all the answers

    在强化学习中，以下哪个算法是基于价值的方法？

    <p>Q-learning</p> Signup and view all the answers

    行为克隆算法的一个缺点是什么？

    <p>泛化能力差</p> Signup and view all the answers

    以下哪种方法属于基于策略的学习方法？

    <p>Sarsa算法</p> Signup and view all the answers

    逆强化学习算法的主要目标是什么？

    <p>从专家演示中学习奖励函数</p> Signup and view all the answers

    关于马尔可夫奖励过程和马尔可夫决策过程的区别，哪项描述是正确的？

    <p>马尔可夫决策过程由转移概率决定</p> Signup and view all the answers

    主成分分析（PCA）的主要目的是什么？

    <p>降维和去噪</p> Signup and view all the answers

    以下哪个算法不是原型聚类方法的代表？

    <p>DBSCAN</p> Signup and view all the answers

    在聚类任务中，

    <p>簇内相似度和簇间相似度</p> Signup and view all the answers

    AdaBoost算法的主要特征是什么？

    <p>串行生成学习器并调整训练数据</p> Signup and view all the answers

    在决策树中，节点划分的目的是什么？

    <p>提高节点的纯度</p> Signup and view all the answers

    半朴素贝叶斯分类器出现在什么假设下？

    <p>仅依赖于一个其他属性</p> Signup and view all the answers

    支持向量机的解稀疏性意味着什么？

    <p>仅与支持向量有关</p> Signup and view all the answers

    密度聚类的基础假设是什么？

    <p>样本密度可以决定样本连接性</p> Signup and view all the answers

    集成学习的主要目的是什么？

    <p>结合多个学习器以完成学习任务</p> Signup and view all the answers

    决策树的剪枝方法主要用于解决什么问题？

    <p>过拟合</p> Signup and view all the answers

    在流形学习中，样本的局部特性是什么？

    <p>符合欧氏空间的性质</p> Signup and view all the answers

    在EM算法中，主要目标是什么？

    <p>最大化已观测数据的边际似然</p> Signup and view all the answers

    在聚类中，常用的相似距离指标不包括哪一个？

    <p>余弦距离</p> Signup and view all the answers

    Study Notes

    机器学习复习

    • 机器学习旨在利用计算手段，通过经验改进系统性能，从数据中产生模型，用于新情况的判断。
    • 学习目标不同，机器学习可分为：分类（离散值，包括二分类和多分类）、回归（连续值）和聚类（无标记信息）。
    • 监督学习：分类、回归；无监督学习：聚类；半监督学习：两者结合。
    • 机器学习目标：使模型适用于“新样本”，模型适应新样本的能力为泛化能力。
    • 机器学习通常假设样本空间中的样本服从“独立同分布”（i.i.d）。
    • 算法归纳偏好遵循“奥卡姆剃刀”原则：在多个假设都符合观察结果时，选择最简单的那个。
    • “没有免费的午餐定理”：一个算法在某些问题上优于另一个算法，则必然存在其他问题上另一个算法优于该算法；当所有场景出现的概率相同时，总误差与学习算法无关。
    • 机器学习发展历程：推理期、知识期（专家系统）、学习期（符号主义、连接主义、统计学习）。
    • 错误率：错分样本占总样本比例；误差：样本真实输出与预测输出间的差异，分为：训练误差（训练集）、测试误差（测试集）、泛化误差（除训练集外的所有样本）。
    • 过拟合：学习器将训练样本学习得太好，将训练样本本身的特点当作所有样本的普遍性质，导致泛化性能下降；欠拟合：对训练样本的普遍性质尚未学好。
    • 机器学习评估：泛化性能、时间开销、存储开销、可解释性等。评估方法：留出法、交叉验证法、自助法。
    • 性能度量：衡量模型泛化能力的评价标准，如错误率、精度。
    • 分类结果混淆矩阵：用于评估分类模型性能，包括真正例(TP)、假正例(FP)、真反例(TN)、假反例(FN)。

    分类任务

    • 查准率：P = TP / (TP + FP)
    • 查全率：R = TP / (TP + FN)
    • F1 度量：F1 = 2 * P * R / (P + R)
    • 性能度量的三条曲线：P-R曲线、ROC曲线、代价曲线

    线性模型

    • 表达式：f(x) = w^Tx + b
    • 优点：形式简单、易于建模、可解释性强。
    • 回归任务：线性回归。
    • 分类任务：二分类任务（对数几率回归、线性判别分析）；多分类任务（1对1、1对多和多对多）。

    回归任务(线性回归)

    • 目标：学得一个线性模型以尽可能准确地预测实值输出标记。
    • 属性处理：有序属性连续化，无序属性转换为K维变量。
    • 优化方法：最小二乘法(最小化平方损失)。

    分类任务

    • 目标:建立函数将分类标记与线性回归模型输出联系起来。
    • 联系函数：理想的单位阶跃函数（不可导、不连续），替代的对数几率函数。
    • 对数几率回归 (Logistic Function)，具有单调可微、任意阶可导等优点。
      • 本质：使用对数几率联系分类标记和模型输出。
      • 优点：无需假设数据分布、可获取类别的近似概率预测、可直接应用已有数值优化算法寻找最优解。
      • 求解方法：极大似然法、梯度下降法/牛顿法。

    线性判别分析(LDA)

    • 目标：使同类样例的投影点尽可能接近，异类样例的投影点尽可能远离。
    • 方法：广义瑞利商。
    • 优化方法：奇异值分解。
    • 可被视为一种监督降维技术。

    类别不平衡

    • 欠采样：去除一些反例。
    • 过采样：增加一些正例。
    • 阈值移动。

    K近邻(KNN)

    • 方法：找到训练集中距离最近的k个样本，分类使用投票法，回归用平均法。
    • 特点：无显式训练过程，属于“懒惰学习”。

    降维方法

    • 主成分分析(PCA) :最近重构性和最大可分性。

    聚类任务

    • 目标：将数据集样本划分为不相交的子集（簇）。
    • 性能度量：簇内相似度高，簇间相似度低。
    • 外部指标：Jaccard 系数、FM 指数、Rand 指数
    • 内部指标：DB指数、Dunn 指数。
    • 距离度量：欧氏距离、曼哈顿距离、VDM、MinkovDM、加权距离等。

    原型聚类

    • 基础假设：聚类结构能通过一组原型刻画。
    • 方法：k均值算法、学习向量量化算法、高斯混合聚类算法。

    集成学习

    • 方法：构建并结合多个学习器完成学习任务。
    • 特点：个体学习器存在强依赖性/不依赖性；串行/并行方式生成；通过调整训练数据进行学习。
    • 结合策略：数值型输出：简单平均/加权平均；分类输出：绝对多数投票/相对多数投票/加权投票。

    决策树

    • 目标：产生泛化能力强的决策树。
    • 节点划分方法：信息增益、增益率、基尼指数。
    • 连续值处理：二分法。
    • 过拟合解决方法：预剪枝、后剪枝。

    贝叶斯决策论

    • 基于已知相关概率和误判损失，选择最优类别标记。
    • 目标：最小化总体风险。
    • 生成模型：计算后验概率 P(c|x)。

    朴素贝叶斯分类器

    • 属性条件独立性假设，计算效率高。
    • 应用场景：速度要求高、数据更替频繁、数据不断增加。

    半朴素贝叶斯分类器

    • 属性在类别之外最多仅依赖一个其他属性。

    贝叶斯网络

    • 用有向无环图表示属性依赖关系。
    • 使用条件概率表描述联合概率分布。
    • 评估方法:最小描述长度
    • 近似推断方法：吉布斯采样

    支持向量机(SVM)

    • 核函数：将数据映射到更高维的特征空间，计算内积。
      • 线性核
      • 多项式核
      • 高斯核
      • 拉普拉斯核
      • Sigmoid 核
    • 软间隔：允许一些样本不满足约束条件。
    • 支持向量回归（SVR）:允许预测值和实际值之间存在偏差，落在间隔带内的样本不计算损失。

    神经网络

    • 前馈神经网络：前向传播、反向传播。
    • 卷积神经网络(CNN):局部连接、权值共享、下采样特征。
    • 激活函数：sigmoid、tanh、ReLU、PReLU。
    • 正则化：dropout,模型参数范数惩罚
    • 模型优化：梯度下降算法(批量梯度下降、随机梯度下降、批量随机梯度下降)、优化函数

    循环神经网络(RNN)

    • 长短时记忆网络(LSTM) :解决长期依赖问题
    • 门限循环单元(GRU)

    Transformer

    • encoder-decoder 模型
    • 注意力机制
    • Token化
    • Embedding
    • 多头自注意力(MHSA)
    • 多层感知机(MLP)

    强化学习

    • 智能体、环境、状态、动作、奖励。
    • 策略、价值函数。
    • 模型、策略学习。
    • 探索-利用困境
    • 基于价值方法(Q-learning, DQN)
    • 基于策略方法(策略梯度)
    • 深度强化学习
    • 多臂老虎机

    Studying That Suits You

    Use AI to generate personalized quizzes and flashcards to suit your learning preferences.

    Quiz Team

    Related Documents

    机器学习复习_1122 PDF

    Description

    本测验涵盖机器学习的基础知识，包括分类、回归和聚类等学习目标。它探讨监督学习、无监督学习的特点，并介绍相关的理论和误差概念。通过这个测验，您将能够加深对机器学习原理的理解。

    More Like This

    Use Quizgecko on...
    Browser
    Open
    Browser
    Browser