机器学习性能评估方法 (PDF)

1. 机器学习需要对学习器的泛化性能、时间开销、存储开销、可解释性等方 面的因素进行评估。评估方法为：留出法（直接将数据集划分为两个互斥 集合，比例 2：1-4：1）；交叉验证法（分为 k 个大小相似的互斥子集，每 次用 k-1 个子集的并集作为训练集，余下的子集作为测试集）和自助法（对 数据集有...

1. 机器学习需要对学习器的泛化性能、时间开销、存储开销、可解释性等方 面的因素进行评估。评估方法为：留出法（直接将数据集划分为两个互斥 集合，比例 2：1-4：1）；交叉验证法（分为 k 个大小相似的互斥子集，每 次用 k-1 个子集的并集作为训练集，余下的子集作为测试集）和自助法（对 数据集有放回采样得到训练集，其余为测试集） 2. 性能度量是衡量模型泛化能力的评价标准。 对于分类任务,错误率和精度是最常用的两种性能度量：错误率（分错样本 占样本总数的比例）；精度（分对样本占样本总数的比例） 3. 性能度量的 3 条曲线 查准率-查全率曲线，简称“P-R 曲线”（平衡点是曲线上“查准率=查全率“时 的取值） 受试者工作特征，ROC 曲线（以“假正例率”为横轴，“真正例率”为纵轴； 根据 ROC 曲线下面积大小进行比较，也即 AUC 值） 代价曲线，因权衡不同类型错误所造成的不同损失，可为错误赋予“非均等 代价”，此时将 ROC 曲线上的每个点转化为代价平面上的一条线段。 4. 机器学习性能评估中直接选取相应评估方法在相应度量下比大小的方法不 可取，因为测试性能并不等于泛化性能；测试性能随着测试集的变化而变 化；很多机器学习算法本身有一定的随机性 5. 机器学习性能评估常见方法：二项检验、T 检验、交叉验证 T 检验、 McNemar 检验、Friedman 检验、Nemenyi 后续检验 6. 机器学习中泛化误差可分解为偏差、方差与噪声之和。 偏差度量了学习算法期望预测与真实结果的偏离程度；即刻画了学习算法 本身的拟合能力； 方差度量了同样大小训练集的变动所导致的学习性能的变化；即刻画了数 据扰动所造成的影响； 噪声表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界； 即刻画了学习问题本身的难度。 7. 一般来说，偏差与方差是有冲突的，称为偏差-方差窘境。 8. 线性模型 表达式： 优点：形式简单、易于建模；可解释性强；非线性模型基础 任务主要分为： 回归任务：线性回归 分类任务： 二分类任务：对数几率回归、线性判别分析 多分类任务：1 对 1，1 对多和多对多（纠错输出码） 9. 回归任务（线性回归） 目的：学得一个线性模型以尽可能准确地预测实值输出标记 离散属性处理：”有序”属性连续化为连续值，“无序”属性转为 K 维变量 优化方法：最小二乘法（最小化平方损失） 10. 分类任务 目的：寻找函数将分类标记与线性回归模型输出联系起来。 联系函数： 最理想：单位阶跃函数（不可导，不连续） 替代：对数几率函数（logistic function），单调可微、任意阶可导