机器学习中的四种评价函数

评价函数(EvaluationFunction)

在毕业设计过程中常使用的五种基于预测误差的评价指标:

  1. 均方根误差(RMSE)
  2. R-平方(R2)
  3. 平均绝对百分误差(MAPE)
  4. 平均绝对误差(MAE)
  5. 希尔不等系数(TIC)(暂不使用)
均方根误差(RMSE)

RMSE是预测值与真实值的误差平方根的均值。
均方根误差RMSE(root-mean-square error), 均方根误差亦称标准误差,它是观测值与真值偏差的平方与观测次数比值的平方根。均方根误差是用来衡量观测值同真值之间的偏差。标准误差对一组测量中的特大或特小误差反映非常敏感,所以,标准误差能够很好地反映出测量的精密度。可用标准误差作为评定这一测量过程精度的标准。计算公式如下:

优点:标准化平均方差对均方差进行了标准化改进,通过计算拟评估模型与以均值为基础的模型之间准确性的比率,标准化平均方差取值范围通常为0~1,比率越小,说明模型越优于以均值进行预测的策略,NMSE的值大于1,意味着模型预测还不如简单地把所有观测值的平均值作为预测值,

缺点:但是通过这个指标很难估计预测值和观测值的差距,因为它的单位也和原变量不一样了,综合各个指标的优缺点,我们使用三个指标对模型进行评估。

R-平方(R^2)

R^2方法是将预测值跟只使用均值的情况下相比,看能好多少。其区间通常在(0,1)之间。0表示还不如什么都不预测,直接取均值的情况,而1表示所有预测跟真实结果完美匹配的情况。
计算公式如下:

平均绝对误差(MAE)、平均绝对百分误差(MAPE)

相对百分误差绝对值的平均值MAPE(mean absolute percentage error):可以用来衡量一个模型预测结果的好坏。
MAE平均绝对误差=︱原值-估计值︱/n

计算公式如下:

MAE优缺点:虽然平均绝对误差能够获得一个评价值,但是你并不知道这个值代表模型拟合是优还是劣,只有通过对比才能达到效果;


论文片段节选

3.3回归模型的性能
为了选出其中最好的模型,所有的回归模型都经过了10次交叉验证的训练。为了加快计算的速度,采用了并行计算的doParallel包[59]。第一个训练的模型是多元线性回归。多元线性回归使用所有可用的预测因子,并找到合适的斜率来量化每个预测因子和响应的影响[55]。
为了比较每个回归模型的性能,这里使用了不同的性能评价指标:根平均平方误差(RMSE)、确定系数或r平方/R^2、平均绝对误差(MAE)和平均绝对百分比误差(MAPE)。

-------------本文结束感谢您的阅读-------------

本文标题:机器学习中的四种评价函数

文章作者:Wong Zhen

发布时间:2018年04月26日 - 08:04

最后更新:2018年05月07日 - 11:05

原始链接:http://wongzhen.com/2018/04/26/评价函数/

许可协议: 署名-非商业性使用-禁止演绎 4.0 国际 转载请保留原文链接及作者。

坚持原创技术分享,您的支持将鼓励我继续创作!
0%