R Squared

作者: 天之見證 | 来源:发表于2018-12-28 22:59 被阅读0次

R Squared
R方(R-squared)
推荐系统常用评测指标
Python 线性回归计算r-squared方法
回归评价指标MSE、RMSE、MAE、R-Squared
统计常用定义
17统计基础- 决定系数
回归评价的指标(MSE/RMSE/MAE/R-squared)
自适应布局的九宫格
tf.losses.mean_squared_error

$R^2$ 可以用来表示一个线性回归的拟合程度的好坏

1. 代数表达式

符号介绍:

观测值: $y=[y_1,\ldots,y_n]^T$
预测值: $f=[f_1,\ldots,y_n]^T$

首先需要介绍3个平方和公式:

type	formula
total sum of squares	$SS_{tot}=\sum_i(y_i-\bar{y})^2$
explained sum of squares	$SS_{reg}=\sum_i(f_i-\bar{y})^2$
residual sum of squares	$SS_{res}=\sum_i(y_i-f_i)^2=\sum_i e_i^2$

$R^2\equiv1-\frac{SS_{res}}{SS_{tot}}$

线性回归中 $SS_{reg}\rightarrow 0\; {then}\; R^2\rightarrow 1$

2. 几何解释

Coefficient_of_Determination

左图表达的是 $SS_{tot}$ , 右图表达的是 $SS_{reg}$

3. $R^2$ 的缺陷

当我们引入的特征增加时, 不管直接模型的效果怎样, $R^2$ 总是会比之前的更大

因为 $SS_{tot}$ 在这个过程中不会变化, 例如增加了一个特征的 $SS_{reg}$ 会变成如下:
$\begin{align} SS'_{reg}&=\sum_i(y_i-f_i)^2 \\ &=\sum_i(y_i-X_ib)^2 \\ &=\sum_i(y_i-\sum_{j=1}^{k+1}x_{ij}b_j)^2 \\ &=\sum_i(y_i-\sum_{j=1}^kx_{ij}b_j-x_{i(k+1)}b_{k+1})^2 \\ &=SS_{reg}-2\sum_i(y_i-\sum_{j=1}^kx_{ij}b_j)(x_{i(k+1)}b_{k+1})+\sum_i(x_{i(k+1)}b_{k+1})^2 \\ &=SS_{reg}+b_{k+1}^2\sum_ix_{i(k+1)}^2-2b_{k+1}\sum_i(y_i-\sum_{j=1}^kx_{ij}b_j)(x_{i(k+1)}) \end{align}$
最后面的部分是以 $b_{k+1}$ 为变量的二次方程且二次项系数为正, 则一定会有 $b_{k+1}$ 使得这个式子为负, 则会有
$SS'_{reg} < SS_{reg}$
从而使得 $R^2$ 增大, 会给人造成误解是因为多了一个特征的原因,而使模型的准确度增加了

4. $R^2$ 的改进

adjusted $R^2$ : $\bar{R}^2=1-(1-R^2)\frac{n-1}{n-p-1}$ , 其中 $p$ 表示除常数项以外的特征的数, $n$ 表示样本数

5. 与残差的比较

norm of residuals ( $\sqrt{SS_{res}}=||e||$ ) 也可以用来表示拟合程度的好坏

$R^2$ 相当于是用 $SS_{tot}$ 做了一次标准化, 则不会随着量纲的变化而变化

ref: https://en.wikipedia.org/wiki/Coefficient_of_determination

R Squared
可以用来表示一个线性回归的拟合程度的好坏 1. 代数表达式符号介绍: 观测值: 预测值: 首先需要介绍3个平方和...
R方(R-squared)
R方 R2是一种易于计算和非常直观的用于度量相关性的指标我们中的大多数人已经熟悉了相关性和它的度量标准R，就是常...
推荐系统常用评测指标
1.推荐系统常用评测指标2.回归评价指标MSE、RMSE、MAE、R-Squared
Python 线性回归计算r-squared方法
背景计算线性回归a、b值后，希望计算r-squared，对比是否为最佳拟合 Excel拟合 Python拟合相...
回归评价指标MSE、RMSE、MAE、R-Squared
前言分类问题的评价指标是准确率，那么回归算法的评价指标就是MSE，RMSE，MAE、R-Squared。下面一一...
统计常用定义
MSEThe mean squared error between an estimator A an...
17统计基础- 决定系数
决定系数注:R-squared的另一个了不起的地方是，它可以量化比简单直线更复杂的关系。我们都知道相关性(co...
回归评价的指标(MSE/RMSE/MAE/R-squared)
1, MSE, RMSE, MAE 均方误差，即Mean Square Error (MSE)，表达式为：均方根...
自适应布局的九宫格
成果：https://euthpic.github.io/Squred-Paper/squared-paper.h...
tf.losses.mean_squared_error
tf源代码中： def mean_squared_error( labels, predictions, weig...