美文网首页
普通最小二乘法推导

普通最小二乘法推导

作者: 凉风起天末_ | 来源:发表于2019-02-21 22:02 被阅读0次

OLS(普通最小二乘估计)

简单回归模型的参数估计,对于具体的样本数据,假设满足:
y_i=\beta_0+\beta_1x_i+u_i
假设条件的数学表示
\begin{cases} E(u)=0................................................................(i)\\ Cov(x,u)=E(xu)-E(x)E(u)=E(xu)=0........(ii)\\ \end{cases}
对于残差项
u_i=y_i-\beta_0-\beta_1x_i
代入(i),(ii)
\begin{cases} E(y-\beta_0-\beta_1x)=0\\ E[x(y-\beta_0-\beta_1x)]=0\\ \end{cases}
选择估计量\hat{\beta_0},\hat{\beta_1}解决上述方程的样本问题
\begin{cases} n^{-1}\sum_{i=1}^{n}(y_i-\beta_0-\beta_1x)=0\\ n^{-1}\sum_{i=1}^{n}x_i(y_i-\beta_0-\beta_1x)=0\\ \end{cases}
上一式等价于\bar{y}=\hat{\beta_0}+\hat{\beta_1}\bar{x},则\hat{\beta_0}=\bar{y}-\hat{\beta_1}\bar{x},代回上式,得:
\sum_{i=1}^{n}x_i(y_i-(\bar{y}-\hat{\beta_1\bar{x}})-\hat{\beta_1}x_i)=0
调整后,
\begin{cases} \sum_{i=1}^{n}x_i(y_i-\bar{y})=\hat{\beta_1}\sum_{i=1}^{n}(x_i-\bar{x})\\ \sum_{i=1}^{n}x_i(x_i-\bar{x})=\sum_{i=1}^{n}(x_i-\bar{x})^2\\ \sum_{i=1}^{n}x_i(y_i-\bar{y})=\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y}) \end{cases}
因此,只要有\sum_{i=1}^{n}(x_i-\bar{x})^2>0,估计的斜率为
\beta_1=\frac{\sum_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum_{i=1}^{n}(x_i-\bar{x})^2}
由此,\beta_0也可以求

OLS回归线

使用估计的斜率参数和截距参数,构建残差的平方和,并使其尽量小 (最小二乘法的由来)

OLS回归线==(样本回归函数SRF)==
\bar{y}=\hat{\beta_0}+\hat{\beta_1}\bar{x}

相关文章

网友评论

      本文标题：普通最小二乘法推导

      本文链接：https://www.haomeiwen.com/subject/ngljyqtx.html

      延伸阅读

      深度阅读

      • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

      栏目导航

      热点阅读

      关于我们|服务条款|联系我们|普通最小二乘法推导|投稿指南|网站地图|RSS订阅|排版工具|手机版

      提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

      Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

      备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

      本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

      所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！