簡單線性迴歸

统计学系列条目
迴歸分析
模型
線性回歸 简单线性回归 普通最小二乘法（OLS） 多项式回归 一般线性模型
廣義線性模式 离散选择（英语：Discrete choice） 对数几率回归 多项罗吉特（英语：Multinomial logit） 混合罗吉特 波比（英语：Probit model） 多项式波比（英语：Multinomial probit） 排序性模型（英语：Ordered logit） 有序波比（英语：Ordered probit） 泊松回归
等级线性模型 固定效应（英语：Fixed effects model） 随机效应（英语：Random effects model） 混合模型（英语：Mixed model）
非线性回归 非参数 半参数 稳健 分位数迴歸 保序回归 主成分 最小角 局部（英语：Local regression） 分段
含误差变量（英语：Errors-in-variables models）
估计
最小二乘法 普通最小二乘法 线性 偏最小二乘回归 总体（英语：Total least squares） 广义 加权 非线性 非负（英语：Non-negative least squares） 重复再加权（英语：Iteratively reweighted least squares） 脊迴歸（嶺迴歸） LASSO
最小绝对值导数法（英语：Least absolute deviations） 贝叶斯（英语：Bayesian linear regression） 贝叶斯多元
背景
回归模型驗證（英语：Regression model validation） 平均响应和预测响应（英语：Mean and predicted response） 误差和残差 拟合优度 学生化残差（英语：Studentized residual） 高斯-马尔可夫定理
概率与统计主题
查 论 编

在統計學中，簡單線性迴歸是指僅具有單一的自變數的線性迴歸^{[1][2][3][4][5]}，其中「簡單」係單一自變數之意。此迴歸可用於估計有限的截距與斜率以推論應變數在特定自變數為條件下的均值。

普通最小二乘法是常見用於尋求簡單線性迴歸式的方法，目的是得到能使殘差平方和最小的迴歸式。其它方法，諸如最小絕對偏差（英语：Least absolute deviations）（使殘差絕對值的總和最小）、泰爾－森估算（所有樣本點兩兩配對的斜率中位數做為整體斜率）等，亦可應用於簡單線性迴歸的命題。戴明迴歸（英语：Deming regression）（考慮自變數與應變數同時為誤差來源）的功能雖然與上述方法相似但不屬於簡單線性迴歸的範疇，因其不區分自變數與應變數且可能得到多個迴歸式。

以最小平方法處理簡單線性迴歸，則求得的斜率β等於自變數x與應變數y的皮爾森積動差相關係數與二者的標準偏差比值的乘積，

${\displaystyle {\hat {\beta }}=r_{x,y}{\frac {s_{y}}{s_{x}}}}$

而再考慮截距α則保證使迴歸線通過自變數與應變數的均值 (x, y)。

以下皆以普通最小二乘法求解簡單線性迴歸式。考慮以下的數學模型函數

${\displaystyle y=\alpha +\beta x}$，

是一條斜率為β且y軸截距為α的直線。通常實際上自變數與應變數並非如此完美的關係而存在未知的誤差ε_i，即

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i},i=1,\ldots ,n}$，

以表示第${\displaystyle i}$對資料中自變數與應變數的關係。此模型稱為簡單線性模型。

計算迴歸式的目標是根據資料計算估計值${\displaystyle {\hat {\alpha }}}$與${\displaystyle {\hat {\beta }}}$以「最佳地」估計參數α與β。由於採用最小平方法進行計算，「最佳」係指能使殘差平方和${\displaystyle {\hat {\varepsilon }}_{i}=y_{i}-\alpha -\beta x_{i}}$最小的參數估計值為目標。換句話說，我們尋求能使Q函數值最小的解，

${\displaystyle Q(\alpha ,\beta )=\sum _{i=1}^{n}{\hat {\varepsilon }}_{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}}$。

此解為${\displaystyle {\hat {\alpha }}}$與${\displaystyle {\hat {\beta }}}$^[6]，

${\textstyle {\begin{aligned}{\hat {\alpha }}&={\bar {y}}-({\hat {\beta }}\,{\bar {x}}),\\{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\&={\frac {s_{x,y}}{s_{x}^{2}}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}}\end{aligned}}}$

其中

將${\displaystyle {\hat {\alpha }}}$與${\displaystyle {\hat {\beta }}}$帶入

${\displaystyle {\hat {y}}={\hat {\alpha }}+{\hat {\beta }}x}$

可得

${\displaystyle {\frac {{\hat {y}}-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}}$。

此式呈現了r_xy為預先將自變數與應變數預先標準化後的迴歸斜率。由於r_xy界於-1與1之間，左式的絕對值勢必不大於右式，體現了趨中迴歸（英语：Regression toward the mean）的現象。

以${\displaystyle {\overline {xy}}}$表示對應的x與y的乘積和，

${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}}$，

可使r_xy簡化成

${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}}$。

簡單線性迴歸的判定係數即為二變數間皮爾森積動差相關係數的平方：

${\displaystyle R^{2}=r_{xy}^{2}}$。

將${\displaystyle {\hat {\beta }}}$的估計式分子乘以${\displaystyle {\frac {(x_{i}-{\bar {x}})}{(x_{i}-{\bar {x}})}}}$，可改寫為

${\displaystyle {\hat {\beta }}={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}={\frac {\sum _{i=1}^{n}\left((x_{i}-{\bar {x}})^{2}\times {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}\right)}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}}$。

可以看出，迴歸式的斜率為${\displaystyle {\frac {(y_{i}-{\bar {y}})}{(x_{i}-{\bar {x}})}}}$以${\displaystyle (x_{i}-{\bar {x}})^{2}}$為權數的加權平均。因此，${\displaystyle (x_{i}-{\bar {x}})^{2}}$越大的資料對斜率${\displaystyle {\hat {\beta }}}$的影響力越大。

${\displaystyle {\hat {\alpha }}}$可經由下列式子估算： ${\displaystyle {\hat {\alpha }}={\bar {y}}-{\hat {\beta }}\ {\bar {x}}}$。 由於${\displaystyle {\hat {\beta }}=\tan(\theta )=dy/dx\rightarrow dy=dx\times {\hat {\beta }}}$，其中${\displaystyle \theta }$即為與橫軸正值的夾角，可以得到${\displaystyle {\hat {\alpha }}={\bar {y}}-dx\times {\hat {\beta }}={\bar {y}}-dy}$。