Pearson 相關係數 | 迴歸分析 | 生物統計學習筆記

Pearson 相關係數（Pearson correlation coefficient）以 r 表示樣本中的線性相關程度，以 ρ 表示母體中的線性相關程度。它同時呈現關係方向與標準化後的強度，但只描述線性關係，不等於因果效果。

Pearson r 如何計算？

先將每一對觀察值分別減去 X 與 Y 的樣本平均數，再把兩個離差的乘積加總。最後用 X、Y 各自的離差平方和標準化，使結果不受原始測量單位影響。

r=\frac{\sum_{i=1}^{n}(X_i-\bar X)(Y_i-\bar Y)}{\sqrt{\sum_{i=1}^{n}(X_i-\bar X)^2}\sqrt{\sum_{i=1}^{n}(Y_i-\bar Y)^2}}

符號	在這組公式中的意義
r	樣本 Pearson 相關係數
X̄、Ȳ	X 與 Y 的樣本平均數
SSR、SSE、SST	迴歸平方和、誤差平方和與總平方和
MSR、MSE	迴歸均方與誤差均方
Σ	求和符號；將指定範圍內的各項全部加總
√	平方根；常用來把變異數轉成標準差
Xᵢ	第 i 個隨機變數或第 i 筆觀察值；依本段定義
n	本段使用的觀察數、樣本數或試驗次數；以公式前的研究設定為準

以樣本共變異數表示

r=\frac{s_{XY}}{s_Xs_Y}

由 Cauchy–Schwarz 不等式

-1\leq r\leq1

在含截距的簡單線性迴歸中，樣本斜率 b₁ 與 Pearson r 具有直接關係：

b_1=r\frac{s_Y}{s_X}

r 是沒有單位的標準化關係；b₁ 則保留測量單位，表示 X 每增加一單位時 Y 平均改變多少。因為標準差皆為正，r 與 b₁ 的正負方向一定相同。若把 X、Y 都轉成 z 分數，迴歸斜率就等於 r。

原文以「100×r²% 的變異可由另一變數得知」描述 r²。在含截距的簡單線性迴歸中，更精確的說法是：r² 等於 R²，也等於迴歸平方和占總平方和的比例，表示樣本中 Y 的總變異有多少比例被 X 的線性模型解釋。

簡單線性迴歸

r^2=R^2=\frac{SS_R}{SS_T}

百分比表示

100r^2\%

例如 r=−0.60 時，r²=0.36，表示線性模型解釋樣本中 36% 的 Y 變異；負號所代表的下降方向不能從 r² 看出。這個比例不代表 X 造成 36% 的 Y，也不代表個別 Y 能被精確預測。

若觀察值獨立，且母體可合理視為二變量常態，可用 t 統計量檢定母體 Pearson 相關係數 ρ 是否為 0。

雙尾假設

H_0:\rho=0,\qquad H_1:\rho\ne0

t 統計量

t=\frac{r\sqrt{n-2}}{\sqrt{1-r^2}}=\frac{r}{\sqrt{(1-r^2)/(n-2)}}

自由度

df=n-2

原文把 √[(1−r²)/(n−2)] 稱為變異數；在這個 t 公式中，它應理解為把 r 標準化所使用的分母形式，不是 r 在任意 ρ 下的通用精確標準誤。若要檢定非零的 ρ₀ 或建立 ρ 的信賴區間，下一頁的 Fisher Z 轉換較方便。

含截距的簡單線性迴歸中，檢定 ρ=0、檢定斜率 β₁=0，以及整體迴歸 F 檢定，都在回答是否存在非零線性關係。原文由平方和完整連結這三種寫法。

先保留 r 的方向

r=\operatorname{sign}(b_1)\sqrt{\frac{SS_R}{SS_T}}

平方後

r^2=\frac{SS_R}{SS_T}

將 r²=SSR/SST 與 SST=SSR+SSE 代入 t²：

由相關係數 t 檢定開始

t^2=\frac{r^2(n-2)}{1-r^2}

代入平方和比例

t^2=\frac{(SS_R/SS_T)(n-2)}{SS_E/SS_T}

整理成均方比

t^2=\frac{SS_R/1}{SS_E/(n-2)}=\frac{MS_R}{MS_E}=F

因此相關係數的雙尾 t 檢定、簡單迴歸斜率的雙尾 t 檢定與整體 F 檢定會得到相同 p 值。t 與 r 保留正負方向，F 與 r² 則只保留關係大小。