處理多元線性回歸中自變數共線性的幾種方法 詳細 0 3

多重共線性是指自變數之間的相關性，即乙個自變數可以用乙個或幾個其他自變數的線性表示式來表示。 如果存在多重共線性，則在計算自變數的偏回歸係數時，矩陣是不可逆的，從而導致解數無限多或沒有解。

在使用多元線性回歸構建模型的過程中，變數之間存在多重共線性是很常見的。 那麼，當我們發現多元線性回歸模型中存在多重共線性時，我們該怎麼辦？

這可以通過以下方式解決：

1）逐漸回歸。

使用逐步回歸可用於篩選在具有多重共線性的自變數組合中解釋響應變數變化較大的變數，而解釋較小的變數可以從模型中排除。

但是，這種方法的缺點是，當共線性嚴重時，自動變數篩選的方法不能完全解決問題。

2）嶺回歸。

嶺回歸是一種有偏差估計，但可以有效控制回歸係數的標準誤差大小。

3）主成分回歸。

主成分分析可用於從具有多重共線性的自變數組合中提取主成分，然後可以使用具有大特徵值（例如，大於 1）的多個主成分和其他自變數進行多元線性回歸。 然後，將得到的主成分回歸係數與基於主成分表示式的原始自變數的引數估計進行反演。

在這種方法中，提取主成分時會丟失部分資訊，並且幾個自變數之間的多重共線性越強，提取主成分時丟失的資訊就越少。

4）路徑分析。

如果你對自變數之間的關係有清晰的認識，可以考慮建立乙個路徑分析模型，以便進行更深入的研究。

關於多重共線性需要了解的兩件事：

在實踐中，多重共線性是乙個程度問題，而不是存在問題，有意義的區別不在於存在和不存在，而在於多重共線性的程度。 多重共線性是樣本的特徵，而不是固定解釋變數的總體特徵。

消除多重共線性的方法：

1.增加樣本量。

2.使用先驗資訊進行更改。

3.刪除不必要的解釋變數：對引數的約束。

4.其他方法：逐步回歸、脊回歸、主成分分析

這些方法可以通過 SPSS 完成，您可以在資料分析的子選單下找到相應的方法。

去掉不必要的方法時，最好使用逐步回歸法，這樣更科學。

主成分分析的方法比較簡單和科學，我介意使用這種方法。