多重共线性,多重共线性对回归分析有哪些影响

• 2023-10-27 09:55:25 • 0次

判断标准常见的直观判断方法共有四个，如下：某些自变量的相关系数值较大等，可以利用pearson相关系数检验法一般是利用解释变量之间的线性相关程度判断，一般标准是系数大于0.8则认为可能存在多重共线性。如果增加一个变量或者删除一个变量，回归系数的观测值变化很大。如果说F检验通过，并且决定系数值也较大，

判断标准

常见的直观判断方法共有四个，如下：某些自变量的相关系数值较大等，可以利用pearson相关系数检验法一般是利用解释变量之间的线性相关程度判断，一般标准是系数大于0.8则认为可能存在多重共线性。如果增加一个变量或者删除一个变量，回归系数的观测值变化很大。如果说F检验通过，并且决定系数值也较大，但是t检验并不显著，也可能存在多重共线性。回归系数的正负符号与专业知识相反或与实际分析结果不符，也会存在多重共线性的可能。以上方法可能会存在误差，更多偏向于主观，还有一种正规检验方法，观察回归分析中的VIF值，这个检验方法更为严谨、准确。通常的判断标准是VIF值大于10即具有多重共线性，有的文献也说大于5即有共线性。其中VIF值如下：VIF=(1−R2)−1从公式中我们发现VIF和R方是有直接关系的。当VIF>5,1- R2

处理多重共线性

处理多重共线性经验式做法：

删除不重要的共线性变量

但是删除变量后可能会导致模型和原本分析的模型不一样，可能会出现决策错误等现象。

增加样本容量

多重共线性有可能与样本量过少有关，所以如果存在也可以加大样本量。但是加大样本量具有局限性比如实验已经结束或者其它原因。

变量转换

构造一个新的变量，这一新变量是多重共线性变量的函数，然后用这个新的变量代替多重共线性的变量，但是要注意组合后的数据需要有实际意义否则模型不好解释。

其它处理方法：

1、岭回归

岭回归分析是一种修正的最小二乘估计法，当自变量系统中存在多重共线性时，它可以提供一个有偏估计量，这个估计量虽有微小偏差，但它的精度却能大大高于无偏估计。

如果使用SPSSAU进行分析岭回归一般有两个步骤：岭回归通过引入k个单位阵，使得回归系数可估计；单位阵引入会导致信息丢失，但同时可换来回归模型的合理估计。针对岭回归：其研究步骤共为2步,分别是结合岭迹图寻找最佳K值；输入K值进行回归建模。

2、逐步回归

逐步回归分析方法视自变量对因变量的影响显著性大小从大到小逐个引入回归方程，从处理角度来看逐步回归比岭回归和主成分回归要好一些。逐步回归面临着检验的显著性水平的选择困难它通常得不到最优变量子集，可以利用SPSSAU进阶方法中逐步回归进行分析。

3、主成分回归

主成分回归根据主成分分析的思想提出的。主成分估计和岭回归类似都是一种有偏估计。主成分分析利用降维的思想对数据信息进行浓缩，将多个分析项浓缩成几个关键概括性指标；剔除对系统影响微弱的部分。通过对各个主成分的重点分析，来达到对原始变量进行分析的目的。主成分回归就是用对原变量进行主成分分析后得到的新的指标来代替原变量，再使用最小二乘法进行回归分析。由于对原变量的综合，就可以起到克服多重共线性所造成的信息重叠的作用，从而消除多重共线性对回归建模的影响。

4、偏最小二乘法

偏最小二乘法不仅可以用单变量回归分析方法，也可以用于多变量回归分析方法，一般情况下处理样本量相对较小，自变量多的数据。

多重共线性,多重共线性对回归分析有哪些影响

猜你喜欢

相关推荐

最新文章

热文欣赏

大家都在问