多元统计分析方法

目 录

一、引言………………………………………………………… 3

二、多元统计分析方法的研究对象和主要内容……………3

1.多元统计分析方法的研究对象………………………… 3 2.多元统计分析方法的主要内容………………………… 3 三、各种多元统计分析方法 ………………………………… 3

1.回归分析………………………………………………… 3

2.判别分析 ……………………………………………… 6 3.聚类分析 ……………………………………………… 8

-

4.主成分分析……………………………………………… 10

5.因子分析 ……………………………………………… 10

6. 对应分析方法 ………………………………………… 11 7. 典型相关分析 ………………………………………… 11 四、多元统计分析方法的一般步骤…………………………… 12 五、多元统计分析方法在各个自然领域中的应用…………… 12 六、总结………………………………………………………… 13 参考文献………………………………………………………… 14 谢辞……………………………………………………………… 15

（

一、引言

统计分布是用来刻画随机变量特征及规律的重要手段，是进行统计分布的基础和提高。多元统计分析方法则是建立在多元统计分布基础上的一类处理多元统计数据方法的总称，是统计学中的具有丰富理论成果和众多应用方法的重要分支。在本文中，我们将对多元统计分析方法做一个大体的描述，并通过一部分实例来进一步了解多元统计分析方法的具体实现过程。

二、 多元统计分析方法的研究对象和主要内容 （一）多元统计分析方法的研究对象

由于大量实际问题都涉及到多个变量，这些变量又是随机变量，所以要讨论多个随机变量的统计规律性。多元统计分析就是讨论多个随机变量理论和统计方法的总称。其内容包括一元统计学中某些方法的直接推广，也包括多个随即便量特有的一些问题，多元统计分析是一类范围很广的理论和方法。

现实生活中，受多个随机变量共同作用和影响的现象大量存在。统计分析中，有两种方法可同时对多个随机变量的观测数据进行有效的分析和研究。一种方法是把多个随机变量分开分析，一次处理一个随机变量，分别进行研究。 但是，这样处理忽略了变量之间可能存在的相关性，因此，一般丢失的信息太多，分析的结果不能客观全面的反映整个问题，而且往往也不容易取得好的研究结论。另一种方法是同时对多个随机变量进行研究分析，此即多元统计方法。通过对多个随即便量观测数据的分析，来研究随机变量总的特征、规律以及随机变量之间的相互关系。所以，多元统计分析是研究多个随机变量之间相互依赖关系及内在统计规律的一门统计学科。

（二）多元统计分析方法的主要内容 近年来，随着统计理论研究的不断深入，多元统计分析方法的内容一直在丰富。其中，主要内容包括多元正态总体参数估计、假设检验和常用的多元统计方法。多元正态总体参数估计、假设检验是多元统计推断的核心和基础，而常用的多元统计分析方法则是具体应用。从形式上，常用多元统计分析方法可划分为两类： 【

一类属于单变量常用的统计方法在多元随机变量情况下的推广和应用，如多元回归分析，典型相关分析等；

另一类是对多元变量本身进行研究所形成的一些特殊方法。如主成分分析，因子分析，聚类分析，判别分析，对应分析等。

三、各种多元统计分析方法

具体来说，常用的多元统计分析方法主要包括：多元回归分析、聚类分析、判别分析、主成分分析、因子分析、对应分析、典型相关分析等。下面我们对各种多元统计分析方法就行分别描述， （一） 回归分析

回归分析是最灵活最常用的统计分析方法之一，它用于分析一个因变量与一个或多个自变量之间的关系。特别是用于：(1)定量的描述和解释相互关系；(2)估测或预测因变量的值。

回归分析方法是在众多的相关变量中，根据实际问题考察其中一个或多个变量与其余变量的依赖关系。如果只要考察一个变量与其余多个变量之间的相互依赖关系，我们称为多元回归问题。若要同时考察多个因变量与多个自变量之间的相互依赖关系，我们称为多因变量的多元回归问题。

···xm的相关关系 ，而多元回归分析是研究因变量Y与m个自变量x1，x2，，···xm为一般变量。 且总是假设因变量Y为随机变量，而x1，x2，，下面我们来看一下多元线性回归模型的建立。

···xm线性相关。收集到的n组数据假定因变量Y与x1，x2，，（yt,xt1,xt2,，xtm）（t=1,2,···n）满足以下回归模型：

(

E(t)0,Var(t)2,Cov(i,j)0(ij)或t~N(0,2),相互独立(t=1,2,n).yt01xt1···+mxtmt(t1,2,,n) 记

1x11C=1xn1x1m(1nX)， xnm011yy212Y,,

ynnm则所建回归模型的矩阵形式为

或

YC,E()0n,D()2In,

YC,~Nn(0,2In),

并称它们为经典多元回归模型，其中Y是可观测的随机向量，是不可观测的随机向量，C是已知矩阵，，2是未知参数，并设n>m，且rank(C)=m+1。 在经典回归分析中，我们讨论模型中参数(0,1,,m)和2的估计和检

验问题。近代回归分析中讨论变量筛选、估计的改进，以及对模型中的一些假设进行诊断等问题。

我国国内生产总值与基本建设投资额的大小有密切关系，研究发现两变量之间存在线性关系。根据甘肃省1990-2003年的国内生产总值与基本建设投资额数据，研究它们的数量规律性，探讨甘肃省基本建设投资额与国内生产总值的数量关系，原始数据见下表。 ~ GDP(亿元） （ 年份 1990 1991 1992 1993 1994 1995 1996 1997 1998 $ 1999 2000 2001 2002 2003 |

基本建设投资(亿元) ] .

利用excel进行分析，具体输出以下数据，

回归 残差

平方和

,

自由度 1 12 13

方 差

F 检验值

离差

~

复 相 关 系 数 R =.98 剩 余 标 准 差 SY = 回归方差与剩余方差之比 F = @

各个自变量的 t 检验值

17.

。

-

F 检验的自由度

t 检验的自由度 N-P-1 =12

第一自由度=1,第二自由度=12

：

、

各个自变量的偏回归平方和

各个自变量的偏相关系数

由输出结果，得以下结论： 回归方程为 y=+x1

其中，负相关系数为R2＝,说明回归方程拟合优度较高。而回归系数的t=,查

F0.05(1,12)，t分布表t0.025(12)2.1788，小于t值，因此回归系数显著。查F分布表，

由下表知，F=>，因此回归方程也显著。 ~ 平方和 自由度 方 差 F 检验值 - 回归 残差 离差 1 12 13 （二）判别分析 判别分析是多元统计分析中用于判别样品所属类型的一种统计分析方法，是一种在已知研究对象用某种方法已经分成与若干类的情况下，确定新的样品属于哪一类的多元统计分析方法。

判别方法处理问题时，通常通常要给出用来衡量新样品与各已知组别的接近程度的指数，即判别函数，同时也指定一种判别准则，借以判别新样品的归属。所谓判别准则是用于衡量新样品与各已知组别接近程度的理论依据和方法准则。常用的有，距离准则、Fisher准则、贝叶斯准则等。距离判别的基本思想是：样品和那个总体距离最近，就判断它属于哪个总体。距离判别也称直观判别。

已知有两个类G1和G2，比如G1是设备A生产的产品，G2是设备B生产的同类产品。设备A的产品质量高（如考察指标为耐磨度X），其平均耐磨度(1)=80，反映设备精度的方差12=；设备B的产品质量稍差，其平均耐磨度2=75，反映设备精度的方差22=4。今有一产品X0，测得耐磨度x0=78，试判断该产品是哪一台设备生产的

下面考虑一种相对于分散性的距离。记X0与G1或G2的相对平均距离为

d(x0)或d(x0)，则有：d(x0)=212221(x0(1))212(x0(2))222(7880)2=16， 0.25(7875)2=。 4.00d(x0)=22因为d2(x0)=<4=d1(x0)，按这种距离准则应判X0为设备B生产的。

2)，一般的，我们假设总体G1的分布为N((1),12)，总体G2的分布为N((2),2则利用相对距离的定义，可以找出分界点和（不妨设(2)<(1),1<2），令

(x(1))212(x(2))222(1)2(2)1def(1)2(2)1defx，和x=。

1221此例中，=79，=。而按这种距离最近法则的判别法为：

）

12(x(1))2(x(2))2判XG2，当（即x或x）2212(x(1))2(x(2))2判XG1，当（即x）22

为了区分小麦品种的两种不同的分蘖类型，用x1,x2,x3三个指标求其判别函数。经验样品中，第一类取11（主茎型）个样品，第二类（分蘖型）取12个样

品，数据如下表所示。 — x1 x2 x3 判别归类 x1 x2 x3 判别归类 第 1 1 第1 2 一 2 ： 二2 2 类 · 1 类3 2 （3 1 （4 2 主4 1 分5 2 茎5 1 蘖6 2 型6 1 型7 2 ） 7 1 ） 8 【 8 1 9 2 } 9 1 2 10 1 10 2 11 2 11 4..60 2 12 2 xi (1) xi {

(2) 由表计算得

，)T, X(1)－X(2)=，

X(1)X(2)= ,, X=

20.83550.56240.1821Lxx=L(1)xx+L(2)xx=0.282115.516032.3014, 0.835532.3014126.23741.79780.01690.00761S121L0.13810.0352xx210.0169,

0.00760.03520.0170(X)(X(1)X(2))TS1(XX)

x10.846221 x3.8286 =(0.4425,0.0486,0.0468)22x312.129512用(X)对经验样本的23个样品进行判别有如下结果：第一类的11个样本中有10个判别为第一类，一个判别为第二类；第二类的12个样品全部判别为第二类，符合率为22/23=96%。例如，第一类第一个样品X1(1)=(0.71,3.80,12.00)T，则

(X1(1))=>0,则X1(1)G1（第一类）。又如，第一类的第11个样品

(1)(1)(1)X11)=<0，故X11G2（第二类）=(1.00,4.50,12.00)T，(X11。

将(X)投入使用，可判别小麦品种的分蘖类型，如测得某小麦品种

x11,x23.43,x316.25,则由(X)=<0判别该品种为分蘖型。

（三） 聚类分析

聚类分析是将样品或变量按照它们在性质上的亲疏程度进行分类的多元统计分析方法。聚类分析时，用来描述样品或变量的亲疏程度通常有来两个途径，一是把每个样品或变量看成是多维空间上的一个点，在多维坐标中，定一点与点，类和类之间的距离，用点与点间距离来描述样品或变量之间的亲疏程度：另一个是计算样品或变量的相似系数，用相似系数来描述样品或变量之间的亲属程度。 -

聚类分析是实用多元统计分析的一个新的分支，聚类分析的功能是建立一种

分类方法，他将一批样品或变量，按照它们在性质上的亲疏、相似程度进行分类。

聚类分析的内容十分丰富，按其聚类的方法可分为以下几种：

(1)系统聚类法：开始每个对象自成一类，然后每次将最相似的两类合并，合并后重新计算新类与其他类的距离或相近性测度。这一过程可用一张谱系聚类图描述。

(2)调优法（动态聚类法）：首先对n个对象初步分类，然后根据分类的损失函数尽可能小的原则对其进行调整，直到分类合理为止。

(3)最优分割法（有序样品聚类法）：开始将所有样品看做一类，然后根据某种最优准则将它们分割为二类、三类，一直分割到所需的K类为止。这种方法适用于有序样品的分类问题，也称为有序样品的聚类法。

(4)模糊聚类法：利用模糊集理论来处理分类问题，它对经济领域中具有模糊特征两态数据或多态数据具有明显的分类效果。

(5)图论聚类法：利用图论中最小支撑树的理论来处理分类问题，创造了独具风格的方法。

(6)聚类预报法：利用聚类方法处理预报问题，在多元统计分析中，可以用来做预报的方法很多，如回归分析和判别分析。但对一些异常数据，如气象中的灾害性天气的预报，使用回归分析或判别分析处理的效果都不好，而聚类预报弥补了这一不足，只是一个值得重视的方法。

聚类分析根据对象的不同又分为R型和Q型两大类，R型是对变量（指标）进行分类，Q型是对样品进行分类。

R型聚类分析的目的有以下几方面：

（1）可以了解变量间及变量组合间的亲疏关系； ：

（2）对变量进行分类； （3）根据分类结果及它们之间的关系，在每一类中选择有代表性的变量作为重要变量，利用少数几个重要变量进一步作分析计算，如进行回归分析或Q型聚类分析等。

Q型聚类分析的目的主要是对样品进行分类。分类的结果是直观的，且比传统的分类方法更细致、全面、合理。当然使用不同的分类方法通常有不同的分类结果。对任何观测数据都没有唯一“正确”的分类方法。实际应用中，常采用不同的分类方法，对数据进行分析计算，一边对分类提供具体意见，并由实际工作者决定所需要的分类数及分类情况。

下面是聚类分析的一个简单例子。有五个样品，每个只测量了一个指标，分别为1,2,6,8,11,我们用最短距离法将它们分类。

(1)计算五个样品两两间的距离，得初始类间的距离矩阵D(0)， G1 G2 G3 G4 & G5 G1 G2 0 1 0 — G3 G4 G5

5 7 10

—

4 6 9

0 2 5

0 3

0

-

(2)由D(0)知类间最小距离为1，于是将G1和G2合并成G6，并计算G6和其他类之间的距离，的新的距离阵D(1) G6 G3 G4 G5 G6 G3 % G4 G5 0 4 6 9 0 3 0 0 2 5 · (3)由D(1)知，类间最小距离为2，合并G3和G4 为G7，计算G7与其他类间的距离得矩阵D(2)， ( G7 G5 G6 G6 G7 G5 0 4 9 0 3 ~ 0 (4)由D(2)知，类间的最小距离为3，将G5和G7合并为G8，得新的距离矩阵D(3)， G6 G8 G6 G8 0 4 ) 0 (5)最后将G6和G8合并为G9，这时五个样品聚为一类。

（四） 主成分分析

主成分分析是采取一种数学降维的方法，找出几个综合变量来代替原来众多的变量，是这些综合变量尽可能的代表原来变量的信息，而且彼此之间互不相关。这种把多个变化量化为少数几个互相无关的综合变量的统计分析方法就叫做主成分分析或主分量分析。

主成分分析所要做的就是设法将原来众多具有一定相关性的变量，重新组合为一组新的相互无关的综合变量来代替原来变量。通常，数学上的处理方法就是将原来的变量做线性组合，作为新的综合变量，但是这种组合如果不加以限制，则可以有很多，应该如何选择呢如果将选取的第一个线性组合即第一个综合变量记为F1，自然希望它尽可能多的反映原来变量信息，这里信息用方差来测量，即希望Var(F1)越大，表示F1包含信息越多。因此在所有线性组合中所选取的F1应该是方差最大的，故称F1为第一主成分。如果第一主成分不足以代表原来p个变量的信息，再考虑选取F2即第二个线性组合，为了有效地反映原来信息，F1已有的信息就不需要再出现在F2中，用数学语言表达就是要求Cov(F1,F2)=0，称F2为第二主成分，以此类推可以构造出第三、四……第p个主成分。 （五）因子分析 —

因子分析是主成分分析的推广和发展，它是由研究原始数据相关矩阵的内部依赖关系出发，把一些具有错综复杂关系多个变量（或样品）综合为少数几个因子，并给出原始变量与综合因子之间相关关系的一种多元统计分析方法。它也属于多元分析中数据降维的一种统计方法。

因子分析是通过变量（或样品）的相关系数矩阵内部结构的研究，找出存在于所有变量（或样品）中具有共性的因素，并综合为少数几个新变量，把原始变量表示成少数几个综合变量的线性组合，以再现原始变量与综合变量之间的相关关系。其中，这里的少数几个综合变量一般是不可观测指标，通常称为公公因子。

因子分析常用的两种类型：一种是R型因子分析，即对变量进行因子分析：另一种叫做Q型因子分析，即对样品进行的因子分析。 （六）对应分析方法

对应分析又称为相应分析，是一种目的在于揭示和样品之间或者定性量资料中变量与其类别之间的相互关系的多元统计分析方法。 对应分析的关键是利用一种数据变换，使含有p个变量n个样品的原始数据矩阵，变换成为一个过渡矩阵Z，并通过矩阵Z将R型因子分析和Q型因子分析有机的结合起来。具体地说，首先给出进行R型因子分析时变量点的协差阵A=ZZ和进行Q型因子分析时样品点的协差阵B=ZZ，由于ZZ和ZZ有相同的非零特征根，记为

12m,0mmin(p,n)

依据证明，如果A的特征根i对应的特征向量为Ui，则B的特征根i对应的

特征向量就是ZUiVi，根据这个结论就可以很方便的借助R型因子分析而得到

Q型因子分析的结果。因为求出A的特征根和特征向量后很容易地写出变量点协差阵对应的因子载荷矩阵，记为F。则

u111F=u211up11u122u222up22u1m1u2m1

upmm 这样，利用关系式ZUi阵，记为G。则

Vi也很容易地写出样品点协差阵B对应的因子载荷

…

v111G=v211vn11v122v222vn22v1m1v2m1

vnmm 从结果的展示上，由于A和B具有相同的非零特征根，而这些特征根正是公

共因子的方差，因此可以用相同的因子轴同时表示变量点和样品点，即把变量点和样品点同时反映在具有相同坐标轴的因子平面上，以便显示出变量点和样品点之间的相互关系，并且可以一并考虑进行分类分析。 （七） 典型相关分析 在经济问题中，不仅经常需要考察两个变量之间的相关程度，而且还经常需要考察多个变量与多个变量之间即两组变量之间的相关系。典型相关分析就是研究两组变量之间相关程度的一种多元统计分析方法。

典型相关分析是研究两组变量之间相关关系的一种统计分析方法。为了研究两组变量X1,X2,Xp和Y1,Y2,Yq之间的相关关系，采用类似于主成分分析的方

法，在两组变量中，分别选取若干有代表性的变量组成有代表性的综合指数，通过研究这两组变量之间的相关关系，来代替这两组变量之间的相关关系，这些综合指数称为典型变量。

此外，多元统计分析方法还有方差分析、偏最小二乘回归分析、逻辑分析、联合分析等，我们就不做一一介绍了。

四、多元统计分析方法的一般步骤

与一般统计分析方法一样，多元统计分析方法也要经过建立模型、进行参数估计、假设检验以及预测控制等步骤。以经济统计为例，具体步骤是： 1、根据经济理论进行定性分析，设计理论模型；

2、对实际经济活动的现象抽取样本，并取得样本统计资料； |

3、对描述样本的指标利用多元统计分析方法进行统计分析，选择最佳的统计

指标；

4根据最佳指标的样本数据，估计参数，建立数量模型模型；

五、多元统计分析方法在各个自然领域中的应用

多元统计分析是解决实际问题的有效的数据处理方法，其应用范围非常广泛。多元统计分析方法可以应用于地质科学、气象科学、医疗卫生、体育、语言学、考古学、教育学、心理学以及经济学、管理学等各个方面。下面我们以经济学和管理学为例，了解一下多元分析方法在其中的作用和应用的场合与领域： 1、简化数据结构。

对多个变量进行降维处理，选择数目较小的变量子集合。在商业经济中，为了能够全面刻画所研究对象的数量特征，往往要调查多方面的统计数据。数据维数越多，反映问题越全面，但同时也给数据分析带来困难。这是句要用降维的方法将很复杂的数据综合成商业指数形式，处理方法主要有主成 分分析、因子分析和对应分析等。 2、对研究对象进行分类与判别。 比如根据各地区的经济发展水平、经济发展特征对我国各地区的经济发展类型进行划分，需要通过反映各地区经济情况的多项数据测算各地区经济发展的相似度，并以对各地经济类型此进行划分和归类。用来处理这一问题的多元统计方法主要是聚类分析、判别分析等。 ，

3、建立经济模型。

经济模型一般是指把经济变量之间的依存关系通过通过数学表达形式加以模拟。例如根据我国几十年来财政收入与国民收入、工农业总值、人口、就业人口、固定投资等相关因素，利用回归方法建立预测模型，对今后的财政收入进行预测。

4、研究经济现象之间的相互关系。

当我们研究两组变量之间的相关程度时，只用简单直线相关系数是不够的，在多元统计分析中，用典型相关分析可以处理两组变量之间的相关程度的分析和测算。

有一点需要特殊说明，由于现实问题的复杂性和每种多元分析方法特殊的应用场合和自身的局限性，所以在处理问题时有必要将各种多元分析方法结合运用。

六、总结

经过20世纪的空前发展，数学的基本理论更加深入和完善，而计算机技术的发展使得数学的应用更加广泛和直接，多元统计分析方法已经广泛的应用到社会科学和自然科学的许多领域，尤其在经济方面根是发挥了巨大的作用。通过本文的描述可以使大家简单了解多元统计分析方法，从而更好的掌握和运用多元分析方法。任何定量分析方法在研究现实问题时只是揭示了这种问题表面的数量规律，所以在应用多元统计分析时，我们必须注意定量分析与定性分析相结合。只有两者的有机结合才能得出深刻的符合实际的结论。

<

~

参考文献

张尧庭，方开泰等著．多元统计分析引论．北京：科学出版社，1982 高惠璇．应用多元统计分析．北京：北京大学出版社，2005．1 周光亚等．多元统计方法．长春：吉林大学出版社，

于秀林等编著．多元统计分析．北京：中国统计出版社，1999 王学仁，王松桂编译．实用多元统计分析．上海：上海科学技术出版社，1990 Richard A Johnson，Dean W Wichern．Applied MultiVariate Statistical Analysis．4th Edition．Englewood Cliffs，N J：Prentice－Hall，Inc，1998

何晓群，现代统计分析方法与应用[M].北京：中国人民大学出版社，1998 王学民编著．应用多元统计分析．第二版．上海上海财经大学出版社,1999

谢 辞

在此论文完成之际我首先要衷心感谢我的导师齐海涛老师。本学位论文是在齐老师的精心指导下完成的。齐老师时刻关心我找我知识的情况及论文的进展，帮助我开阔思路、精心点拨、热忱鼓励。每当我遇到问题、毫无头绪时，与考试的讨论总能让我豁然开朗：老师思考问题的方法、观察问题的角度，给了我很大启发。齐老师渊博的知识理论、深邃的思维方式都给我留下了深刻的印象，永远是我学习的榜样。

其次还要感谢大学四年中的每一位老师对我的指导和帮助。向各位老师表示我衷心的感谢和敬意。

同时还要感谢大学中和我一起走过来的同学和朋友们，是你们的支持使我获得了许许多多的快乐和温馨。在感谢你们的同时祝愿你们在以后的生活学习工

作中过得幸福快乐。

最后,我要感谢我的父母，感谢他们二十多年来的养育之恩。在我的大学生活即将结束之际，我真心的祝福他们健康长寿，事事顺心。