非参数回归模型的估计方法(非参数统计的统计方法)

1.非参数统计的统计方法有哪些

统计方法有：

1、计量资料的统计方法

分析计量资料的统计分析方法可分为参数检验法和非参数检验法。

参数检验法主要为t检验和 方差分析（ANOVN，即F检验）等，两组间均数比较时常用t检验和u检验，两组以上均数比较时常用方差分析；非参数检验法主要包括秩和检验等。t检验可分为单组设计资料的t检验、配对设计资料的t检验和成组设计资料的t检验；当两个小 样本比较时要求两 总体分布为 正态分布且方差齐性，若不能满足以上要求，宜用t 检验或非参数方法（ 秩和检验）。 方差分析可用于两个以上 样本均数的比较，应用该方法时，要求各个样本是相互独立的随机样本，各样本来自正态总体且各处理组总体方差齐性。根据设计类型不同，方差分析中又包含了多种不同的方法。对于 定量资料，应根据所采用的设计类型、资料所具备的条件和分析目的，选用合适的统计分析方法，不应盲目套用t检验和 单因素方差分析。

2、计数资料的统计方法

计数资料的统计方法主要针对四格表和R*C表利用检验进行分析。

检验或u检验，若不能满足 检验：当计数资料呈配对设计时，获得的四格表为配对四格表，其用到的检验公式和校正公式可参考书籍。 R*C表可以分为双向无序，单向有序、双向有序属性相同和双向有序属性不同四类，不同类的行列表根据其研究目的，其选择的方法也不一样。

3、等级资料的统计方法

等级资料（有序变量）是对性质和类别的等级进行分组，再清点每组观察单位个数所得到的资料。在临床医学资料中，常遇到一些定性指标，如临床疗效的评价、疾病的临床分期、病症严重程度的临床分级等，对这些指标常采用分成若干个等级然后分类计数的办法来解决它的量化问题，这样的资料统计上称为等级资料。

统计方法的选择：

统计资料丰富且错综复杂，要想做到合理选用统计分析方法并非易事。对于同一 个资料，若选择不同的统计分析方法处理，有时其结论是截然不同的。

正确选择统计方法的依据是：

①根据研究的目的，明确研究试验设计类型、研究因素与水平数；

②确定数据特征（是否正态分布等）和样本量大小；

③ 正确判断统计资料所对应的类型（计量、计数和等级资料），同时应根据统计方法的适宜条件进行正确的统计量值计算；

最后，还要根据专业知识与资料的实际情况，结合统计学原则，灵活地选择统计分析方法。

2.非参数模型的特色 和目前为止常用到的领域及方法

利用直接记录或分析系统的输入和输出信号的方法估计系统的非参数模型。所谓非参数模型是指系统的数学模型中非显式地包含可估参数。例如，系统的频率响应、脉冲响应、阶跃响应等都是非参数模型。非参数模型通常以响应曲线或离散值形式表示。非参数模型的辨识可通过直接记录系统输出对输入的响应过程来进行；也可通过分析输入与输出的自相关和互相关函数（见相关分析法建模），或它们的自功率谱和互功率谱函数（见频谱分析方法建模）来间接地估计。非参数模型是经典控制理论中常用的描述线性系统的数学模型。传递函数反映输入与输出的拉普拉斯变换在复数域上的响应关系，频率响应反映它们的傅里叶变换在频率域上的响应关系，而脉冲响应和阶跃响应则是在时域上的响应关系。它们从不同的方面反映系统的动态特性。非参数模型比参数化模型直观，辨识非参数模型的方法和计算也比辨识参数化模型的简单。脉冲响应可以用直接记录输入脉冲函数的输出响应的方法来辨识；频率响应也可以直接利用单频正弦输入信号的响应来辨识。但是这种直接辨识方法只能应用于无随机噪声的确定性系统。对于有随机噪声的系统或随机输入信号，必须使用相关分析法或功率谱分析方法。随着快速傅里叶变换仪、伪随机信号发生器和相关仪的问世，辨识系统的非参数模型已变得比较容易。但非参数模型应用于实时控制和适应性控制仍不如参数化模型方便。非参数模型在某些情形下，可以转化为参数模型。例如，如果一个系统的传递函数可以表示为有理分式H(s)=K/(a+s)，则系统的模型可以用常微分方程y'+ay=ku表示，a与k为 p=m/(n+1)*100%

待估计的模型参数，这是参数化模型。又如，对于离散系统的权函数序列（离散脉冲响应序列）{hi,i=0,1，…}，如果在i充分大（如i>N0），而│hi│充分小时，则模型可以表示为并可用最小二乘法给出有穷权函数序列{hi,i=0,1，…N0}的估计。一般说来，由参数模型容易获得非参数的脉冲响应或频率响应，但由非参数模型化为参数模型则要困难得多。

3.计量经济学,回归方法fen xi

1、稳健回归其主要思路是将对异常值十分敏感的经典最小二乘回归中的目标函数进行修改。

经典最小二乘回归以使误差平方和达到最小为其目标函数。因为方差为一不稳健统计量，故最小二乘回归是一种不稳健的方法。

为减少异常点的作用，对不同的点施加不同的权重，残差小的点权重大，残差大的店权重小。2、变系数回归 地理位置加权3、偏最小二乘回归长期以来，模型式的方法和认识性的方法之间的界限分得十分清楚。

而偏最小二乘法则把它们有机的结合起来了，在一个算法下，可以同时实现回归建模（多元线性回归）、数据结构简化（主成分分析）以及两组变量之间的相关性分析（典型相关分析）。偏最小二乘法在统计应用中的重要性体现在以下几个方面：偏最小二乘法是一种多因变量对多自变量的回归建模方法。

偏最小二乘法可以较好的解决许多以往用普通多元回归无法解决的问题。偏最小二乘法之所以被称为第二代回归方法，还由于它可以实现多种数据分析方法的综合应用。

能够消除自变量选取时可能存在的多重共线性问题。普通最小二乘回归方法在自变量间存在严重的多重共线性时会失效。

自变量的样本数与自变量个数相比过少时仍可进行预测。4、支持向量回归 能较好地解决小样本、非线性、高维数和局部极小点等实际问题。

传统的化学计量学算法处理回归建模问题在拟合训练样本时，要求“残差平方和”最小，这样将有限样本数据中的误差也拟合进了数学模型，易产生“过拟合”问题，针对传统方法这一不足之处，SVR采用“ε不敏感函数”来解决“过拟合”问题，即f(x)用拟合目标值yk时，取：f(x) =∑SVs（αi-α*i）K(xi,x) 上式中αi和α*i为支持向量对应的拉格朗日待定系数，K(xi,x)是采用的核函数[18],x为未知样本的特征矢量，xi为支持向量（拟合函数周围的ε“管壁”上的特征矢量），SVs为支持向量的数目.目标值yk拟合在yk-∑SVs（αi-α*i）K(xi,xk)≤ε时，即认为进一步拟合是无意义的。5、核回归 核函数回归的最初始想法是用非参数方法来估计离散观测情况下的概率密度函数（pdf）。

为了避免高维空间中的内积运算 由Mercer条件，存在映射函数a和核函数K（？，？)，使得：=K(xi ,x)采用不同的函数作为SVM的核函数K (x i,x)，可以实现多种从输入空间到特征空间的非线性映射形式6、岭回归 岭回归分析是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。7、半参数回归 模型既含有参数分量又含有非参数分量，其参数部分用来解释函数关系已知的部分，它是观测值中的主要成分，而其非参数部分则描述函数关系未知，无法表达为待定参数的函数部分。

8、自回归例1.Yt = α+β0Xt +β1Xt-1 +……+βsXt-s + ut，例2.Yt = f (Yt-1, Yt-2， … ， X2t, X3t， … ) ，滞后的因变量（内生变量）作为解释变量出现在方程的右端。这种包含了内生变量滞后项的模型称为自回归模型。

9、正交回归 因素水平值在区间[Zj1, Zj2]内变化，经编码之后，编码值xi在区间[-1,+1]间变化，将响应值y原来对Z1, Z2……Zm的回归问题，转化为y对x1,x2……xm的回归问题。它的主要优点是可以把实验或计算的安排、数据的处理和回归方程的精度统一起来加以考虑，根据实验目的和数据分析来选择实验或计算点，不仅使得在每个实验或计算点上获得的数据含有最大的信息，从而减少实验或计算次数，而且使数据的统计分析具有一些较好的性质，以较少的实验或计算建立精度较高的回归方程。

10、逐步回归 实际问题中影响因变量的因素可能很多，我们希望从中挑选出影响显著的自变量来建立回归模型，这就涉及到变量选择的问题，逐步回归是一种从众多变量中有效地选择重要变量的方法。基本思路为，先确定一初始子集，然后每次从子集外影响显著的变量中引入一个对y 影响最大的，再对原来子集中的变量进行检验，从变得不显著的变量中剔除一个影响最小的，直到不能引入和剔除为止。

11、主成分回归 在统计学中，主成分分析是一种简化数据集的技术。它是一个线性变换。

这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标（称为第一主成分）上，第二大方差在第二个坐标（第二主成分）上，依次类推。 首先对X阵进行主成份分析，T阵的维数可以与X阵相同，如果使用整个T阵参加回归，这样得到的结果与多元线性回归没有多大的差别。

因为主成分（新变量）是原变量的线性组合。前面的k个主成份包含了X矩阵的绝大部分有用信息，而后面的主成份则往往与噪声和干扰因素有关。

因此参与回归的是少数主成分组成的矩阵。在维数上远小于X。

主成分回归通过对参与回归的主成份的合理选择，可以去掉噪音。主成份间相互正交，解决了多元线性回归中的共线性问题。

主成分回归能够充分利用数据信息，有效地提高模型的抗干扰能力。

4.常见的回归分析方法有哪些

1/6分步阅读1.线性回归方法：通常因变量和一个（或者多个）自变量之间拟合出来是一条直线（回归线），通常可以用一个普遍的公式来表示：Y（因变量）=a*X（自变量）+b+c，其中b表示截距，a表示直线的斜率，c是误差项。

如下图所示。2/62.逻辑回归方法：通常是用来计算“一个事件成功或者失败”的概率，此时的因变量一般是属于二元型的（1 或0，真或假，有或无等）变量。

以样本极大似然估计值来选取参数，而不采用最小化平方和误差来选择参数，所以通常要用log等对数函数去拟合。如下图。

3/63.多项式回归方法：通常指自变量的指数存在超过1的项，这时候最佳拟合的结果不再是一条直线而是一条曲线。比如：抛物线拟合函数Y=a+b*X^2，如下图所示。

4/64.岭回归方法：通常用于自变量数据具有高度相关性的拟合中，这种回归方法可以在原来的偏差基础上再增加一个偏差度来减小总体的标准偏差。如下图是其收缩参数的最小误差公式。

5/65.套索回归方法：通常也是用来二次修正回归系数的大小，能够减小参量变化程度以提高线性回归模型的精度。如下图是其惩罚函数，注意这里的惩罚函数用的是绝对值，而不是绝对值的平方。

6/66.ElasticNet回归方法：是Lasso和Ridge回归方法的融合体，使用L1来训练，使用L2优先作为正则化矩阵。当相关的特征有很多个时，ElasticNet不同于Lasso，会选择两个。

如下图是其常用的理论公式。。