参数模型的假设检验
本文考虑以下参数模型：概率测度为$P_\theta$，$H_0:\theta\in\Theta_0,H_1:\theta\in\Theta_0^c$。其中，总的参数空间$\Theta$为一个$\mathbb{R}^n$，而$\Theta_0$是上面的一个子流形。并不考虑其他更加复杂的集合，这是为了处理维数的时候方便，况且实际遇到的问题也不会出现很复杂的$\Theta_0$。
本文只涉及实用意义上构建level-\alpha test的四种方法。至于evaluation和理论意义上的Neyman-Pearson，看书即可。
Likelihood Ratio Test
这是最一般的构建test的方法（就像MLE的一般性一样），不管怎样总是能用的，只不过是简单还是复杂的问题了。LRT statistic就不写了，它的直观意义很明显，就是$H_0$成立的plausibility，这个值越低，说明我们越倾向于拒绝$H_0$。
这里面有两个问题：
对于复杂的似然函数，无法解析求出maximum，怎么办？那无非就数值计算罢了，只不过是一个最优化问题。
level $\alpha$对应的拒绝域怎么求？这就不是数值计算能解决的了，必须知道H_0下的检验统计量的分布。这个问题看起来比上一个问题还要复杂，但是好在渐进分布是可以求的。Wilks定理指出
其中r是全空间和H_0的子流形的维度之差，也可以看成restriction的个数。注意到左边这个随机变量本来就是supported on [0,+\infty)的，所以卡方分布很自然。
这样一来拒绝域就非常好写了：
提前说一句，LRT, Wald test和score test是渐进等价的，它们的渐进分布一样，特别地，自由度都是restriction的数目，或者叫维度差。
还有一句：LRT需要求两个MLE：restricted的和unrestricted的，所以一般比较麻烦。下面的Wald test和score test在这方面就简单一点，前者只需要unrestricted MLE，后者只需要restricted MLE，所以可以灵活选用。
Wald Test
在Wald test中我们需要按r个限制来规定子流形：
想法很简单：首先建立一个（unrestricted）MLE: $\hat{\theta}$。考虑这样一个量的渐进行为：
如果$\theta$在$\Theta_0$中，则这个量大致在0附近是个Gaussian的。反之，在$H_1$下，可以想象这个随机变量就整个散开来了。思路就是这样，接下来只需要具体把渐进系数算出来。这也很好办，用delta method即可。算出来的渐进系数里面含有$\theta$，这一般是不知道的（除非你的子流形就是一个零维的点，即simple hypothesis，那就别用MLE自找麻烦了），所以要用MLE来替代，这个做法的合理性无非是Slutsky验证一下罢了。结果，我们需要的Wald统计量为（其中C为R的导数，不用记，用delta method现推即可）
（在H_0下）因为这个是正态平方过了，所以拒绝域为小于等于卡方分布的\alpha cutoff point。这样就很舒服了。Wald统计量算起来简单一点（不用算两个MLE；但是要多算Fisher information matrix），不过它完全是渐进的，没法做有限的level。
Score Test (Lagrange Multiplier Test)
这个跟Wald test想法类似，只不过我们的判据换成了score function S(\hat{\theta})。这个量肯定大致在0附近（因为其期望为0），不过事情坏在它不管在零假设还是备则假设下都大致在0附近。所以我们要用restricted on 子流形$\Theta_0$上面的MLE$\tilde{\theta}$来，这样在$\Theta_0^c$上面就没法保持在0附近了。最后算出渐进系数即可（还是要做把参数换成MLE这一步；注意到Fisher information matrix就是score function的协方差矩阵）：
（在H_0下）这个方法只需要算restricted MLE，经常要用上Langrange multiplier，所以也叫Lagrange multiplier test。这也只是一个渐进的test。
Chi-squared Test
(Pearson)卡方检验跟前面的三种做法完全不同，它的检验统计量是直接给出的，不用费力气算；而且它并不是把试验结果看成n个iid的试验，而是一个（k个cell的广义的）Bernoulli试验，在各个cell里面做计数$X_1,\cdots,X_k$，其分布是multinomial（不管产生随机数是什么分布）。这种cell有时候得手动分，比如连续分布就必须得手动分。这个时候参数空间就不是原来的参数空间了，而是multinomial distribution的参数$(p_1,\cdots,p_k)$。然后零假设依然是这个空间上的一个子流形。
首先考虑经典的情况，即这个子流形是零维的。此时我们都熟知的卡方统计量可以取以下两种：
注意到这两个量是恒正的，而且越小说明H_0越有可能成立。
对于一般的子流形，上面的p不是一个值，所以必须要换。换的方法是把子流形做参数化：$p=p(\theta)$，其中$\theta$有s(<k)个（最极端的情况也只能是$s=k-1$，因为全部p_i求和应该是1，至少有这么一个限制），也就是说有r个自由度。这样我们把$p(\theta)$换成$p(\hat{\theta})$，其中$\hat{\theta}$是$\theta$的MLE（当然是在H_0下的MLE，H_1下已经没有所谓参数\theta了）。
最后，自由度也要改。结果为：
这样事情也就完成了。很多问题前面几种办法都超过手算极限了，用卡方总是能行的。
最后还有Bayes方法，这跟前面完全不是一路子，不写了。
