《假设检验中用到的基础知识与变量》

实验组 $X{1}$ ，样本数 $n{1}$ ，样本均值 $\overline x{1}$ ,总体均值 $u{1}$ ，总体方差 $\sigma^{2}{1}$ ，同理对于对照组 $X{0}$ 也有此变量。
实验中我们假设 $X,Y$ 是满足独立同分布（iid）的，样本量也基本远远大于 30 ，所以根据中心极限定理可得：

$$\bar{x} \sim N\left(\mu_{1}, \frac{\sigma_{1}^{2}}{n_{1}}\right), \bar{y} \sim N\left(\mu_{0}, \frac{\sigma_{0}^{2}}{n_{0}}\right)$$

中心极限定理，变量 $X$ 独立同分布且有公共的期望和方差，则 ：

$$\lim _{n \rightarrow \infty} \frac{1}{\sqrt{n} \sigma}\left(X_{1}+\cdots+X_{n}-n \mu\right)=\Phi(x)$$

其中 $\Phi(x)$ 为标准正态分布，则可以反推出

$$\sum_{i=1}^{n}X_{i} \sim N(n\mu,n\sigma^{2})$$

又因为

$${1 \over n }\sum_{i=1}^{n}X_{i} = \overline x$$

所以由（2）（3）（4） 可得（1）
同时也有通俗理解，即对于整体做足够多次数的抽样，其均值的分布服从以总体均值和方差为参数的正态分布
零假设：

$$H_{0}:\left|\frac{\mu_{1}-\mu_{0}}{\mu_{0}}\right| \leq \delta$$

$\delta$ 可以理解为业务上想要的相对提升，称之为业务敏感度，不过这里为什么零假设会是小于等于 $\delta$ 呢？
因为零假设一般是我们希望证明其为错误的假设（即业务上这个变动没有用），通过严格控制显著性水平（一般 0.05 ），我们就可以通过拒绝零假设进而选择我们的备择假设 （变动有用）
显著检验
当 $\delta = 0 $ 的时候，为显著检验，零假设则为 $H{0}: \mu{1}-\mu{0}=0$ ,备择假设为 $H{1}: \mu{1}-\mu{0} \neq 0$ ，可得：

$$\bar{x}_{1}-\bar{x}_{0} \sim N\left(\mu_{1}-\mu_{0}, \frac{\sigma_{0}^{2}}{n_{0}}+\frac{\sigma_{1}^{2}}{n_{1}}\right)$$

因为我们的 $\bar{x}{1},\bar{x}{0} $ 均为正态分布，从数学上可以证明两个或者多个独立的正态分布相加或者相减，其分布依旧为正态分布，由此得到我们的统计检验量：

$$t=\frac{\bar{x}_{1}-\bar{x}_{0}}{\sqrt{\frac{\sigma_{0}^{2}}{n_{0}}+\frac{\sigma_{1}^{2}}{n_{1}}}}$$

则可以得到：

$$\frac{\bar{x}_{1}-\bar{x}_{0}-\left(\mu_{1}-\mu_{0}\right)}{\sqrt{\frac{\sigma_{0}^{2}}{n_{0}}+\frac{\sigma_{1}^{2}}{n_{1}}}} \sim N(0,1)$$

从图片来理解:
pass
所以此时我们只需要计算出统计检验量的样本观察值即可判断是否拒绝零假设。当然这里是双侧置信区间，也还有单侧置信区间，这里不表。
P值
P值：由检验统计量的样本观察值得出的原假设可被拒绝的最小显著性水平。或者也可以理解为：

$$P{当 H_{0} 为真时拒绝 H_{0}}<= \alpha $$ 即公式表达为$P\left(t>Z_{1-\frac{\mathrm{e}}{2}} \mid H_{0}\right) \times 2$，展开则为：$$

p= \begin{cases}\left(1-\Phi\left(\frac{\bar{x}{1}-\bar{x}{0}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}\right)\right) \times 2 & , t \geq 0 \ \Phi\left(\frac{\overline{x{1}-\bar{x}{0}}}{\sqrt{\frac{\sigma{0}^{2}}{\overline{n{0}}}+\frac{\sigma{1}^{2}}{n{1}}}}\right) \times 2 & , t<0\end{cases}

$$画个图通俗理解下，这里的 $p，\alpha$ 个人理解都是代表了概率，拒绝 $H_{0}$ 的 情况下 $p$ 的概率小于显著性水平，即落在了拒绝域上面。  power 统计功效：不犯第二类错误的概率 画图理解：  所以我们统计功效的计算公式则为 $1-\beta$ 的概率：$$

\begin{aligned}
\operatorname{power}\left(h{1}\right) &=P\left(t>Z{1-\frac{\alpha}{2}} \mid H{1}\right)+P\left(tZ{1-\frac{\alpha}{2}} \mid H{1}\right)+P\left(\frac{\bar{x}{1}-\bar{x}{0}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}Z{1-\frac{g}{2}} \mid H{1}}\right)+P\left(\frac{\bar{x}{1}-\bar{x}{0}-h{1}+h{1}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}Z{1-\frac{\alpha}{2}}-\frac{h{1}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}} \mid H{1}\right)+P\left(\frac{\bar{x}{1}-\bar{x}{0}-h{1}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}<Z{\frac{\alpha}{2}}-\frac{h{1}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}} \mid H{1}\right) \
&=1-\Phi\left(Z{1-\frac{\alpha}{2}}-\frac{h{1}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}\right)+\Phi\left(Z{\frac{\alpha}{2}}-\frac{h{1}}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}\right) \approx 1-\Phi\left(Z{1-\frac{\alpha}{2}}-\frac{\left|h{1}\right|}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}\right)
\end{aligned}

$$其中 $h_{1} $ 表示$ u_{1} - u_{0} $ 的真实差异值。 等效检验推导基本同理。 最小样本数的推导 依然以双样本显著性检验举例，实际情况中为了便于计算，我们可以假设不同组的样本量大小和方差一致，即 $n_{0}=n_{1}=n, \sigma=\sigma_{0}=\sigma_{1}$$$

\begin{aligned}
&1-\beta \approx 1-\Phi\left(Z{1-\frac{\alpha}{2}}-\frac{\Delta}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}\right) \
&\beta=\Phi\left(Z{1-\frac{\alpha}{2}}-\frac{\Delta}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}}\right) \
&Z{\beta}=Z{1-\frac{\alpha}{2}}-\frac{\Delta}{\sqrt{\frac{\sigma{0}^{2}}{n{0}}+\frac{\sigma{1}^{2}}{n{1}}}} \
&n=2 \times\left(\frac{\sigma \cdot\left(Z{1-\alpha / 2}-Z{\beta}\right)}{\Delta}\right)^{2}
\end{aligned}

$$
这里的公式 2 到公式 3 是从概率值到 $Z$ 分布值等价映射，因为 $\phi(x)$ 本身就表示了标准正态分布。
单侧检验推导过程同理。