ch4-朴素贝叶斯

基本方法

朴素贝叶斯的两个基础：

• 贝叶斯定理
• 假设特征条件独立

给定数据集 $T$ ：

$$T = \{(x_{1},y_{1}) ,(x_{2},y_{2}) ...(x_{n},y_{n})\}$$

由 $P(X,Y)$ 独立同分布生成。

那么条件概率分布是：

$$P(X=x|Y=x_{k}) = P(x=(x_{1},x_{2}...x_{n})| Y = c_{k} )$$

因为我们假设特征条件是独立的，那么可以得到：

$$P(X=x|Y=c_{k}) = \prod_{j} P(X=x_{j}|Y=c_{k})$$

基础有了，现在对于我们一个给定的 $x$ ，我们可以通过贝叶斯定理去计算其后验概率分布，将后验分布最大值对应的类作为 $x$ 的类输出：

$$P(Y=c_{k}|X=x) = \frac{ P(X=x|Y=c_{k}) \cdot P(Y=c_{k)} }{P(X=x)}$$

相应地，公式带入一下，同时我们可以知道 $P(X=x)$ 是一个定值，其不会影响最后的结果，那么：

$$P(Y=c_{k}|X=x) = {P(X=x)} \cdot \prod_{j} P(X=x_{j}|Y=c_{k})$$

相应地，分类结果为：

$$y = arg Max \quad {P(X=x)} \cdot \prod_{j} P(X=x_{j}|Y=c_{k})$$

朴素贝叶斯法的参数估计

可以使用极大似然估计，具体地：

$$P(Y=c_{k}) = \frac {\sum_{i=1}^{n} I(y_{i} = c_{k}) } {N}$$ $$P(X_{j} = a_{jl}|Y=c_{k}) = \frac { \sum_{i=1}^{n} I(x_{i}^{j} = a_{jl},y_{i}=c_{k}) } {\sum_{i=1}^{n} I(y_{i} = c_{k}) }$$

其中 $X{j}$ 是 $x$ 的第 $j$ 个特征， $a{jl}$ 是 $x_{j}$ 第 $l$ 个可能取得的值。

贝叶斯估计

作用：解决极大似然估计可能出现的概率为 0 的情况。

公式如下：

$$P(X_{j} = a_{jl}|Y=c_{k}) = \frac { \sum_{i=1}^{n} { I(x_{i}^{j} = a_{jl},y_{i}=c_{k}) } + \lambda } {\sum_{i=1}^{n} { I(y_{i} = c_{k}) } + S_{j} \lambda }$$

其中 $\lambda >= 0$ ，等价于在随机变量的各个取值的频数上加一个正数，其中 $S_{j}$ 是该特征变量的可能取值数。读起来有点 $Beta$ 分布的感觉。

同理：

$$P(Y=c_{k}) = \frac {\sum_{i=1}^{n} {I(y_{i} = c_{k})} + \lambda } {N + K \lambda}$$

其中 $K$ 为 $Y$ 可能的取值数。

总结

朴素贝叶斯法最应理解的还是条件独立性 这一点，让计算方便了许多。