ch1-统计学习方法概论

遇到的疑惑

1. 风险函数

   • 经验风险最小化：

     • 需要手动推导：模型是条件概率分布，损失函数是对数损失函数，则其经验风险最小化等价于极大似然函数。这里可以用逻辑回归举例
     • 极大似然估计的一个思想：既然发生了，那么该事件出现的概率其实就是很大的，用已经发生的事件去估计
   • 未知的参数相对更为准确（频率派）

$$\theta = arg Max \quad P(X;\theta) \\ = arg Max \quad \sum_{i=1}^{n} log(x_{i},\theta) \\ = arg Min \quad -\sum_{i=1}^{n} log(x_{i},\theta)$$

​

​

• 结构风险最小化：

  • 模型是条件概率分布，损失函数事对数损失函数，模型复杂度由模型的先验概率表示时。结构风险等价于最大后验概率估计

  • 这一点没有太理解。。

    • 相关链接：
  1. 极大似然和最大后延
  2. MLE与MAP (ps:这篇写得更好)

先验分布是均匀分布的时候，MLE 等价于 MAP。

课后习题

如上公式（1) ，已经证明。