统计方法三要素
在《统计学方法》一书中，作者将统计学算法表达为如下公式（1）
其中
- 模型就是所要学习的条件概率分布或决策函数。
- 策略就是用损失函数（cost function/loss function）来度量预测错误程度算法就是求解过程
- 算法就是求解模型的办法。
按照我的理解：
- 模型：找到一个合适的预测函数$h(\theta)$，用来预测输入的数据的判断结果，需要到数据和结果有一个分析和了解，明确问题，知道$h(\theta)$的大概形式。
- 构造一个损失函数$J(\theta)$，表示预测$\hat y$与训练数据的真实值$y$的偏差。可以是求差值或者是求对数损失。综合考虑所有训练数据的损失，
- 显然，$J(\theta)$的值越小，$h(\theta)$的越准确，所以我们显然要找到$J(\theta)$的最小值。我们一般使用的方法有梯度下降。