最大似然估计把已经观察到的样本视为固定结果,寻找最能使这些结果出现的参数值。本课将从似然函数的含义出发,分别完成伯努利分布和指数分布的估计,并说明对数似然与边界检查为什么不可省略。
设观测到独立同分布样本 ,其概率质量函数或密度函数为 。把样本值固定、把参数 当作变量,得到似然函数
最大似然估计就是在参数空间内寻找使 最大的值:
似然函数用于比较不同参数对同一组数据的解释能力,它不是“参数本身的概率分布”。没有引入先验分布时,也不能把似然值直接理解为参数取某个值的概率。

设 ,样本中共有 次成功。由于每个观测值只能为 或 ,似然函数为
当 时,取对数得到
令导数为零:
解得
若样本全为 ,最大值出现在边界 ;若样本全为 ,最大值出现在边界 。这说明最大似然估计不能只会求驻点,还要检查参数空间边界。
若 ,其密度为 ,其中 、。似然函数为
取对数后得到
令一阶导数为零,可得
二阶导数为 ,因此该驻点确为极大值。实际计算通常优先最大化对数似然,因为乘积会变成求和,既便于求导,也能降低大量小概率相乘导致的数值下溢。
当分布的支持区间也依赖参数时,例如 ,必须把样本必须落在区间内的条件写入似然函数。此时最大值常出现在边界,而不是一阶导数等于零的位置。