最大似然估计

最大似然估计(Maximum Likelihood Estimation, MLE)是一种利用已知样本结果信息，来反推最可能导致这种结果出现的模型参数的方法。使用最大似然估计估算模型参数要求采样是独立同分布的。假设有一系列独立同分布的采样 $\lbrace x_1, x_2, …, x_n\rbrace$ , $f$ 是分布的模型，$\theta$ 是参数，则上述采样可以表示为

\[f(x_1, x_2, ..., x_n \vert \theta) = \prod_{i=1}^n f(x_i \vert \theta)\]

由于参数 $\theta$ 未知，我们定义似然函数

\[L(\theta) = f(x_1, x_2, ..., x_n \vert \theta) = \prod_{i=1}^n f(x_i \vert \theta)\]

估计模型参数就是求解使得似然函数 $L(\theta)$ 最大的 $\hat{\theta}$。为了便于求解，我们对 $L(\theta)$ 求对数得

\[\ln L(\theta) = \sum_{i=1}^n f(x_i \vert \theta)\]

$\ln L(\theta)$ 即为对数似然函数

\[\hat{\theta} = \mathop{argmax}_{\theta} \ln L(\theta)\]

为了求解 $\hat{\theta}$, 我们可以对 $\ln L(\theta)$ 求导，并令其值等于零，解关于 $\theta$ 的方程即可。最大似然估计的一般求解过程为：

1. 写出似然函数
2. 对似然函数取对数并整理
3. 求导
4. 解似然方程

一个例子

假设我们有一系列服从正态分布 $N(\mu, \sigma^2)$ 的样本 $\lbrace x_1, x_2, …, x_n \rbrace$, 正态分布的参数 $\mu$ 和 $\sigma^2$ 未知。为了估计参数，我们可以先写出似然函数

\[\begin{split} L(\mu, \sigma^2) & = \prod_{i=1}^n \frac{1}{\sqrt{2 \pi} \sigma} e^{-{\frac{(x_i - \mu)^2}{2 \sigma^2}}} \\ & = (2 \pi \sigma^2)^{-{n \over 2}} e^{-\frac{\sum_{i=1}^n (x_i-u)^2}{2 \sigma^2}} \end{split}\]

两边同时取对数

\[\ln L(\mu, \sigma^2) = -{n \over 2}\ln (2 \pi \sigma^2) - \frac{1}{2 \sigma^2} \sum_{i=1}^n (x_i-\mu)^2\]

对参数求导

\[\begin{cases} & \frac{\partial L(\mu, \sigma^2)}{\mu} = \frac{1}{\sigma^2} \sum_{i=1}^n (x_i-u) \\ & \frac{\partial L(\mu, \sigma^2)}{\sigma^2} = -\frac{n}{2\sigma^2} + \frac{\sum_{i=1}^n (x_i-u)^2}{2} (\frac{1}{\sigma^2})^2 \end{cases}\]

令上式等于0，可得

\[\begin{cases} \hat{\mu} = \bar{x} = {1 \over n} \sum_{i=1}^n x_i \\ \hat{\sigma^2} = {1 \over n} \sum_{i=1}^n (x_i-\bar{x})^2 \end{cases}\]