SLAM 公开课笔记 1：高斯分布

最近宾大在 Coursera 上开了一个机器人系列课程，包含了视觉、运动规划、机械设计等课题。我对 SLAM 很感兴趣，于是就选了 Robotics Estimation and Learning 这门课，课程主页是https://www.coursera.org/learn/robotics-learning/。第一周的内容是高斯分布。

一元高斯分布

给定数据集 $\left\{x_i\right\}$，可以通过最大似然 (Maximum Likelihood Estimate) 来估计均值 $\mu$ 和标准差 $\sigma$ $$\hat{\mu },\hat{\sigma }=\underset{\mu ,\sigma }{argmax}p\left(\right\{x_i\}|\mu ,\sigma )$$

假设所有观测数据独立分布，则有

$$p\left(\right\{x_i\}|\mu ,\sigma )=\prod _{i=1}^{N}p(x_i|\mu ,\sigma )$$

解这个优化函数：

$$\begin{array}{cc}\hat{\mu },\hat{\sigma }& =\underset{\mu ,\sigma }{argmax}\prod _{i=1}^{N}p(x_i|\mu ,\sigma )\\ & =\underset{\mu ,\sigma }{argmax}\prod _{i=1}^N\ln p(x_i|\mu ,\sigma )\\ & =\underset{\mu ,\sigma }{argmax}\prod _{i=1}^N\ln \left(\frac{1}{\sqrt{2\pi }\sigma }\exp \right(-\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\left)\right)\end{array}$$

设损失函数 $J(\mu ,\sigma )={\sum }_{i=1}^N(\frac{(x_i-\mu {)}^2}{2{\sigma }^2}+\ln \sigma )$，则有 $\hat{\mu },\hat{\sigma }={argmin}_{\mu ,\sigma }J(\mu ,\sigma )$

$$\begin{array}{cc}\frac{\partial J}{\partial \mu }& =\frac{\partial }{\partial \mu }\sum _{i=1}^N(\frac{(x_i-\mu {)}^2}{2{\sigma }^2}+\ln \sigma )=\sum _{i=1}^N\left(\frac{\partial }{\partial \mu }\frac{(x_i-\mu {)}^2}{2{\sigma }^2}\right)\\ \frac{\partial J}{\partial \sigma }& =\frac{\partial }{\partial \sigma }\sum _{i=1}^N(\frac{(x_i-\mu {)}^2}{2{\sigma }^2}+\ln \sigma )=\left(\frac{\partial }{\partial \sigma }\frac{1}{2{\sigma }^2}\right)\left(\sum _{i=1}^N\right(x_i-\mu {)}^2)+\frac{N}{\sigma })\end{array}$$

求极值令两式都为 0，可以解得 $$\begin{array}{cc}\hat{\mu }& =\frac{1}{N}\sum _{i=1}^N{x}_i\\ {\hat{\sigma }}^2& =\frac{1}{N}\sum _{i=1}^N(x_i-\hat{\mu }{)}^2\end{array}$$

多元高斯分布

$$p\left(x\right)=\frac{1}{(2\pi {)}^{\frac{D}{2}}|\Sigma {|}^{\frac{1}{2}}}\exp (-\frac{1}{2}(xx-\mu \mu {)}^T{\Sigma }^{-1}(xx-\mu \mu ))$$

• $D$: 维数
• $XX$: 数据集
• $\mu \mu$: 均值向量
• $\Sigma$: 协方差矩阵 (covariance matrix)，对角线元素表示方差，非对角线元素表示变量相关性

用最大似然估计多元高斯分布：

$$\widehat{\mu \mu },\hat{\Sigma }=\underset{\mu \mu ,\Sigma }{argmax}p\left(\right\{x{x}_i\}|\mu \mu ,\Sigma )$$ 类似于一元高斯分布，假设所有观测独立，则有 $$\begin{array}{cc}\widehat{\mu \mu },\hat{\Sigma }& =\underset{\mu \mu ,\Sigma }{argmax}\prod p(x{x}_i|\mu \mu ,\Sigma )\\ & =\underset{\mu \mu ,\sigma }{argmax}\prod _{i=1}^N\ln p(x_i|\mu \mu ,\sigma )\\ & =\underset{\mu \mu ,\sigma }{argmax}\sum _{i=1}^N(-\frac{1}{2}(x{x}_i-\mu \mu {)}^T{\Sigma }^{-1}(x{x}_i-\mu \mu )-\frac{1}{2}\ln |\Sigma |+C)\\ & =\underset{\mu \mu ,\sigma }{argmin}\sum _{i=1}^N\left(\frac{1}{2}\right(x{x}_i-\mu \mu {)}^T{\Sigma }^{-1}(x{x}_i+\mu \mu )+\frac{1}{2}\ln |\Sigma |)\end{array}$$

设损失函数 $J\left(\mu ,\Sigma \mu ,\Sigma \right)={\sum }_{i=1}^N\left(\frac{1}{2}\right(x{x}_i-\mu \mu {)}^T{\Sigma }^{-1}(x{x}_i+\mu \mu )+\frac{1}{2}\ln |\Sigma |\left)\right)$，用类似估计一元高斯分布的方法，令 $\frac{\partial J}{\partial \mu \mu }$ 和 $\frac{\partial J}{\partial \Sigma }$ 为 0，可以解得 $$\begin{array}{cc}\widehat{\mu \mu }& =\frac{1}{N}\sum _{i=1}^{N}x{x}_i\\ \hat{\Sigma }& =\frac{1}{N}\sum _{i=1}^N(x{x}_i-\widehat{\mu \mu })(x{x}_i-\widehat{\mu \mu }{)}^T\end{array}$$

高斯混合模型 (Gaussian Mixture Model)

GMM 就是多个高斯模型的加权和：

$$p\left(x\right)=\sum _{k=1}^K{w}_k{g}_k(xx|u{u}_k,{\Sigma }_k)$$

• $g_k$: 单个高斯分布函数
• $w_k$: 权值函数，总和为 1

解 GMM 的方法之一就是 EM (Expectation-Maximization)。

EM 法解 GMM

引入隐含变量 $$z_k^i=\frac{g_k\left(x{x}_i\right)|u{u}_k,{\Sigma }_k}{{\sum }_{k=1}^K{g}_k\left(x{x}_i\right)|u{u}_k,{\Sigma }_k}$$

$z_k^i$ 的表示第 i 个观测数据中，第 k 个高斯函数占全体的比重，直观表示如下图

均值向量和协方差矩阵可以通过 $z_k$ 估计 $$\begin{array}{cc}{\widehat{\mu \mu }}_k& =\frac{1}{z_k}\sum _{i=1}N{z}_k^{i}x{x}_i\\ {\hat{\Sigma }}_k& =\frac{1}{z_k}\sum _{i=1}N{z}_k^i(x{x}_i-\widehat{{\mu }_k{\mu }_k})(x{x}_i-\widehat{{\mu }_k{\mu }_k}{)}^T\\ z_k& =\sum _{i=1}^N{z}_k^i\end{array}$$

EM 法具体过程

1. 初始化 $\mu \mu$ and $\Sigma$
2. 固定 $\mu \mu$ 和 $\Sigma$，并更新 $z_k^i$ 的值 (E-step)
3. 固定 $z_k^i$，并更新 $\mu \mu$ 和 $\Sigma$ 的值 (M-step)
4. 重复第 2、3 步，直到稳定

全课程的笔记链接

• Robotics Estimation and Learning 的课程主页
• 第一周笔记：高斯分布
• 第二周笔记：卡尔曼滤波
• 第三周笔记：地图
• 第四周笔记：定位