多元正态分布的条件分布与边缘分布 - 好文

<>问题概述

问题是这样的，一个nnn元的随机向量
x=[x1x2]x = \left [ \begin{matrix}x_1 \\ x_2\end{matrix} \right ]x=[x1x2]
服从正态分布N(x,μ,Σ)N(x,\mu,\Sigma)N(x,μ,Σ)，其中

μ=[μ1μ2]\mu = \left [ \begin{matrix}\mu_1 \\ \mu_2\end{matrix} \right ]μ=[μ1μ2
]

Σ=[Σ11Σ12Σ21Σ22]\Sigma = \left [ \begin{matrix}\Sigma_{11}&\Sigma_{12} \\
\Sigma_{21}&\Sigma_{22}\end{matrix} \right ]Σ=[Σ11Σ21Σ12Σ22]

注意到，x1x_1x1和x2x_2x2的维度分别是ppp和qqq，且p+q=np+q=np+q=n，且有Σ=ΣT\Sigma=\Sigma^TΣ=ΣT和Σ
21=Σ21T\Sigma_{21}=\Sigma_{21}^TΣ21=Σ21T。

此时应该有如下两个结论：

结论1：
x1,x2x_1,x_2x1,x2的边缘分布也是正态分布，均值为向量μi\mu_iμi，协方差矩阵为Σii(i=1,2)
\Sigma_{ii}(i=1,2)Σii(i=1,2)。

结论2：
给定xjx_jxj时，xix_ixi的条件分布也是正态分布，均值为向量μi∣j=μi+ΣijΣjj−1(xj−μj)\mu_{i|j}=\mu_i +
\Sigma_{ij}\Sigma_{jj}^{-1}(x_j-\mu_j)μi∣j=μi+ΣijΣjj−1(xj−μj)，协方差矩阵为Σi∣j=Σ
jj−ΣijTΣii−1Σij\Sigma_{i|j}=\Sigma_{jj}-\Sigma_{ij}^T\Sigma_{ii}^{-1}\Sigma_{ij}
Σi∣j=Σjj−ΣijTΣii−1Σij

课上老师给出了结论2中关于均值和协方差矩阵的简单证明方法，我纠结的点主要在如何去证明条件分布本身是正态分布。在参考链接中得到了答案。

参考链接：
详细证明：http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html
<http://fourier.eng.hmc.edu/e161/lectures/gaussianprocess/node7.html>
A glimpse：http://www.stats.ox.ac.uk/~steffen/teaching/bs2HT9/gauss.pdf
<http://www.stats.ox.ac.uk/~steffen/teaching/bs2HT9/gauss.pdf>
问题解析出处参考：
https://stats.stackexchange.com/questions/30588/deriving-the-conditional-distributions-of-a-multivariate-normal-distribution

<https://stats.stackexchange.com/questions/30588/deriving-the-conditional-distributions-of-a-multivariate-normal-distribution>

热门工具换一换