3.3 多维随机变量的分布 - 连续的情况

作者: Megahorn | 来源:发表于2019-05-31 16:18 被阅读0次

3.3 多维随机变量的分布 - 连续的情况
3.3 多维随机变量的分布 - 离散的情况
R可视化处理常用的概率函数图——离散型
大数据中的统计学基础——Day5
【题型】一维随机变量及其分布
2019-10-23
Biostatistics(7)概率与概率分布
统计机器学习 -- 目录
R可视化处理常用的概率函数图——连续型
复习

连续的情况

定理3.3.1 连续场合的卷积公式：设 $X$ 与 $Y$ 是两个相互独立的连续随机变量，其密度函数分别为 $p_X(x)$ 和 $p_Y(y)$ ，则其和 $X=Z+Y$ 的密度函数为
$p_Z(z)=\int_{-\infty}^{\infty}p_X(z-y)p_Y(y)dy$
$\qquad \quad=\int_{-\infty}^{\infty}p_X(x)p_Y(z-x)dx$
证明：

$Z=X+Y$ 的分布函数为
$F_Z(z)=P(X+Y\leqslant Z)$
$\qquad \quad =\iint_{x+y\leqslant z}p_X(x)p_Y(y)dxdy$
$\quad \qquad =\int_{-\infty}^{\infty}\left\{ \int_{-\infty}^{z-y}p_X(x)dx \right\} p_Y(y)dy$
$\qquad \quad =\int_{-\infty}^{\infty}\int_{-\infty}^{z}p_X(t-y)p_Y(y)dtdy$
$\qquad \quad =\int_{-\infty}^{z}(\int_{-\infty}^{\infty}p_X(t-y)p_Y(y)dy)dt$
由此可得 $X$ 的密度函数为
$p_Z(z)=\int_{-\infty}^{\infty}p_X(z-y)p_Y(y)dy$
在上式积分中另 $z-y=x$ ，则可得
$\int_{-\infty}^{\infty}p_X(x)p_Y(z-x)dx$

这就是连续场合下的卷积公式。

正态分布的可加性（例3.3.7）：设随机变量 $X\sim N(\mu_1,\sigma_1^2),Y\sim N(\mu_2,\sigma_2^2)$ ，且X与Y独立，则 $Z=X+Y\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$
证明：

$Z=X+Y$ 仍在 $(-\infty,\infty)$ 上取值，利用卷积公式可得
$p_Z(z)=\frac{1}{2\pi\sigma_1\sigma_2}\int_{-\infty}^{\infty}exp\left\{ -\frac{1}{2}[\frac{(z-y-\mu_1)^2}{\sigma_1^2}+\frac{(y-\mu_2)^2}{\sigma_2^2}] \right\}dy$
对上式被积函数中的指数部分按 $y$ 的幂次展开，再合并同类项，不难得到 @TODO
$\frac{(z-y-\mu_1)^2}{\sigma_1^2}+\frac{(y-\mu_2)^2}{\sigma_2^2}=A(y-\frac{B}{A})^2+\frac{(z-\mu_1-\mu_2)^2}{\sigma_1^2+\sigma_2^2}$
其中
$A=\frac{1}{\sigma_1^2}+\frac{1}{\sigma_2^2},\quad B=\frac{z-\mu_1}{\sigma_1^2}+\frac{\mu_2}{\sigma_2^2}.$
代回原式，可得
$p_Z(z)=\frac{1}{2\pi\sigma_1\sigma_2}exp\left\{ -\frac{1}{2}\frac{(z-\mu_1-\mu_2)^2}{\sigma_1^2+\sigma_2^2} \right\}\cdot \int_{-\infty}^{\infty}exp\left\{ -\frac{A}{2}(y-\frac{B}{a})^2 \right\}dy$ .
利用正态密度函数的正则性@TODO，上式中的积分应为 $\sqrt{2\pi}/\sqrt{A}$ ，于是
$p_Z(z)=\frac{1}{\sqrt{2\pi(\sigma_1^2+\sigma_2^2)}}exp\left\{ -\frac{1}{2}\frac{(z-\mu_1-\mu_2)^2}{\sigma_1^2+\sigma_2^2} \right\}$ .
这正是数学期望为 $\mu_1+\mu_2$ ，方差为 $\sigma_1^2+\sigma_2^2$ 的正态密度函数。

$Q.E.D.$

上述结论表明：

两个独立的正态变量之和仍为正态变量，其分布的两个参数对应相加，即
$N(\mu_1,\sigma_1^2)\ast N(\mu_2,\sigma_2^2)=N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$ .
随机变量 $X\sim N(\mu,\sigma^2)$ ，由于对任意非零实数 $a$ 有 $aX\sim N(a\mu,a^2 \sigma^2)$ ，可得结论：
任意 $n$ 个相互独立的正态变量的线性组合仍是正态变量，即
$a_1X_1+a_2X_2+…+a_nX_n\sim N(\mu_0,\sigma_0^2)$
若记 $X_i\sim N(\mu_i,\sigma_i^2),i=1,2,…,n$ ，则参数 $\mu_0$ 与 $\sigma_0^2$ 分别为
$\mu_0=\sum_{i=1}^{n}a_i\mu_i, \quad \sigma_0^2=\sum_{i=1}^{n}a_i^2\sigma_i^2$ .

伽玛分布的可加性（例3.3.8）：设随机变量 $X\sim Ga(\alpha_1,\lambda),Y\sim Ga(\alpha_2,\lambda)$ ，且 $X,Y$ 独立，则 $Z=X+Y\sim Ga(\alpha_1+\alpha_2,\lambda)$
证明：

$Z=X+Y$ 在 $(0,\infty)$ 上取值，所以
当 $z\leqslant 0$ 时， $p_Z(z)=0$
当 $z>0$ 时，由卷积公式，此时被积函数p_X(z-y)p_Y(y)得非零区域为 $0<y<z$ ，故
$p_Z(z)=\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{z}(z-y)^{\alpha_1-1}e^{-\lambda(z-y)}\cdot y^{\alpha_2-1}e^{-\lambda(y)}dy$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{z}(z-y)^{\alpha_1-1}y^{\alpha_2-1}\cdot e^{-\lambda(z-y)-\lambda(y)}dy$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{z}(z-y)^{\alpha_1-1}y^{\alpha_2-1}dy$
令 $y=zt$ ，代入上式 @TODO
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{{\color{red} z}}(1-t)^{\alpha_1-1}t^{\alpha_2-1}z^{a_1+a_2-1}{\color{red} {z^{-1}}}d({\color{red} z}t)$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}\int_{0}^{{\color{red} 1}}(1-t)^{\alpha_1-1}t^{\alpha_2-1}z^{a_1+a_2-1}dt$
$\qquad = \frac{\lambda^{\alpha_1+\alpha_2}e^{-\lambda z}}{\Gamma(\alpha_1)\Gamma(\alpha_2)}z^{a_1+a_2-1}\int_{0}^{1}(1-t)^{\alpha_1-1}t^{\alpha_2-1}dt$
最后的积分是贝塔函数，它等于 $\Gamma(\alpha_1)\Gamma(\alpha_2)/\Gamma(\alpha_1+\alpha_2)$ ，代入上式得
$p_Z(z)=\frac{\lambda^{\alpha_1+\alpha_2}}{\Gamma(\alpha_1+\alpha_2)}z^{a_1+a_2-1}e^{-\lambda z}$
这正是形状参数为 $\alpha_1+\alpha_2$ ，尺度参数仍为 $\lambda$ 的伽玛分布。

$Q.E.D.$

这个结论表明：

两个尺度参数相同的独立的伽玛变量之和仍为伽玛变量，其尺度参数不变，而形状参数相加，即
$Ga(\alpha_1,\lambda)\ast Ga(\alpha_2,\lambda)=Ga(\alpha_1+\alpha_2,\lambda)$
以上结论可以推广到有限个尺度参数相同的独立伽玛变量之和上
$Ga(\alpha_1,\lambda)\ast Ga(\alpha_2,\lambda)\ast …\ast Ga(\alpha_m,\lambda)=Ga(\alpha_1+\alpha_2+…+\alpha_m,\lambda)$
伽玛分布的特例①：指数分布
$Exp(\lambda)=Ga(1,\lambda)$ ，有
$m$ 个独立同分布的指数变量之和为伽玛变量，即
$\underbrace{Exp(\lambda)\ast Exp(\lambda)\ast…\ast Exp(\lambda)}_{m个}=Ga(m,\lambda)$
伽玛分布的特例②：卡方分布
$\chi^2(n)=Ga(\frac{n}{2},\frac{1}{2})$ ，有
$m$ 个独立的 $\chi^2$ 变量之和为 $\chi^2$ 变量（ $\chi^2$ 分布的可加性），即
$\chi^2(n_1)\ast \chi^2(n_2)\ast …\ast \chi^2(n_m)=\chi^2(n_1+n_2+…+n_m)$

变量变换法

变量变换法
二重积分的变量变换法
TBD

增补变量法

积的公式
TBD
商的公式
TBD

3.3 多维随机变量的分布 - 连续的情况
连续的情况定理3.3.1 连续场合的卷积公式：设与是两个相互独立的连续随机变量，其密度函数分别为和，则其和的密度...
3.3 多维随机变量的分布 - 离散的情况
离散的情况离散场合的卷积公式相互独立，对任意非负整数k，有该公式被称为离散情况下的卷积公式泊松分布的可加性（例...
R可视化处理常用的概率函数图——离散型
一般情况下，随机变量有连续型随机变量和连续型随机变量，因此对应分布的概率函数也分为两种，即分布律（离散型的随机变量...
大数据中的统计学基础——Day5
本章内容：导数与微积分公式二维随机变量、联合分布多维随机变量、边缘分布条件分布随机变量之间的独立性一、...
【题型】一维随机变量及其分布
分布函数的性质离散型随机变量连续型随机变量正态分布均匀分布一维随机变量函数的分布
2019-10-23
1.6 多维随机变量及其分布： 1.6.1 离散型多维随机变量：随着科学的发现和概率统计应用的不断推广，在有些随...
Biostatistics(7)概率与概率分布
3.3 概率分布 3.3.1 离散型随机变量若随机变量的取值为有限个或可列个，则称此随机变量为离散型(discr...
统计机器学习 -- 目录
概率基础随机变量1 随机变量2 高斯分布连续分布例子 scale mixture pisribarin je...
R可视化处理常用的概率函数图——连续型
对于连续型连续型的随机变量的分布，我们叫做密度函数； ①正态分布正态分布：norm（，^2)，它是一种连续型分布...
复习
1.随机事件和概率 2.随机变量及其分布 3.多维随机变量及其分布 4.大数定律和中心极限定理 5.统计量及其分布...