2.1 基础
背景与概率论复习
描述离散随机变量概率的函数 \(p(X)\) 称为概率质量函数 PMF. 若一个随机变量的概率不影响另一个的概率，则二者相互独立。此时，两个随机变量的联合概率等于各自概率的乘积 $$ p(X,Y) = p(X)p(Y). $$
一般地，有 $$ p(X,Y) = p(X)p(Y|X) $$ 其中 \(p(Y|X)\) 是给定 \(X\) 时 \(Y\) 的条件概率.
标准均匀随机变量记作 \(\xi\)，其在 \([0, 1)\) 上均匀分布。可以将其映射为离散随机变量：当
$$ \sum_{j=1}^{i-1}p_j\le\xi\lt\sum_{j=1}^{i}p_j $$ 时，选择 \(X_i\).
随机变量的累积分布函数 CDF \(P(x)\) 定义为该变量取值小于等于某值 \(x\) 的概率： $$ P(x)=\mathrm{Pr}\lbrace X\le x\rbrace. $$
连续随机变量的取值范围是连续域，如实数、单位球面上的方向、场景中形状的表面等。概率密度函数 PDF 描述随机变量取特定值的相对概率，是 PMF 的连续对应。PDF \(p(x)\) 是 CDF 的导数 $$ p(x)=\dfrac{\mathrm{d} P(x)}{\mathrm{d}x}. $$
PDF 必然非负，且在其域上的积分始终为 1。但某点处的 PDF 值不一定小于 1。
给定域中的区间 \([a, b]\) ，对 PDF 积分可得到随机变量落在该区间内的概率： $$ \mathrm{Pr}\lbrace x\in[a, b]\rbrace = \int_a^bp(x)\mathrm{d}x = P(b) - P(a) $$ 这直接由微积分基本定理和 PDF 的定义得出。
期望
函数 \(f(x)\) 的期望 \(E_p[f(x)]\) 定义为该函数在其域 \(D\) 上某分布 \(p(x)\) 下的平均值： $$ E_p[f(x)] = \int_Df(x)p(x)\mathrm{d}x. $$
期望具有以下性质： $$ E[af(x)] = aE[f(x)] $$ $$ E\left[\sum_{i=1}^nf(X_i)\right]=\sum_{i=1}^nE[f(X_i)] $$
蒙特卡洛估计量
假设要计算一维积分 \(\int_a^bf(x)\mathrm{d}x\)。给定一系列独立的均匀随机变量 \(X_i\in[a,b]\)，蒙特卡洛估计量 $$ F_n = \dfrac{b-a}{n}\sum_{i=1}^nf(X_i) $$ 的期望 \(E[F_n]\) 等于该积分.
证明
首先可知 \(X_i\) 的 PDF \(p(x) = 1/(b-a)\)，那么有 $$ \begin{aligned} E[F_n] &= E\left[\dfrac{b-a}{n}\sum_{i=1}^nf(X_i)\right] \\ &= \dfrac{b-a}{n}\sum_{i=1}^nE[f(X_i)] \\ &= \dfrac{b-a}{n}\sum_{i=1}^n\int_a^bf(x)p(x)\mathrm{d}x \\ &= \dfrac{1}{n}\sum_{i=1}^n\int_a^bf(x)\mathrm{d}x \\ &= \int_a^b f(x)\mathrm{d}x. \end{aligned} $$
将此估计量扩展到多维或复杂积分域很直接：从均匀多维 PDF 中抽取 \(n\) 个独立样本 \(X_i\)，并以相同方式估计。
例子
考虑三重积分 $$ \int_{z_0}^{z_1}\int_{y_0}^{y_1}\int_{x_0}^{x_1}f(x,y,z)\mathrm{d}x\mathrm{d}y\mathrm{d}z. $$ 若样本 \(X_i = (x_i, y_i, z_i)\) 自立方体 \([x_0, x_1]\times[y_0, y_1]\times[z_0, z_1]\) 中均匀选取，则 PDF 为常数 $$ \dfrac{1}{x_1-x_0}\dfrac{1}{y_1-y_0}\dfrac{1}{z_1-z_0} $$ 则估计量为 $$ \dfrac{(x_1-x_0)(y_1-y_0)(z_1-z_0)}{n}\sum_{i=1}^nf(X_i). $$
进行推广以放宽对于均匀随机的限制。若 \(X\) 自 PDF \(p(x)\) 中抽取，则 $$ F_n = \dfrac{1}{n}\sum_{i=1}^n\dfrac{f(X_i)}{p(X_i)} $$ 可用于估计积分。对 \(p(x)\) 的唯一限制是其必须在所有 \(|f(x)>0|\) 的 \(x\) 点处非零。