【让AI飞】随机变量与概率分布(Random variables & Probability distribution)

随机变量指的是可以随机地取不同值的变量。在字母表示中，

• 对于标量值随机变量，$x_1,x_2$ 都是随机变量 $\text x$可能的取值
• 对于向量型随机变量，我们说一个随机变量 $\mathtt x$, 它的一个可能取值是 $\mathcal x$

一个随机变量仅仅表示一个可能取得的状态，还必须给定与之相伴的概率分布来制定每个状态的可能性。用来描述随机变量或一簇随机变量的每一个可能的状态的可能性大小的方法，就是 概率分布(probability distribution).

随机变量可以分为

• 离散型随机变量
• 连续型随机变量

相应的描述其概率分布的函数是

• 概率质量函数(Probability Mass Function, PMF):描述离散型随机变量的概率分布，通常用大写字母 $P$表示
• 概率密度函数(Probability Density Function, PDF):描述连续型随机变量的概率分布，通常用小写字母 $p$表示

离散型随机变量和概率质量函数

PMF 将随机变量能够取得的每个状态映射到随机变量取得该状态的概率。

• 一般而言，$P(x)$ 表示 $\text x = x$ 时的概率、
• 有时候为了防止混淆，要明确写出随机变量的名称 $P(\text x = x)$
• 有时候需要先定义一个随机变量，然后制定它遵循的概率分布 $\text x \sim P(\text x)$

PMF 可以同时作用于多个随机变量，即联合概率分布(joint probability distribution)
P(x=x,y=y)

P

(

x

=

x

,

y

=

y

)

$P(\text x = x, \text y = y)$ 表示
x=x

x

=

x

$\text x = x$ 和
y=y

y

=

y

$\text y = y$ 同时发生的概率，也可以简写成
P(x,y)

P

(

x

,

y

)

$P(x,y)$.

如果一个函数
P

P

$P$ 是随机变量 x

$\text{x}$

$\text x$ 的 PMF， 那么它必须满足如下三个条件

• $P$的定义域必须是$\text x$的所有可能状态的集合
• $\forall x \in \text x$, 0 \leq P(x) \leq 1 $.
• $\sum_{x \in \text x}P(x) = 1$. 我们把这一条性质称之为 归一化的(normalized)

连续型随机变量和概率密度函数

如果一个函数
p

p

$p$ 是x

$\text{x}$

$\text x$的PDF，那么它必须满足如下几个条件

• $p$ 的定义域必须是 $\text x$ 的所有可能状态的集合。
• $\forall x \in \text x, p(x) \geq 0$. 注意，我们并不要求 $p(x) \leq 1$，因为此处 $p(x)$ 不是表示的对应此状态具体的概率，而是概率的一个相对大小(密度)。具体的概率，需要积分去求
• $\int p(x)dx = 1$, 积分下来，总和还是1，概率之和还是1.

再强调一遍，PDF
p(x)

p

(

x

)

$p(x)$并没有直接对特定的状态给出概率，给出的是密度，相对的，它给出了落在面积为
δx

δ

x

$\delta x$的无线小的区域内的概率为
p(x)δx

p

(

x

)

δ

x

$p(x)\delta x$. 由此，我们无法求得具体某个状态的概率，我们可以求得的是 某个状态
x

x

$x$ 落在 某个区间[a,b]

$[a,b]$

$[a,b]$内的概率为
∫bap(x)dx

∫

a

b

p

(

x

)

d

x

$\int _a^bp(x)dx$.