概率论基础

1.概率论

1.1 随机事件与概率

1.1.1 基本概念

​ 样本点(sample point)： 称为试验$S$的可能结果为样本点，用$\omega$表示。

​ 样本空间(sample space)：称试验$S$的样本点构成的集合为样本空间，用$\Omega$表示。于是
Ω = { ω ∣ ω 是试验 S 的样本点 } \begin{aligned} \Omega = \{\omega|\omega是试验S的样本点\} \end {aligned} Ω={ω∣ω是试验S的样本点}​

​ 事件(event)： 设$\Omega$是试验$S$的样本空间。当$\Omega$中只有有限个样本点时，称$\Omega$的子集为事件。当试验的样本点(试验结果)$\omega$落在$A$中，称事件$A$发生，否则称$A$不发生。

​ 按照上述约定，子集符号$A\subset \Omega$表示$A$是事件。通常用大写字母$A,B,C,D$等表示事件。

​ 用$\overline{A}=\Omega -A$表示集合$A$的余集。则事件$A$发生和样本点$\omega \in A$是等价的，事件$A$不发生和样本点$\omega \in \overline{A}$是等价的。

​ 空集$\varnothing$是$\Omega$的子集，由于$\varnothing$中没有样本点，永远不会发生，所以称$\varnothing$是不可能事件。$\Omega$也是样本空间$\Omega$的子集，包含了所有的样本点，因而总会发生。我们称$\Omega$是必然事件。

​ 基本事件： 由一个样本点组成的子集。

1.1.2 事件间的关系和运算

1. 事件关系

事件关系	概念	表示
事件包含	$A$发生则$B$必发生	$A\subset B$，特别的，$A\subset B$且$B\subset A$，则$A=B$
事件的并	$A$和$B$至少有一个发生	$A\cup B$
事件的交	$A$和$B$同时发生	$A\cap B$或$AB$
事件的差	$A$发生而$B$不发生	$A-B$
互斥事件	$A$和$B$不能同时发生	$A\cap B=\varnothing$或$AB=\varnothing$
对立事件	$A$和$B$必有一个发生，且仅有一个，$A$的对立事件$\overline{A}$	$A\overline{A}=\varnothing$且$A\cup \overline{A}=\Omega$

2. 运算规律

​ 交换律：$A\cup B=B\cup A$，$A\cap B=B\cap A$

​ 结合律：$(A\cup B)\cup C=A\cup (B\cup C)$，$(A\cap B)\cap C=A\cap (B\cap C)$

​ 分配律：$A\cap (B\cup C)=(A\cap B)\cup (A\cap C)$,$A\cup (B\cap C)=(A\cup B)\cap (A\cup C)$，$A(B-C)=AB-AC$

​ 吸收律：若$A\subset B$,则$AB=A,A\cup B=B$

​ 德摩根律：$\overline{A\cup B}=\overline{A}\cap \overline{B}$,$\overline{A\cap B}=\overline{A}\cup \overline{B}$

​ 减法公式：$A-B=A-AB=A\overline{B}$

1.1.3 概率

​ 频率： 相同条件下，进行$n$次试验，事件$A$发生的次数$k$和试验总次数的比$k/n$称为频率。频率是个有限次概念

​ 概率： 设$E$是随机试验，$S$是他的样本空间，对于$E$的每一事件$A$赋予一个实数，记为$P(A)$，称为事件$A$的频率

​ 频率的性质：

​ 非负性：$0\le P(A)\le 1$

​ 规范性：$P(\Omega )=1,P(\varnothing )=0$

​ 可加可列性：$A_1,A_2,...,A_n$两两互不相容(即$A_i{A}_j=\varnothing$),有$P(A_1{A}_2...A_n)=P(A_1)+P(A_2)+...+P(A_n)$

1.1.4古典概型(等可能概型)

条件： 1）有限个样本点；2）等可能性
$$\begin{array}{r}P(A)=\frac{A所包含的样本点数}{样本总数}=\frac{A_n}{n}\end{array}$$

1.1.5 几何概型

条件： 1）无限样本点；2）等可能性
$$\begin{array}{r}p(A)=\frac{{\mu }_A}{{\mu }_{\Omega }},\mu 表示几何大小的度量。\end{array}$$

1.1.6 条件概率

​ $P(B|A)$表示在事件$A$发生的条件下，事件$B$发生的概率。
$$\begin{array}{r}P(B|A)=\frac{P(AB)}{P(A)}\Rightarrow P(AB)=P(A)P(B|A)\end{array}$$
​ 一些公式：
$$\begin{array}{r}P(B\cup C|A)=P(B|A)+P(C|A)-P(BC|A)\\ 当B\cap C=\varnothing 时，P(B\cup C|A)=P(B|A)+P(C|A)\end{array}$$

$$\begin{array}{r}P(B-C|A)=P(B|A)-P(BC|A)\end{array}$$

$$\begin{array}{r}P(\overline{B}|A)=1-P(B|A)\end{array}$$

1.1.7 重要公式

1. 五大公式：

​ 加法公式：$P(A\cup B)=P(A)+P(B)-P(AB)$

​ 减法公式：$P(A-B)=P(A)-P(AB)$

​ 乘法公式：$P(AB)=P(A)P(B\mid A)$,$P(ABC)=P(C|AB)P(B|A)P(A)$,

​ $P\left(A_1{A}_2\cdots A_n\right)=P\left(A_1\right)P\left(A_2\mid A_1\right)\cdots P\left(A_n\mid A_1{A}_2\cdots A_{n-1}\right)$

​ 全概率公式：$P(B)={\sum }_{i=1}^{n}P\left(A_i\right)P\left(B\mid A_i\right)$

​ 贝叶斯公式：$P\left(A_i\mid B\right)=\frac{P\left(A_{i}B\right)}{P(B)}=\frac{P\left(A_i\right)P\left(B\mid A_i\right)}{{\sum }_{i=1}^{n}P\left(A_i\right)P\left(B\mid A_i\right)}$

2. 独立：$P(AB)=P(A)P(B)$

3. 排列组合：

​ 排列 $A_n^r=n(n-1)\cdots (n-r+1)$
​ 从 $n$ 个不同的元素中任取 $r$ 个, 按一定顺序排成一列组合 $C_n^r=\frac{n!}{(n-r)!r!}=\frac{A_n^r}{r!}$
​ 从 $n$ 个不同的元素中任取 $r$ 个, 不计顺序排成一组

4. 伯努利试验：$P(X=k)=C_N^K{p}^k(1-p{)}^{n-k}$

1.1.8 常见分布

1. 0-1分布： $X\sim \left(\begin{array}{cc}1& 0\\ P& 1-P\end{array}\right)$

2. 二项分布：

​ 二项分布 $\{\begin{array}{l}1.\text{ 独立 }\\ 2.P(A)=P\\ 3.\text{ 只有 }A,\bar{A},\text{ 非白即黑 }\end{array}$
​ 记 $X$ 为 $A$ 发生的次数, P { x = k } = C n k P k ( 1 − P ) n − k , k = 0 , 1 , ⋯   , n P\{x=k\}=C_n^k P^k(1-P)^{n-k}, k=0,1, \cdots, n P{x=k}=Cnk​Pk(1−P)n−k,k=0,1,⋯,n
$$⟹X\sim B(n,P)$$
3. 几何分布： 几何分布 与几何无关, 首中即停止, 记 $X$ 为试验次数 ⟹ P { x = k } = P 1 ( 1 − P ) k − 1 , k = 1 , 2 , ⋯ \Longrightarrow P\{x=k\}=P^1(1-P)^{k-1}, k=1,2, \cdots ⟹P{x=k}=P1(1−P)k−1,k=1,2,⋯

4. 超几何分布： 超几何分布 古典概型, 设 $N$ 件产品, $M$ 、件正品, $N-M$ 件次品, 无放回取 $n$ 次, 则 P { x = k } = C M k C N − M n − k C N n P\{x=k\}=\frac{C_M^k C_{N-M}^{n-k}}{C_N^n} P{x=k}=CNn​CMk​CN−Mn−k​​

5. 泊松分布： 某时间段内, 某场合下, 源源不断的质点来流的个数, 也常用于描述稀有事件的 $P$
P { X = k } = λ k k ! e − λ , { λ − −  强度  k = 0 , 1 , ⋯ P\{X=k\}=\frac{\lambda^k}{k !} e^{-\lambda},\left\{\begin{array}{l} \lambda-- \text { 强度 } \\ k=0,1, \cdots \end{array}\right. P{X=k}=k!λk​e−λ,{λ−− 强度 k=0,1,⋯​
6. 均匀分布： 对比几何概型, 若 $X\sim f(x)=\{\begin{array}{l}\frac{1}{b-a},a\le x\le b\\ 0,\text{ 其他 }\end{array}$, 称 $X\sim U[a,b]$,

​ [注]高档次说法: “ $X$ 在 $I$ 上的任意子区间取值的概率与该子区间长度成正比” $\to X\sim U(I)$

7.指数分布 : $X\sim f(x)=\{\begin{array}{l}\lambda e^{-\lambda x},x>0\\ 0,x\le 0\end{array}$, 称 $X\sim E(\lambda ),\lambda -$-失效率
[注]:无记忆性： P { X ≥ t + s ∣ X ≥ t } = P { x ≥ s } P\{X \geq t+s \mid X \geq t\}=P\{x \geq s\} P{X≥t+s∣X≥t}=P{x≥s}
F ( x ) = P { X ≤ x } = ∫ − ∞ x f ( t ) d t = { 1 − e − λ x , x ≥ 0 0 , x < 0 F(x)=P\{X \leq x\}=\int_{-\infty}^x f(t) d t=\left\{\begin{array}{l} 1-e^{-\lambda x}, x \geq 0 \\ 0, x<0 \end{array}\right. F(x)=P{X≤x}=∫−∞x​f(t)dt={1−e−λx,x≥00,x<0​
​ $\{\begin{array}{l}\text{ 几何分布, 离散性等待分布 }\\ \text{ 指数分布, 连续性等待分布 }\end{array}$
8. 正态分布： $X\sim f(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty$

​ [注]：$若\mu =0,{\sigma }^2=1⟹X\sim N(0,1)$
$$\begin{array}{rl}& X\sim \phi (x)=\frac{1}{\sqrt{2\pi }}{e}^{-\frac{x^2}{2}}\\ & X\sim \Phi (x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{t^2}{2}}dt\end{array}$$

$$\begin{array}{c}\begin{array}{llllll}\text{ 分布名称 }& \text{ 记号 }& \text{ 期望 }& \text{ 方差 }& \text{ 矩估计 }& \begin{array}{l}\text{ 极大似然估 }\\ \text{ 计 }\end{array}\\ \text{ 0-1分布 }& B(1,p)& p& pq& {\hat{p}}_M=\bar{X}& {\hat{p}}_L=\bar{X}\\ \text{ 泊松分布 }& Pois(\lambda )& \lambda & \lambda & {\hat{\lambda }}_M=\bar{X}& {\hat{\lambda }}_L=\bar{X}\\ \text{ 几何分布 }& Geo(p)& 1/p& q/p^2& {\hat{p}}_M=1/\bar{X}& {\hat{p}}_L=1/\bar{X}\\ \text{ 均匀分布 }& \mathbb{U}[a,b]& (a+b)/2& (b-a{)}^2/12& {\hat{a}}_M=\bar{X}-\sqrt{3}{S}_n& {\hat{a}}_L=X_{(1)}\\ & & & {\hat{b}}_M=\bar{X}+\sqrt{3}{S}_n& {\hat{b}}_L=X_{(n)}& \\ \text{ 指数分布 }& Exp(\lambda )& 1/\lambda & 1/{\lambda }^2& {\hat{\lambda }}_M=1/\bar{X}& {\hat{\lambda }}_L=1/\bar{X}\\ \text{ 正态分布 }& N\left(\mu ,{\sigma }^2\right)& \mu & {\sigma }^2& {\hat{\mu }}_M=\bar{X}& {\hat{\mu }}_L=\bar{X}\\ & & & & {\hat{\sigma }}_M^2=S_n^2& {\hat{\sigma }}_L^2=S_n^2\end{array}\end{array}$$

1.2 一维随机变量及其分布

1.2.1 随机变量及其分布函数

1.随机变量： 设$E$是随机试验，$\Omega$是其样本空间，如果对于每一个样本点$\omega \in \Omega$,都有一个确定的实数$X(\omega )$与之对应，则称样本空间上的实质函数$X(\omega )$为随机变量，简记$X$。

2.随机变量的分布函数： 设$X$是一个随机变量，$x$是任意实数，称 F ( x ) = P { X ≤ x } , − ∞ < x < ∞ F(x)=P\{X \le x\},-\infty <x<\infty F(x)=P{X≤x},−∞<x<∞为$X$的分布函数。

​ 性质：1）$F(x)$单调不减；

​ 2）$0\le F(x)\le 1,且F(-\infty )=\underset{x\to -\infty }{\lim }F(x)=0,F(\infty )=\underset{x\to \infty }{\lim }F(x)=1$；

​ 3）$F(x)$为右连续，即$F(x_0+0)=\underset{x\to x_0+0}{\lim }F(x)=F(x_0)$。

​ 公式：1） P { a < x ≤ b } = P { x ≤ b } − P { x ≤ a } = F ( b ) − F ( a ) P\{a<x \le b\}=P\{x \le b\}-P\{x \le a\}=F(b)-F(a) P{a<x≤b}=P{x≤b}−P{x≤a}=F(b)−F(a);

​ 2) P { x > b } = 1 − P { x ≤ b } = 1 − F ( b ) P\{x>b\}=1-P\{x \le b\}=1-F(b) P{x>b}=1−P{x≤b}=1−F(b)；

​ 3） P { x ≥ b } = 1 − P { x < b } = 1 − F ( b − 0 ) P\{x \ge b\}=1-P\{x < b\}=1-F(b-0) P{x≥b}=1−P{x<b}=1−F(b−0).

若$x\in D$为一随机事件，则其概率为$P(x\in D)={\int }_{D}f(x)dx$.

1.2.2 离散型随机变量及其分布

离散型随机变量： 全部可能取到的值有限或无限可列，这种随机变量称为离散型随机变量。

离散型随机变量的分布律： 设离散型随机变量$X$所有可能的取值为$x_i(i=1,2,...)$,$X$取各个可能值得概率，即事件 { X = x i } \{X=x_{i}\} {X=xi​}的概率为 P { X = x i } = p i , i = 1 , 2 , . . . P\{X=x_{i}\}=p_{i},i=1,2,... P{X=xi​}=pi​,i=1,2,...；称 P { X = x i } = p i , i = 1 , 2 , . . . P\{X=x_{i}\}=p_{i},i=1,2,... P{X=xi​}=pi​,i=1,2,...为离散型随机变量$X$的分布律，分布律可用矩阵或表格表示。

$X$	$x_1$	$x_2$	…	$x_n$	…
$P_i$	$p_1$	$p_2$	…	$p_n$	…

离散型随机变量的分布函数： 设$X$是一个随机变量，$x$是任意实数，函数 F ( x ) = P { X ≤ x } = P { ω ∣ X ( ω ) ≤ x } ， − ∞ < x < ∞ F(x)=P\{X \le x\}=P\{\omega | X(\omega) \le x\}，-\infty <x<\infty F(x)=P{X≤x}=P{ω∣X(ω)≤x}，−∞<x<∞称为$X$的分布函数。

**性质：**1）归一性：${\sum }_{i=1}^n{p}_i=1$;

​ 2）非负性：$p_i\ge 0,i=1,2,...$;

​ 3)一点区间： P { x = a } = F ( a ) − F ( a − 0 ) P\{x=a\}=F(a)-F(a-0) P{x=a}=F(a)−F(a−0), P { x ∈ B } = ∑ x i ∈ B p i P\{x \in B\}=\displaystyle\sum_{x_{i} \in B}{p_{i}} P{x∈B}=xi​∈B∑​pi​。

1.2.3 连续型随机变量及其分布

连续型随机变量： 连续不可分的随机变量称为连续型随机变量；

连续型随机变量的概率密度函数： 设$F(x)$是连续随机变量$X$的分布函数，若存在非负函数$f(x)$，对任意实数$x$，有$F(x)={\int }_{-\infty }^{x}f(x)dx$，则称$f(x)$为$X$的概率密度函数（概率密度函数为分布函数的导数）。

连续型随机变量的分布函数： $F(x)={\int }_{-\infty }^{x}f(x)dx,-\infty <x<\infty$。

**性质：**1）归一性：${\int }_{-\infty }^{\infty }f(x)dx=1$;

​ 2）非负性：$f(x)\ge 0$;

​ 3）一点区间： P { x = a } = F ( a ) − F ( a − 0 ) P\{x=a\}=F(a)-F(a-0) P{x=a}=F(a)−F(a−0), P { x ∈ B } = ∫ B f ( x ) d x P\{x \in B\}=\int_{B}{f(x)dx} P{x∈B}=∫B​f(x)dx。

1.2.4 随机变量函数的分布

1. 离散型到离散型：

设$X$为离散型随机变量，其概率分布为 p i = P { X = x i } ( i = 1 , 2 , . . . ) p_{i}=P\{X=x_{i}\}(i=1,2,...) pi​=P{X=xi​}(i=1,2,...),则$X$的函数$Y=g(X)$也是离散型随机变量，其概率分布为 P { Y = g ( x i ) } ( i = 1 , 2 , . . . ) P\{Y=g(x_{i})\}(i=1,2,...) P{Y=g(xi​)}(i=1,2,...),即
$$B\sim \left(\begin{array}{ccc}g(x_1)& g(x_2)& ...\\ p_1& p_2& ...\end{array}\right)$$
如果有若干个$g(x_i)$值相同，则合并诸项为一项$g(x_k)$，并讲相应概率相加作为$Y$取$g(x_k)$值的概率。

2. 连续型到连续型(混合型):

设$X$为离散型随机变量，其分布函数、概率密度分别为$F_X(x)$与$f_X(x)$，随机变量$Y=g(X)$是$X$的函数，则$Y$的分布函数和概率密度可用分布函数法求得.
F Y ( y ) = P { Y ≤ y } = P { g ( X ) ≤ y } = ∫ g ( X ) ≤ y f X ( x ) d x \begin{aligned} F_{Y}(y) = P\{Y \le y\}=P\{g(X) \le y\}=\int_{g(X) \le y}{f_{X}(x)dx} \end{aligned} FY​(y)=P{Y≤y}=P{g(X)≤y}=∫g(X)≤y​fX​(x)dx​
如果$F_Y(y)$连续，且除有限个点外，$F_Y^{\prime }(y)$存在且连续，则$Y$的概率密度$f_Y(y)=F_Y^{\prime }(y)$。

1.3 多元随机变量及其分布

1.3.1 联合分布函数及密度函数

联合分布函数： 对任意$n$个实数$x_1,x_2,...,x_n$，称$n$元函数
F ( x 1 , x 2 , . . . , x n ) = P { X 1 ≤ x 1 , X 2 ≤ x 2 , . . . , X n ≤ x n } \begin{aligned} F(x_{1},x_{2},...,x_{n})=P\{X_{1} \le x_{1},X_{2} \le x_{2},...,X_{n} \le x_{n}\} \end{aligned} F(x1​,x2​,...,xn​)=P{X1​≤x1​,X2​≤x2​,...,Xn​≤xn​}​
为$n$维随机变量$(X_1,X_2,...,X_n)$的联合分布函数。

特别的，当$n=2$时，则对任意的实数$x,y$，称二元函数
F ( x , y ) = P { X ≤ x , Y ≤ y } \begin{aligned} F(x,y)=P\{X \le x,Y \le y\} \end{aligned} F(x,y)=P{X≤x,Y≤y}​
为二维随机变量$(X,Y)$的联合分布函数，简称分布函数，记为$(X,Y)\sim F(x,y)$。

性质:
1）单调性:$F(x,y)$是$x,y$的单调不减函数：

​ 对任意固定的$y$,当$x_1<x_2$时，$F(x_1,y)\le F(x_2,y)$;

​ 对任意固定的$x$,当$y_1<y_2$时，$F(x,y_1)\le F(x,y_2)$;

​ 2）右连续：$F(x,y)$是$x,y$的右连续函数：

​ $\underset{x\to x^{+}}{\lim }F(x,y)=F(x_0+0,y)=F(x_0,y)$;

​ $\underset{y\to y^{+}}{\lim }F(x,y)=F(x,y_0+0)=F(x,y_0)$

​ 3）有界性：$F(-\infty ,y)=F(x,-\infty )=F(-\infty ,-\infty )=0,F(+\infty ,+\infty )=1$

​ 4）非负性：对任意$x_1<x_2，y_1<y_2$，有

​ P { x 1 < X ≤ x 2 , y 1 < Y < y 2 } = F ( x 2 , y 2 ) − F ( x 2 , y 1 ) − F ( x 1 , y 2 ) + F ( x 1 , y 1 ) ≥ 0 P\{x_{1} <X \le x_{2},y_{1}< Y< y_{2}\}=F(x_{2},y_{2})-F(x_{2},y_{1})-F(x_{1},y_{2})+F(x_{1},y_{1}) \ge 0 P{x1​<X≤x2​,y1​<Y<y2​}=F(x2​,y2​)−F(x2​,y1​)−F(x1​,y2​)+F(x1​,y1​)≥0

1.3.2 边缘分布函数

边缘分布函数： 设二维随机变量$(X,Y)$的联合分布函数为$F(x,y)$，随机变量$X$和$Y$的分布函数$F_X(x)$和$F_Y(y)$分别称为$(X,Y)$关于$X$和关于$Y$的边缘分布函数，由概率性质得
F X ( x ) = P { X ≤ x } = P { X ≤ x , Y < + ∞ } = lim ⁡ y → + ∞ P { X ≤ x , Y ≤ y } = lim ⁡ y → + ∞ F ( x , y ) = F ( x , + ∞ ) . 同理，有 F Y ( y ) = F ( + ∞ , y ) . \begin{aligned} F_{X}(x)=P\{X \le x\}=P\{X \le x,Y < +\infty\}\\ = \lim\limits_{y \to +\infty}{P\{X \le x,Y \le y\}}\\ =\lim\limits_{y \to +\infty}{F( x,y)}=F(x,+\infty).\\ 同理，有F_{Y}(y)=F(+\infty,y). \end{aligned} FX​(x)=P{X≤x}=P{X≤x,Y<+∞}=y→+∞lim​P{X≤x,Y≤y}=y→+∞lim​F(x,y)=F(x,+∞).同理，有FY​(y)=F(+∞,y).​

1.3.3 条件分布函数

条件分布函数： 设二维随机变量$(X,Y)$的概率密度函数为$f(x,y)$，$(X,Y)$关于$Y$的边缘概率密度为$f_Y(y)$，若对固定的$y$,$f_Y(y)>0$，则称$\frac{f(x,y)}{f_Y(y)}$为在$Y=y$的条件下$X$的条件概率密度，记为
$$\begin{array}{r}{f}_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)}\end{array}$$
称${\int }_{-\infty }^x{f}_{X|Y}(x|y)dx={\int }_{-\infty }^x\frac{f(x,y)}{f_Y(y)}dx$为在$Y=y$的条件下$X$的条件分布函数，记为 P { X ≤ x ∣ Y = y } P\{X \le x|Y=y\} P{X≤x∣Y=y}或$F_{X|Y}(x|y)$，即
F X ∣ Y ( x ∣ y ) = P { X ≤ x ∣ Y = y } = ∫ − ∞ x f ( x , y ) f Y ( y ) d x \begin{aligned} F_{X|Y}(x|y)=P\{X \le x | Y = y\}=\int_{-\infty}^{x}{\frac{f(x,y)}{f_{Y}(y)}dx} \end{aligned} FX∣Y​(x∣y)=P{X≤x∣Y=y}=∫−∞x​fY​(y)f(x,y)​dx​
同理，可以定义$f_{Y|X}(y|x)=\frac{f(x,y)}{f_X(x)}$和$F_{Y|X}(y|x)={\int }_{-\infty }^y\frac{f(x,y)}{f_X(x)}dy$。

1.3.4 二维随机变量

1.离散型： $(X,Y)\sim P_{ij}$ (联合分布律 $)$
条件分布为 $P\left(X=x_i\mid Y=y_i\right)=\frac{P\left(X=x_i,Y=y_j\right)}{P\left(Y=y_j\right)}=\frac{P_{ij}}{P_{\cdot j}}$
$$\begin{gathered} P(X=1\mid Y=0)=\frac{P_{21}}{P_{\cdot 1}} \\ \text{条件}=\frac{\text{ 联合 }}{\text{ 边缘 }} \end{gathered}$$

2. 连续型： $(X,Y)\sim f(x,y)$ (联合概率密度)

   边缘分布函数$F_X(x)=F(x,+\infty )={\int }_{-\infty }^x[{\int }_{-\infty }^{+\infty }f(u,v)dv]du$，边缘密度 $f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy,f_Y(y)={\int }_{-\infty }^{+\infty }f(x,y)dx$

​ 联合分布函数 F ( x , y ) = P { X ≤ x , Y ≤ y } = ∫ − ∞ y ∫ − ∞ x f ( u , v ) d u d v F(x,y)=P\{X \le x,Y \le y\}=\int_{-\infty}^{y}\int_{-\infty}^{x}{f(u,v)dudv} F(x,y)=P{X≤x,Y≤y}=∫−∞y​∫−∞x​f(u,v)dudv，且联合密度$f(x,y)=\frac{{\partial }^{2}F(x,y)}{\partial x\partial y}$

​ 条件分布函数$F_{X|Y}={\int }_{-\infty }^x{f}_{X|Y}(x|y)dx={\int }_{-\infty }^x\frac{f(x,y)}{f_Y(y)}dx$，条件密度 $f_{X\mid Y}(x\mid y)=\frac{f(x,y)}{f_Y(y)}$
​ 无论离散还是连续， $\text{条件}=\frac{\text{ 联合 }}{\text{ 边缘 }}$

3. 独立性： 设 $(X,Y),X,Y$ 独立 $⟺F(x,y)=F_X(x)\cdot F_Y(y)$

$$\begin{array}{rl}& ⟺P_{ij}=P_{i\cdot }\cdot P_{\cdot j},\forall i,j\\ & ⟺f(x,y)=f_X(x)\cdot f_Y(y)\end{array}$$

4. 两个分布

   (1)均匀分布 $(X,Y)\sim f(x,y)=\{\begin{array}{l}\frac{1}{S_D},(x,y)\in D\\ 0,(x,y)\notin D\end{array}$
   (2)正态分布 $(X,Y)\sim N\left({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_2^2,\rho \right)$
   其中 $E(X)={\mu }_1,E(Y)={\mu }_2,D(X)={\sigma }_1^2,D(Y)={\sigma }_2^2,e_{xy}=\rho$。

[注]：求谁不积谁，不积分先定限，限内画条线，先交写下限，后交写上限。

1.4 数字特征

1.4.1 一维随机变量的数字特征

1.数学期望：

​ 1）一维随机变量的数学期望：$E(X)\{\begin{array}{l}X\sim P_i⟹E(X)={\sum }_i{x}_i{P}_i\\ X\sim f(x)⟹E(X)={\int }_{-\infty }^{+\infty }f(x)dx\end{array}$；

​ 2）一维随机变量函数的数学期望:$E(Y)\{\begin{array}{l}X\sim p_i,Y=g(X)⟹E(Y)={\sum }_{i}g\left(x_i\right)p_i\\ X\sim f(x),Y=g(X)⟹E(Y)={\int }_{-\infty }^{+\infty }g(x)f(x)dx\end{array}$。

2.方差、标准差:
$$\begin{array}{r}D(X)=E\left[(X-E(X){)}^2\right]\end{array}$$
​ 1）定义法：$\{\begin{array}{l}X\sim p_i⟹D(X)=E\left[(X-E(X){)}^2\right]={\sum }_i{\left(x_i-E(X)\right)}^2{p}_i\\ X\sim f(x)⟹D(X)=E\left[(X-E(X){)}^2\right]={\int }_{-\infty }^{+\infty }(x-E(X){)}^{2}f(x)dx\end{array}$

​ 2）公式法：$D(X)=E\left[(X-E(X){)}^2\right]=E\left[X^2-2\cdot X\cdot EX+(E(X){)}^2\right]=E\left(X^2\right)-2\cdot E(X)\cdot E(X)+(EX{)}^2]$ ,即$DX=E\left(X^2\right)-(EX{)}^2$。

3.性质：

​ (1) $Ea=a,E(E(X)=E(X)$
​ (2) $E(aX+bY)=aE(X)+bE(Y),E\left({\sum }_{i=1}^n{a}_i{X}_i\right)={\sum }_{i=1}^n{a}_{i}E(X_i)$ (无条件)
​ (3) 若 $X,Y$ 相互独立, 则 $E(XY)=E(X)E(Y)$
​ (4) $Da=0,D(E(X)=0,D(D(X)=0$
​ (5) 若 $X,Y$ 相互独立, 则 $D(X\pm Y)=DX+DY$
​ (6) $D(aX+b)=a^{2}DX,E(aX+b)=aEX+b$
​ (7)一般, $D(X\pm Y)=D(X)+D(Y)\pm 2\mathrm{Cov}(X,Y)$
$$D\left(\sum _{i=1}^n{X}_i\right)=\sum _{i=1}^{n}D{X}_i+2\sum _{1\le i<j\le n}\mathrm{Cov}\left(x_i,x_j\right)$$
[注] 1.$0-1$ 分布, $EX=p,DX=p-p^2=(1-p)p,X\sim \left(\begin{array}{cc}1& 0\\ p& 1-p\end{array}\right)$

2. $X\sim B(n,p),EX=np,DX=np(1-p)$
3. $X\sim P(\lambda ),EX=\lambda ,DX=\lambda$
4. $X\sim Ge(p),EX=\frac{1}{p},DX=\frac{1-p}{p^2}$
5. $X\sim U[a,b],EX=\frac{a+b}{2},DX=\frac{(b-a{)}^2}{12}$
6. $X\sim E_X(\lambda ),EX=\frac{1}{\lambda },DX=\frac{1}{{\lambda }^2}$
7. $X\sim N\left(\mu ,{\sigma }^2\right),EX=\mu ,DX={\sigma }^2$
8. $X\sim {\chi }^2(n),EX=n,DX=2n$。

1.4.2 二维随机变量的数字特征

1.数学期望：

​ 1）离散型：$(X,Y)\sim p_{ij},Z=g(X,Y)⟹EZ={\sum }_i{\sum }_{j}g\left(x_i,y_i\right)p_{ij}$；

​ 2）连续型：$(X,Y)\sim f(x,y),Z=g(X,Y)⟹EZ={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy$

2.协方差和相关系数：

$\mathrm{Cov}(X,Y)=E[X-E(X))(Y-E(Y))],\mathrm{Cov}(X,X)=E[(X-E(X))(X-E(X))]=E\left[(X-EX{)}^2\right]=D(X)$

1. 定义法：

$$\{\begin{array}{l}(X,Y)\sim p_{ij}⟹\mathrm{Cov}(X,Y)={\sum }_i{\sum }_j\left(x_i-E(X)\right)\left(u_i-E(Y)\right)p_{ij}\\ (X,Y)\sim f(x,y)⟹\mathrm{Cov}(X,Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }(x-E(X))(y-E(Y))f(x,y)dxdy\end{array}$$

2. 公式法:

$$\begin{array}{rl}& \mathrm{Cov}(X,Y)=E(XY-X\cdot E(Y)-E(X)\cdot Y+E(X)\cdot E(Y))\\ & =E(XY)-E(X)\cdot E(Y)-E(X)\cdot E(Y)+E(X)\cdot E(Y)=E(XY)-E(X)E(Y)\end{array}$$

$$\text{ 3. }{\rho }_{XY}=\frac{\mathrm{Cov}(X,Y)}{\sqrt{DX}\sqrt{DY}}\{\begin{array}{l}=0⟺X,Y\text{ 不相关 }\\ \ne 0⟺X,Y\text{ 相关 }\end{array}$$

3.性质:

1. $\mathrm{Cov}(X,Y)=\mathrm{Cov}(Y,X)$

2. $\mathrm{Cov}(aX,bY)=ab\mathrm{Cov}(X,Y)$

3. $\mathrm{Cov}\left(X_1+X_2,Y\right)=\mathrm{Cov}\left(X_1,Y\right)+\mathrm{Cov}\left(X_2,Y\right)$

4. $\left|{\rho }_{XY}\right|\le 1$

 5.  ρ X Y = 1 ⟺ P { Y = a X + b } = 1 ( a > 0 ) , ρ X Y = − 1 ⟺ P { Y = a X + b } = 1 ( a < 0 ) \text { 5. } \rho_{X Y}=1 \Longleftrightarrow P\{Y=a X+b\}=1(a>0), \rho_{X Y}=-1 \Longleftrightarrow P\{Y=a X+b\}=1(a<0)  5. ρXY​=1⟺P{Y=aX+b}=1(a>0),ρXY​=−1⟺P{Y=aX+b}=1(a<0)

考试时: $Y=aX+b,a>0⟹{\rho }_{XY}=1,Y=aX+b,a<0⟹{\rho }_{XY}=-1$
小结：五个充要条件
$$\begin{array}{rl}& {\rho }_{XY}=0⟺\{\begin{array}{l}\mathrm{Cov}(X,Y)=0\\ E(XY)=E(X)\cdot E(Y)\\ D(X+Y)=D(X)+D(Y)\\ D(X-Y)=D(X)+D(Y)\end{array}\end{array}$$

1.4.3 独立性和相关性的判定

$$\begin{array}{rl}& X,Y\text{ 独立 }⟹{\rho }_{XY}=0\\ & \text{ 若 }(X,Y)\sim N\left(\mu ,{\sigma }^2\right),\text{ 则 }X,Y\text{ 独立 }⟺X,Y\text{ 不相关 }\left({\rho }_{XY}=0\right)\end{array}$$