Cao Yi

Fundamentals of Probability Theory and Mathematical Statistics, 概率论和数理统计基础

返回目录

概率 Probability

从英文字面意思和查到的资料看,概率,就是“可能性”,用0~1之间的一个数来表示,可能性越大值越大。

维基百科中文版的说明如下

概率(香港作概率,台湾作機率,舊稱幾率,又称機會率或或然率),是对随机事件发生之可能性的度量,为数学概率论的基本概念;機率的值是一个在0到1之间的实数,也常以百分數來表示。

维基百科英文版的说明如下

In science, the probability of an event is a number that indicates how likely the event is to occur. It is expressed as a number in the range from 0 and 1, or, using percentage notation, in the range from 0% to 100%.

概率论 Probability Theory

从查到的资料来看,概率论这个概念可以简单理解为研究概率以及和其密切相关的随机问题的理论,而且目前已经有一些公式化理论。

维基百科·概率中文版的说明如下

概率论是一种用正式的用语表达概率概念的方式,这些词语可以用数学及逻辑的规则处理,结果再变换到和原来问题有关的领域。

至少有两种成功的将概率公式化的理论,分别是柯尔莫哥洛夫公式化以及考克斯公式化。在柯尔莫哥洛夫公式化(参考概率空间)中,用集合代表事件,概率则是对集合的测度。在考克斯定理中,概率是不能再进一步分析的基元,强调在概率值及命题之间建立一致性的关系。在二种公式化方法中,概率公理都相同,只有一些技术细节不同。

维基百科·概率论中文版的说法如下:

概率论是研究概率、随机性及不确定性等现象的数学分支。概率论主要研究对象为随机事件、随机变量以及随机过程。

条件概率 Conditional Probability

维基百科中文版的说法如下:

条件概率就是事件A在事件B发生的条件下发生的概率。条件概率表示为P(A|B),读作“A在B发生的条件下发生的概率”。

A与B之间不一定有因果或者时间序列关系。A可能会先于B发生,也可能相反,也可能二者同时发生。A可能会导致B的发生,也可能相反,也可能二者之间根本就没有因果关系。

设 A 与 B 为样本空间 Ω 中的两个事件,其中 $P(B)>0$。那么在事件 B 发生的条件下,事件 A 发生的条件概率为:

\[P(A|B)={\frac {P(A\cap B)}{P(B)}}\]

条件概率有时候也称为:后验概率。

条件概率公式很好理解,一个是从文氏图上直观理解,另一个方法是通过乘法原则推导。

事件

维基百科中文版的说明如下:

在概率论中,随机事件(或简称事件)指的是一个被赋与概率的事物集合,也就是样本空间中的一个子集。简单来说,在一次随机试验中,某个特定事件可能出现也有可能不出现;但当试验次数增多,我们可以观察到某种规律性的结果,就是随机事件。基本上,只要样本空间是有限的,则在样本空间内的任何一个子集合,都可以被称为是一个事件。然而,当样本空间是无限的时候,特别是不可数之时,就常常不能定义所有的子集为随机事件了。因此,为了定义一个概率空间,常常需要去掉样本空间的某些子集,规定他们不能成为事件。

随机变量

以下两段解释都来自ChatGPT:

随机变量是指在随机试验中,可以用数值来表示其结果的量。换句话说,随机变量是一种数学函数,将随机试验的结果映射到实数集上。例如,投掷一枚硬币,结果可以是正面或反面,我们可以定义一个随机变量X,当硬币正面朝上时,X取值为1,当硬币反面朝上时,X取值为0。随机变量可以是离散的,也可以是连续的。离散随机变量只能取有限或可数的值,例如掷骰子的点数,而连续随机变量可以取无限个值,例如测量某件物品的长度。在统计学中,随机变量是研究概率分布、期望、方差等概念的基础。

在统计学中,随机变量是指一个随机实验中可能的结果,可以用数值来表示。通常用大写字母X、Y、Z等表示随机变量。随机变量可以分为离散型和连续型两种类型。离散型随机变量的取值是有限的或可数的,例如掷骰子的点数、抽取球的颜色等;而连续型随机变量的取值是无限的,通常是实数范围内的某段区间,例如一个人的身高、一辆汽车的速度等。统计学中的随机变量是研究随机现象的重要概念,它可以用来描述和分析各种随机现象,是概率论和数理统计的基础。

mean

一般就指算术平均值,有特殊说明的情况下指调和平均值或几何平均值。 汉语翻译:平均数,平均值,均值,中值。

median

数集排序后,位于中间的数,若位于中间的是两个数,取其平均数。 汉语翻译:中位数,中值。

期望 Expected Value

根据维基的百科说明和举例,数学期望是比较容易理解的,可以理解为所有样本的加权平均。

维基百科中文版的说法如下:

在概率论和统计学中,一个离散性随机变量的期望值(或数学期望,亦简称期望,物理学中称为期待值)是试验中每次可能的结果乘以其结果概率的总和。换句话说,期望值像是随机试验在同样的机会下重复多次,所有那些可能状态平均的结果,便基本上等同“期望值”所期望的数。期望值可能与每一个结果都不相等。换句话说,期望值是该变量输出值的加权平均。期望值并不一定包含于其分布值域,也并不一定等于值域平均值。

例如,掷一枚公平的六面骰子,其每次“点数”的期望值是3.5,计算如下:

\[{\displaystyle {\begin{aligned}\operatorname {E} (X)&=1\cdot {\frac {1}{6}}+2\cdot {\frac {1}{6}}+3\cdot {\frac {1}{6}}+4\cdot {\frac {1}{6}}+5\cdot {\frac {1}{6}}+6\cdot {\frac {1}{6}}\\[6pt]&={\frac {1+2+3+4+5+6}{6}}=3.5\end{aligned}}}\]

不过如上所说明的,3.5虽是“点数”的期望值,但却不属于可能结果中的任一个,没有可能掷出此点数。

方差 Variance

这给概念的中文名不知是谁想的,和意思基本上给你不搭界。方差分离散和连续两种情况,计算方法也不相同。

来自维基百科中文版的资料

在概率论和统计学中,方差又称变异数、变方,描述的是一个随机变量的离散程度,即一组数字与其平均值之间的距离的度量,是随机变量与其总体均值或样本均值的离差的平方的期望值。

来自 ChatGPT 的解释

在统计学中,方差是用来度量一组数据的离散程度的一种统计量。方差越大,表示数据的离散程度越大;方差越小,表示数据的离散程度越小。方差的计算公式为:方差=(每个数据与平均数之差的平方和)/数据的总个数。其中,平均数是这组数据的平均值,每个数据与平均数之差的平方和是指每个数据与平均数之差的平方的总和。方差的单位是数据的单位的平方,例如,如果数据是以厘米为单位的长度,那么方差的单位就是平方厘米。方差是统计学中最常用的概念之一,它在数据分析、假设检验和回归分析等领域都有广泛的应用。

标准差

标准差也称标准偏差或均方差(英语:standard deviation,缩写SD,符号σ),为方差的非负算数平方根。

维基百科·标准差

分布函数 Distribution Function

来自 ChatGPT 的解释

在统计学中,分布函数(Distribution Function),也称为累积分布函数(Cumulative Distribution Function,CDF),是用来描述一个随机变量的概率分布的函数。

分布函数F(x)定义为:对于任意实数x,F(x)表示随机变量X小于等于x的概率,即P(X ≤ x)。其中,X是一个随机变量,P(X ≤ x)表示X小于等于x的概率。

分布函数具有以下性质:

  1. $F(x)$是一个单调不降的函数,即对于任意的$x_1 < x_2$,有$F(x_1) ≤ F(x_2)$。
  2. $F(x)$的取值范围是[0,1],即对于任意的x,有$0 ≤ F(x) ≤ 1$。
  3. $F(x)$在x处的导数就是概率密度函数f(x),即$F’(x) = f(x)$。这个性质被称为分布函数的导数定理。

分布函数在统计学中有着广泛的应用,例如用于描述随机变量的概率分布、计算概率、进行假设检验等。常见的分布函数包括正态分布函数、t分布函数、F分布函数等。

参考下条“概率密度函数”的定义,本节提到“分布函数的导数定理”可以马上得出。

概率密度函数 Probability Density Function

来自 ChatGPT 的解释

概率密度函数(Probability Density Function,简称PDF)是用来描述连续型随机变量概率分布的函数。它是指在某个取值范围内,随机变量落在该范围内的概率密度。

概率密度函数$f(x)$定义为:对于任意实数x,$f(x)$表示随机变量X在x处的概率密度,即$f(x) = lim(P(x ≤ X ≤ x + Δx) / Δx)$,其中,$Δx$是一个无穷小的实数。

概率密度函数具有以下性质:

  1. 对于任意实数x,$f(x) ≥ 0$。
  2. 在整个实数轴上,概率密度函数的积分等于1,即$∫f(x)dx = 1$。
  3. 在一个区间[a,b]上,随机变量X落在该区间内的概率为$P(a ≤ X ≤ b) = ∫[a,b]f(x)dx$。

概率密度函数在统计学中有着广泛的应用,例如用于计算随机变量的期望、方差和协方差、进行假设检验等。常见的概率密度函数包括正态分布函数、t分布函数、F分布函数等。

分布律 Probability Mass Function

来自 ChatGPT 的解释

在统计学中,分布律(Probability Mass Function,简称PMF)指的是离散型随机变量取各个值的概率。它是一个函数,用来描述随机变量X的概率分布情况。

分布律$f(x)$定义为:对于任意实数$x$,$f(x)$表示随机变量X取值为x的概率,即$f(x) = P(X = x)$。

分布律具有以下性质:

  1. 对于任意实数$x$,$0 ≤ f(x) ≤ 1$。
  2. 在整个实数轴上,分布律的和等于1,即$∑f(x) = 1$。
  3. 对于任意实数x和y,当$x ≠ y$时,$f(x)$和$f(y)$互不影响。

分布律在统计学中有着广泛的应用,例如用于计算随机变量的期望、方差和协方差、进行假设检验等。常见的分布律包括二项分布、泊松分布、几何分布等。

需要注意的是,分布律只适用于离散型随机变量,而对于连续型随机变量,需要使用概率密度函数来描述其概率分布情况。

协方差 Covariance

来自 ChatGPT 的解释

协方差(Covariance)是衡量两个变量之间关系的统计量,用于衡量两个变量的总体误差。如果两个变量的协方差为正,则说明它们之间呈现出正相关的关系,即当一个变量增加时,另一个变量也增加;如果协方差为负,则说明它们之间呈现出负相关的关系,即当一个变量增加时,另一个变量会减少;如果协方差为零,则说明它们之间没有线性关系,但并不代表它们之间没有其他关系。协方差的计算公式如下:

\[\operatorname{Cov}(X,Y)=\operatorname{E}[(X-\operatorname{E}[X])(Y-\operatorname{E}[Y])]\]

其中,$\operatorname{E}$ 表示数学期望,$X$ 和 $Y$ 分别表示两个随机变量。协方差是一个对称的量,即 $\operatorname{Cov}(X,Y) = \operatorname{Cov}(Y,X)$。协方差的绝对值越大,说明两个变量之间的关系越强。但需要注意的是,协方差的大小与两个变量的量纲有关,因此通常会使用相关系数来消除这种影响。