概率论中的分号表示

在贝叶斯推断和参数估计等相关文献中常见\(P(X|Y)\)\(P(X;Y)\)两种不同的表示方法,常常令初学者感到困惑:参数\(Y\)和随机变量\(X\)到底是什么关系?二者有什么区别?

简单来说,分号用来分隔变量和参数,其中分号左边是随机变量,分号右边的部分表示未知但确定的参数,这种情况下,也可以用“|”进行分隔,即分号与“|”等价。

更具体来看,判断表达式的含义需要根据上下文中Y表示了什么:

Y 解释
P(X|Y) 随机变量 条件概率分布
P(X|Y) 未知但确定的参数 在给定参数Y时,X的概率分布
P(X;Y) 未知但确定的参数 在给定参数Y时,X的概率分布,与P(X|Y)表示的含义相同,可理解为是一种P(X),亦可写作:\(P_Y(X)\)

通过上表对比可见,若\(Y\)是未知但确定的参数,\(P(X|Y)\)\(P(X;Y)\)的表示是等价的,但我更喜欢分号分隔的表示法,可以与条件概率的表示更明确地加以区别。

再举个例子,对于线性回归模型\(y=wx+b\),定义待估计参数\(\theta=(w, b)\),给定数据集\(D\),则似然函数可写作\(L(\theta;D)\)\(L(\theta|D)\),它可以理解为就是\(L(\theta)\)\(L_D(\theta)\),是关于\(\theta\)的一个函数。