Abstract: 本文介绍Beta分布的相关知识内容 Keywords: The Beta Distribution

Beta分布

我们预测未来某件事情是否发生的主要依据是先验知识，于是我相信，自古流传至今的那些道理应该是值得信任的，人无信不立，立壁千仞无欲则刚，生于忧患死于安乐，这些所谓的被我曾经鄙视的大道理，现在看看，真的是值得我自己坚持的，我大中华文化几千年，流传出来的一定是被很多人验证过的先验知识，而现在这些有钱的爸爸总结出来的可能只适用于这个时代，想要追求真理，安全起见还是要多读古人的智慧。 本文继续在连续随机变量上进行探索，Gamma分布的随机变量是满足某些条件下的所有正实数，而我们今天要研究的beta族分布是分布在 \([0,1]\) 区间上的一种类型的连续分布。一个最常见的例子，是Bernoulli过程中对每次试验的成功概率的建模。 Bernoulli过程就是多次的独立的试验形成的一个结果序列，这个系列中每个随机变量的成功概率就可以用Beta分布来建模。 ## 贝塔函数 The Beta Function 和Gamma分布一样，Beta分布也是先有的Beta函数，先来看个例子，这个例子可以引出我们的Beta函数。 🌰 ： 一个机器制造零件，只有两种情况就是合格和不合格，不会出现第三种情况，我们让 \(P\) 表示不合格的零件占总零件的比例，假设我们得到了n个零件，其中X个不合格，我们假设在给定条件P下每个零件的合格与否条件独立，那么我们就能得出在3.6中的例子，对应这个例子，当给定 \(X=x\) 的条件下 \(P\) 的分布： \[ g_2(p|x)=\frac{p^x(1-p)^{n-x}}{\int^{1}_{0}q^x(1-q)^{n-x}dx} \text{ for }0<p<1 \]

这个p.d.f.就是我们今天要研究的主角，在研究完整分布之前，我们先来研究这个分母

Definition The Beta Function .For each positive \(\alpha\) and \(\beta\) ,define: \[ B(\alpha,\beta)=\int^{1}_{0}x^{\alpha-1}(1-x)^{\beta-1}dx \] the function B is called the beta function

所以上述就是beta函数的定义，也是上面例子中的分母的形式，可以看出beta函数中的 \(\alpha,\beta > 0\) 本文后面用到了3.9的一部分知识未在博客中体现，预计作为补充内容在下一部分给出，所以这个地方有些可以跳过。或者通过书本学习相关内容。

Theorem For all \(\alpha,\beta >0\) , \[ B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)} \]

这个命题的证明就用到了上面说的3.9的一部分选学内容，我们后面会给出相关证明，但是目前我们就当做此定理已经证明。

贝塔分布的定义 Definition of the Beta Distributions

那么我们接下来就要定义Beta分布了。 >Definition Beta Distributions.Let \(\alpha ,\beta >0\) and let X be a random variable with p.d.f. \[ f(x|\alpha,\beta)= \begin{cases} \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}x^{\alpha-1}(1-x)^{\beta-1}&\text{ for }0<x<1\\ 0&\text{otherwise} \end{cases}\tag{5.8.3} \]

观察可以发现，如果 \(\alpha=1,\beta=1\) 那么5.8.3就是 \([0,1]\) 的均匀分布。

举个🌰 ： 这个例子在西方社会可能比较常见，在我们这不流行这么落后的方法，资本主义国家迷路都是看指南针，看地图，我们是直接扔鞋，高效有特色！一天天选个举还要用模型预测，我口算都能算出来我们的选举结果。 从一个有79.1%墨西哥裔美国人的地区中选择220个陪审员，但是只有一百个陪审员是墨西哥裔，根据二项随机变量X的期望值是 \(E(X)=220\times 0.791=174.02\) 。显然这比100多了不少。当然出现174个墨西哥裔的陪审员并不是必须的，也是概率的，因为 X可以为 [0,220] 中的任意数字。我们令 P 为墨西哥裔陪审员的比例。法庭假设X 在条件 \(P=p\) 上一个二项分布，参数 n=220 和 p ，我们比较感兴趣是否P小于0.791，我们现在假设存在种族歧视（墨西哥裔陪审员比例小于0.791）比如我们认为选择系统存在一个0.8的偏移，也就是 \(P<0.8\times0.791=0.6328\) 那么我们要计算的就是当给定 \(X=100\) 时 \(P\leq 0.6328\) 的条件概率

解： 假设P的分布在得到X前已经被确定（比如选举系统被人做了手脚），那么我们把它假设成一个beta分布，参数为 \(\alpha,\beta\) ,那么 \(P\) 的p.d.f.是： \[ f_2(p)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}x^{\alpha-1}(1-x)^{\beta-1} \text{ , for }0<x<1 \] X在给定P=p条件下的概率函数： \[ g_1(x|p)=\begin{pmatrix}200\\x\end{pmatrix}p^x(1-p)^{220-x}\text{, for }x=0,\dots,220 \]

然后我们用伟大的贝叶斯公式来X=100 条件下的P的概率： \[ \begin{aligned} g_2(p|100)&=\frac{\begin{pmatrix}220\\100\end{pmatrix}p^{100}(1-p)^{120} \cdot \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}x^{\alpha-1}(1-x)^{\beta-1}}{f_1(100)}\\ &=\frac{\begin{pmatrix}220\\100\end{pmatrix}\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)f_1(100)}p^{\alpha+100-1}(1-p)^{\beta+120-1} \end{aligned} \]

上面结果可以看出来左半部分就是个数，右半部分才含有变量，并且这个形状，很明显，还是一个beta分布，然后我们选择参数值就可以知道这个 \(Pr(P\leq 0.6328|X=100)\) 的分布了，而这个参数选择要在我们徐汇了beta分布的期望求法以后才能知道怎么选择参数。

Theorem Suppose that \(P\) has the beta distribution with parameters \(\alpha\) and \(\beta\) ,and the conditional distribution of \(X\) given \(P=p\) is the binomial distribution with parameters \(n\) and \(p\) .Then the conditional distribution of \(P\) given \(X=x\) is the beta distribution with parameters \(\alpha+x\) and \(\beta+n-x\)

这个定理上面我们的例子中已经用事实证明了可行，但是并没有严谨的证明，所以这个定理是未严格证明的定理。 ## 贝塔分布的距 Moments of Beta Distributions >Theorem Moments.Suppose that X has the beta distribution with parameters \(\alpha\) and \(\beta\) .Then for each positive integer k, \[ E(X^k)=\frac{\alpha(\alpha+1)\dots(\alpha+k-1)}{(\alpha+\beta)(\alpha+\beta+1)\dots(\alpha+\beta+k-1)} \] In particular, \[ E(X)=\frac{\alpha}{\alpha+\beta},\\ Var(X)=\frac{\alpha\beta}{(\alpha+\beta)^2(\alpha+\beta+1)} \]

证明： For \(k=1,2,\dots\) \[ \begin{aligned} E(X^k)&=\int^{1}_{0}x^kf(x|\alpha,\beta)dx\\ &=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\int^{1}_{0}x^{\alpha+k-1}(1-x)^{\beta-1}dx \end{aligned} \] 根据公式 5.8.2 \[ E(X^k)=\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}\cdot\frac{\Gamma(\alpha+k)\Gamma(\beta)}{\Gamma(\alpha+k+\beta)} \] 简化之后就是定理中形状了，证毕。

beta分布有很多不同参数组合形式，计算器均值和c.d.f.是非常有用技能。

在选择参数之前，我们必须明确Beta分布一般来建模概率的分布，0到1之间的分布，如果其中某个概率出现的比较大，那么分布在图像上会给出一个峰值，并且Beta分布的图像大致如下: 均值就是峰值的位置。 接着我们把参数改一下，看看有什么变化

可见，在均值不变的情况，增大 \(\alpha\) 和 \(\beta\) 的值，分布变高变瘦了。

还要继续上面的例子，简单的概括一下上面的例子，首先，我们感兴趣的是一个概率的概率，而研究概率的办法是研究分布，也就是概率的分布，我们用beta 分布来建模这个概率，然后我们做试验来验证我们之前猜测概率也好，希望的概率也好，验证他们是否合理，根据上面选陪审员的例子，我们的目的就是为了验证有没有种族歧视，因为墨西哥裔占总人口数为 \(79.1%\) ，而只选择出了100人，理论上应该选择出174.02 人，我们想知道当我们选择出100人的条件下，是否还是公平的，用概率为\(79.1%\) 的参数去抽取了，还是用 \(79.1%\times 0.8\) 或者更夸张的参数选取的。根据上面例子中我们已经求出了条件概率，接下来我们研究选择什么样的 \(\alpha\) 和 \(\beta\) 来准确的计算这个概率。 首先我们先来看原始分布（不是 \(g_2(p|100)\) 条件分布）原始分布我们希望的是对所有人平等的，所以根据期望来计算，这个分布的期望必然是 0.791 ，这样才是公平的，根据beta分布的数字特征，我们能计算出： \[ E(X)=\frac{\alpha}{\alpha+\beta}=0.791\Rightarrow \alpha=3.785\beta \] 这个关系是我们最基本的性质，所以在条件情况 \(g_2(p|100)\) 下的参数也应该满足这个关系，\(g_2\) 参数为 \(\alpha+100\) 和 \(\beta+120\) 那么我们就能得出一个系列的不同参数的 \(g_2\) 但是这不好研究，因为 \(p\) 是自变量，还有 \(\beta\) (或者 \(\alpha\) ) 两个变量，所以我们来看当 \(p< 0.791\times 0.8 = 0.6328\) 的时候各 \(\beta\) 对这个条件分布的相互关系： 因为当 \(p<0.6328\) 就相当于非常歧视了，所以我们必须让这个概率低，怎么也要低于0.5 那么对应的 \(\beta\) 就要选至少 51.5 ，此时 \(\alpha\) 为 194.9 这个时候如果我们把 \(\beta=51.5,\alpha=194.9\) 作为参数带回到原始我们假设的 \(p\) 的分布，得到 \(P(X=100)=3.28\times 10^{-8}\) 这也就意味着，我们原始的关于均值是0.791的beta分布，发生220个陪审员中有100个墨西哥裔的概率是 \(3.28\times 10^{-8}\) 基本为0，所以这里面肯定有不公平！

总结

这篇文章写了三天，原因是昨天胃肠炎发烧了，所以如果有点不连贯，请大家谅解，重点是例子，注意，重点是例子。