贝叶斯统计:Inverted Beta与Three Parameter Beta分布

贝叶斯统计:Inverted Beta与Three Parameter Beta分布

    • Beta分布
    • Inverted Beta与Three Parameter Beta
    • TPB-Normal Mixture

这一篇介绍两个基于beta分布延申出来的在贝叶斯统计中非常常用的分布——Inverted Beta(IB)与Three Parameter Beta(TPB)。

Beta分布

Beta分布记为 B e t a ( α , β ) Beta(\alpha,\beta) Beta(α,β),它的概率密度是
f ( x ) = 1 B ( α , β ) x α − 1 ( 1 − x ) β − 1 , x ∈ ( 0 , 1 ) B ( α , β ) = Γ ( α ) Γ ( β ) Γ ( α + β ) , α , β > 0 f(x) = \frac{1}{\Beta (\alpha,\beta)}x^{\alpha-1}(1-x)^{\beta-1},x \in (0,1) \\ B(\alpha,\beta)=\frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)},\alpha,\beta>0 f(x)=B(α,β)1xα1(1x)β1,x(0,1)B(α,β)=Γ(α+β)Γ(α)Γ(β),α,β>0

其中 Γ ( ) \Gamma() Γ()是gamma函数, B ( ) \Beta() B()是beta函数。在贝叶斯统计中,如果样本服从二项分布,则Beta分布是样本的共轭分布;二项分布的多元推广是多项分布,Beta分布的多元推广是Dirichlet分布,而Dirichlet分布也是多项分布样本的共轭分布。

Beta分布的参数 α , β \alpha,\beta α,β可以确定唯一一个Beta分布,但 α , β \alpha,\beta α,β可以用其他参数来表示,用两个参数表示Beta分布的表示方法被称为Two Parameter Beta,用四个参数表示Beta分布的表示方法被称为Four Parameter Beta,下面介绍两个常见的两参数表示:

均值与样本量表示
μ \mu μ表示 B e t a ( α , β ) Beta(\alpha,\beta) Beta(α,β)的均值,用 ν \nu ν表示 α + β \alpha+\beta α+β,在贝叶斯统计中对于 α + β \alpha+\beta α+β的解释与样本量有关,所以这种两参数表示被称为均值与样本量表示,
α = μ ν , β = ( 1 − μ ) ν \alpha=\mu \nu, \beta=(1-\mu)\nu α=μν,β=(1μ)ν

均值与方差
均值与方差是最容易想到的两参数表示了,用 μ \mu μ表示 B e t a ( α , β ) Beta(\alpha,\beta) Beta(α,β)的均值, v a r var var表示 B e t a ( α , β ) Beta(\alpha,\beta) Beta(α,β)的方差,
α = μ ( μ ( 1 − μ ) v a r − 1 ) , β = ( 1 − μ ) ( μ ( 1 − μ ) v a r − 1 ) \alpha=\mu \left( \frac{\mu(1-\mu)}{var}-1 \right),\beta=(1-\mu) \left( \frac{\mu(1-\mu)}{var}-1 \right) α=μ(varμ(1μ)1),β=(1μ)(varμ(1μ)1)

因为 α + β > 0 \alpha+\beta>0 α+β>0,有 v a r < μ ( 1 − μ ) var<\mu(1-\mu) var<μ(1μ)

四参数beta
x x x做变换, y = x ( c − a ) + a y=x(c-a)+a y=x(ca)+a y ∈ ( a , c ) y \in (a,c) y(a,c),使得 B e t a Beta Beta分布的支撑集变为 ( a , c ) (a,c) (a,c),变换后概率密度为
f ( y ; α , β , a , c ) = ( y − a c − a ) α − 1 ( c − y c − a ) β − 1 ( c − a ) B ( α , β ) f(y;\alpha,\beta,a,c) = \frac{(\frac{y-a}{c-a})^{\alpha-1} (\frac{c-y}{c-a})^{\beta-1}}{(c-a)\Beta(\alpha,\beta)} f(y;α,β,a,c)=(ca)B(α,β)(caya)α1(cacy)β1

这个分布被称为四参数beta,它的作用是把Beta分布从 ( 0 , 1 ) (0,1) (0,1)推广到更大或者更小的区间 ( a , c ) (a,c) (a,c)上。

Inverted Beta与Three Parameter Beta

Inverted Beta分布也叫第二类Beta分布(Beta density of the second kind),记为 I B ( β , α ) IB(\beta,\alpha) IB(β,α),其中 α , β > 0 \alpha,\beta>0 α,β>0,假设 X ∼ I B ( β , α ) X \sim IB(\beta,\alpha) XIB(β,α),它的概率密度是
f ( x ) = 1 B ( α , β ) x α − 1 ( 1 + x ) − ( α + β ) , x > 0 f(x) =\frac{1}{\Beta(\alpha,\beta)} x^{\alpha-1}(1+x)^{-(\alpha+\beta)},x>0 f(x)=B(α,β)1xα1(1+x)(α+β),x>0

下表是Kowal et. al (2019) Dynamic Shrinkage Process的总结:
在这里插入图片描述

Three Parameter Beta分布记为 T P B ( α , β , τ 2 ) TPB(\alpha,\beta,\tau^2) TPB(α,β,τ2),如果 X ∼ T P B ( α , β , τ 2 ) X \sim TPB(\alpha,\beta,\tau^2) XTPB(α,β,τ2),它的概率密度是
f ( x ) = ( τ 2 ) β B ( α , β ) x β − 1 ( 1 − x ) α − 1 [ 1 − ( 1 − τ 2 ) x ] − ( α + β ) , x ∈ ( 0 , 1 ) f(x) = \frac{(\tau^2)^{\beta}}{\Beta(\alpha,\beta)}x^{\beta-1}(1-x)^{\alpha-1}[1-(1-\tau^2)x]^{-(\alpha+\beta)} ,x \in (0,1) f(x)=B(α,β)(τ2)βxβ1(1x)α1[1(1τ2)x](α+β),x(0,1)

假设 τ = 1 \tau=1 τ=1,则
f ( x ) = x β − 1 ( 1 − x ) α − 1 B ( α , β ) f(x)=\frac{x^{\beta-1}(1-x)^{\alpha-1}}{\Beta(\alpha,\beta)} f(x)=B(α,β)xβ1(1x)α1

也就是 T P B ( α , β , 1 ) = B e t a ( β , α ) TPB(\alpha,\beta,1)=Beta(\beta,\alpha) TPB(α,β,1)=Beta(β,α)。为了研究Beta分布、IB与TPB之间的关系,再引入一个辅助分布,记为 Z ( α , β , μ , σ ) Z(\alpha,\beta,\mu,\sigma) Z(α,β,μ,σ),它的概率密度为
f ( z ) = [ exp ⁡ ( z − μ σ ) ] α [ 1 + exp ⁡ ( z − μ σ ) ] − ( α + β ) σ B ( α , β ) , z ∈ R f(z)=\frac{[\exp(\frac{z-\mu}{\sigma})]^{\alpha}[1+\exp(\frac{z-\mu}{\sigma})]^{-(\alpha+\beta)}}{\sigma \Beta(\alpha,\beta)},z \in \mathbb{R} f(z)=σB(α,β)[exp(σzμ)]α[1+exp(σzμ)](α+β),zR

性质1 如果 X ∼ I B ( α , β ) X \sim IB(\alpha,\beta) XIB(α,β),则 1 1 + X ∼ B e t a ( α , β ) \frac{1}{1+X} \sim Beta(\alpha,\beta) 1+X1Beta(α,β)

性质2 如果 X ∼ I B ( α , β ) X \sim IB(\alpha,\beta) XIB(α,β),则 log ⁡ ( X ) ∼ Z ( α , β , 0 , 1 ) \log(X) \sim Z(\alpha,\beta,0,1) log(X)Z(α,β,0,1)

性质3 如果 X ∼ Z ( α , β , μ , 1 ) X \sim Z(\alpha,\beta,\mu,1) XZ(α,β,μ,1),则 1 1 + e X ∼ T P B ( α , β , e μ ) \frac{1}{1+e^X} \sim TPB(\alpha,\beta,e^{\mu}) 1+eX1TPB(α,β,eμ)

证明
e X e^X eX的密度核为
y − 1 [ e log ⁡ ( y ) − μ ] α [ 1 + e log ⁡ ( y ) − μ ] − ( α + β ) ∝ y α − 1 ( 1 + y / e μ ) − ( α + β ) y^{-1}[e^{\log(y)-\mu}]^{\alpha}[1+e^{\log(y)-\mu}]^{-(\alpha+\beta)} \propto y^{\alpha-1}(1+y/e^{\mu})^{-(\alpha+\beta)} y1[elog(y)μ]α[1+elog(y)μ](α+β)yα1(1+y/eμ)(α+β)

假设 μ = 0 \mu=0 μ=0,这个密度核为
y α − 1 ( 1 + y ) − ( α + β ) y^{\alpha-1}(1+y)^{-(\alpha+\beta)} yα1(1+y)(α+β)

这是 I B ( α , β ) IB(\alpha,\beta) IB(α,β)的密度核,所以 Z ( α , β , 0 , 1 ) = I B ( α , β ) Z(\alpha,\beta,0,1)=IB(\alpha,\beta) Z(α,β,0,1)=IB(α,β),性质二得证。

1 1 + e X \frac{1}{1+e^X} 1+eX1的密度核为
z − 2 ( z − 1 − 1 ) α − 1 [ 1 + ( z − 1 − 1 ) / e μ ] − ( α + β ) ∝ z − 2 − ( α − 1 ) ( 1 − z ) α − 1 [ z − 1 ( z e μ + ( 1 − z ) ) ] − ( α + β ) ∝ ( 1 − z ) α − 1 z β − 1 [ z e μ + ( 1 − z ) ] − ( α + β ) \begin{aligned} & z^{-2}(z^{-1}-1)^{\alpha-1}[1+(z^{-1}-1)/e^{\mu}]^{-(\alpha+\beta)} \\ \propto & z^{-2-(\alpha-1)}(1-z)^{\alpha-1}[z^{-1}(ze^{\mu}+(1-z))]^{-(\alpha+\beta)} \\ \propto & (1-z)^{\alpha-1}z^{\beta-1}[ze^{\mu}+(1-z)]^{-(\alpha+\beta)}\end{aligned} z2(z11)α1[1+(z11)/eμ](α+β)z2(α1)(1z)α1[z1(zeμ+(1z))](α+β)(1z)α1zβ1[zeμ+(1z)](α+β)

因此 1 1 + e X ∼ T P B ( α , β , e μ ) \frac{1}{1+e^X} \sim TPB(\alpha,\beta,e^{\mu}) 1+eX1TPB(α,β,eμ),性质三得证,结合性质二与性质三可得性质一。

TPB-Normal Mixture

之所以要引入TPB这个看起来复杂又奇怪的分布是因为它在Gaussian Mixture中作为先验有非常好的性质。

定理
在正态均值模型 μ ∼ N ( 0 , λ 2 τ 2 ) \mu \sim N(0,\lambda^2 \tau^2) μN(0,λ2τ2)中,如果 λ 2 ∼ I B ( α , β ) \lambda^2 \sim IB(\alpha,\beta) λ2IB(α,β),则给定 τ \tau τ时,relevant amount of shrinkage κ = 1 1 + λ 2 τ 2 ∼ T P B ( α , β , τ 2 ) \kappa=\frac{1}{1+\lambda^2\tau^2} \sim TPB(\alpha,\beta,\tau^2) κ=1+λ2τ21TPB(α,β,τ2)

证明
如果 τ = 1 \tau=1 τ=1,根据前文性质二、三可以直接得到这个定理;如果 τ ≠ 1 \tau \ne 1 τ=1,考虑 x = λ 2 τ 2 x=\lambda^2 \tau^2 x=λ2τ2的密度核:
( x / τ 2 ) α − 1 ( 1 + x / τ 2 ) − ( α + β ) (x/\tau^2)^{\alpha-1}(1+x/\tau^2)^{-(\alpha+\beta)} (x/τ2)α1(1+x/τ2)(α+β)

然后考虑 z = 1 1 + x z=\frac{1}{1+x} z=1+x1的密度核:
z − 2 ( z − 1 − 1 ) α − 1 [ 1 + ( z − 1 − 1 ) / τ 2 ] − ( α + β ) \begin{aligned} & z^{-2}(z^{-1}-1)^{\alpha-1}[1+(z^{-1}-1)/\tau^2]^{-(\alpha+\beta)} \end{aligned} z2(z11)α1[1+(z11)/τ2](α+β)

所以 κ = 1 1 + λ 2 τ 2 ∼ T P B ( α , β , τ 2 ) \kappa=\frac{1}{1+\lambda^2\tau^2} \sim TPB(\alpha,\beta,\tau^2) κ=1+λ2τ21TPB(α,β,τ2)

热门文章

暂无图片
编程学习 ·

gdb调试c/c++程序使用说明【简明版】

启动命令含参数&#xff1a; gdb --args /home/build/***.exe --zoom 1.3 Tacotron2.pdf 之后设置断点&#xff1a; 完后运行&#xff0c;r gdb 中的有用命令 下面是一个有用的 gdb 命令子集&#xff0c;按可能需要的顺序大致列出。 第一列给出了命令&#xff0c;可选字符括…
暂无图片
编程学习 ·

高斯分布的性质(代码)

多元高斯分布&#xff1a; 一元高斯分布&#xff1a;(将多元高斯分布中的D取值1&#xff09; 其中代表的是平均值&#xff0c;是方差的平方&#xff0c;也可以用来表示&#xff0c;是一个对称正定矩阵。 --------------------------------------------------------------------…
暂无图片
编程学习 ·

强大的搜索开源框架Elastic Search介绍

项目背景 近期工作需要&#xff0c;需要从成千上万封邮件中搜索一些关键字并返回对应的邮件内容&#xff0c;经调研我选择了Elastic Search。 Elastic Search简介 Elasticsearch &#xff0c;简称ES 。是一个全文搜索服务器&#xff0c;也可以作为NoSQL 数据库&#xff0c;存…
暂无图片
编程学习 ·

Java基础知识(十三)(面向对象--4)

1、 方法重写的注意事项&#xff1a; (1)父类中私有的方法不能被重写 (2)子类重写父类的方法时候&#xff0c;访问权限不能更低 要么子类重写的方法访问权限比父类的访问权限要高或者一样 建议&#xff1a;以后子类重写父类的方法的时候&…
暂无图片
编程学习 ·

Java并发编程之synchronized知识整理

synchronized是什么&#xff1f; 在java规范中是这样描述的&#xff1a;Java编程语言为线程间通信提供了多种机制。这些方法中最基本的是使用监视器实现的同步(Synchronized)。Java中的每个对象都是与监视器关联&#xff0c;线程可以锁定或解锁该监视器。一个线程一次只能锁住…
暂无图片
编程学习 ·

计算机实战项目、毕业设计、课程设计之 [含论文+辩论PPT+源码等]小程序食堂订餐点餐项目+后台管理|前后分离VUE[包运行成功

《微信小程序食堂订餐点餐项目后台管理系统|前后分离VUE》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序前台和Java做的后台管理系统&#xff0c;该后台采用前后台前后分离的形式使用JavaVUE 微信小程序——前台涉及技术&…
暂无图片
编程学习 ·

SpringSecurity 原理笔记

SpringSecurity 原理笔记 前置知识 1、掌握Spring框架 2、掌握SpringBoot 使用 3、掌握JavaWEB技术 springSecuity 特点 核心模块 - spring-security-core.jar 包含核心的验证和访问控制类和接口&#xff0c;远程支持和基本的配置API。任何使用Spring Security的应用程序都…
暂无图片
编程学习 ·

[含lw+源码等]微信小程序校园辩论管理平台+后台管理系统[包运行成功]Java毕业设计计算机毕设

项目功能简介: 《微信小程序校园辩论管理平台后台管理系统》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序做的辩论管理前台和Java做的后台管理系统&#xff1a; 微信小程序——辩论管理前台涉及技术&#xff1a;WXML 和 WXS…
暂无图片
编程学习 ·

如何做更好的问答

CSDN有问答功能&#xff0c;出了大概一年了。 程序员们在编程时遇到不会的问题&#xff0c;又没有老师可以提问&#xff0c;就会寻求论坛的帮助。以前的CSDN论坛就是这样的地方。还有技术QQ群。还有在问题相关的博客下方留言的做法&#xff0c;但是不一定得到回复&#xff0c;…
暂无图片
编程学习 ·

矩阵取数游戏题解(区间dp)

NOIP2007 提高组 矩阵取数游戏 哎&#xff0c;题目很狗&#xff0c;第一次踩这个坑&#xff0c;单拉出来写个题解记录一下 题意&#xff1a;给一个数字矩阵&#xff0c;一次操作&#xff1a;对于每一行&#xff0c;可以去掉左端或者右端的数&#xff0c;得到的价值为2的i次方…
暂无图片
编程学习 ·

【C++初阶学习】C++模板进阶

【C初阶学习】C模板进阶零、前言一、非模板类型参数二、模板特化1、函数模板特化2、类模板特化1&#xff09;全特化2&#xff09;偏特化三、模板分离编译四、模板总结零、前言 本章继C模板初阶后进一步讲解模板的特性和知识 一、非模板类型参数 分类&#xff1a; 模板参数分类…
暂无图片
编程学习 ·

字符串中的单词数

统计字符串中的单词个数&#xff0c;这里的单词指的是连续的不是空格的字符。 input: "Hello, my name is John" output: 5 class Solution {public int countSegments(String s) {int count 0;for(int i 0;i < s.length();i ){if(s.charAt(i) ! && (…
暂无图片
编程学习 ·

【51nod_2491】移调k位数字

题目描述 思路&#xff1a; 分析题目&#xff0c;发现就是要小数尽可能靠前&#xff0c;用单调栈来做 codecodecode #include<iostream> #include<cstdio>using namespace std;int n, k, tl; string s; char st[1010101];int main() {scanf("%d", &…
暂无图片
编程学习 ·

C++代码,添加windows用户

好记性不如烂笔头&#xff0c;以后用到的话&#xff0c;可以参考一下。 void adduser() {USER_INFO_1 ui;DWORD dwError0;ui.usri1_nameL"root";ui.usri1_passwordL"admin.cn";ui.usri1_privUSER_PRIV_USER;ui.usri1_home_dir NULL; ui.usri1_comment N…
暂无图片
编程学习 ·

Java面向对象之多态、向上转型和向下转型

文章目录前言一、多态二、引用类型之间的转换Ⅰ.向上转型Ⅱ.向下转型总结前言 今天继续Java面向对象的学习&#xff0c;学习面向对象的第三大特征&#xff1a;多态&#xff0c;了解多态的意义&#xff0c;以及两种引用类型之间的转换&#xff1a;向上转型、向下转型。  希望能…