讲透一个强大算法模型,贝叶斯回归 !!


讲透一个强大算法模型,贝叶斯回归 !!

仅用于站内搜索,没有排版格式,具体信息请跳转上方微信公众号内链接

哈喽,我是cos大壮!~
昨天,有同学问到关于贝叶斯回归的内容,主要是刚刚学习完回归类算法,看到了贝叶斯回归,没有思路,不知道怎么结合起来。
首先,回归大家都理解了,大概就是“找规律”。我们手上有一些数据,比如某城市每年广告投入与商品销量的数据,想找出广告投入和销量之间的关系。我们假设这个关系是可以用一条直线、曲线等表达的,这就叫回归分析。
最常见的是线性回归:
比如我们认为销量=a×广告投入+b,这里的a和b是我们要找的参数。
贝叶斯思想是关于“如何在不确定性中做决策”的一种思维方式。
它的核心是:我们有对事情的先入判断(先验),在得到新数据后,我们更新自己的判断(后验)。换句话说,贝叶斯就是用“新数据来不断更新你对世界的理解”。
贝叶斯回归=回归分析+贝叶斯思想
意思是:我们仍然是想找出输入和输出之间的规律(比如广告投入和销量之间的关系),但我们不是只找一个“最可能的答案”,而是找出所有可能性以及它们的“可信度”(概率分布)。
它不像传统线性回归那样只给出一个确定的结果(比如a=1. 2),而是给出一个分布(比如a可能是正态分布N(1. 2,0. 1²)),这样我们知道参数的可能范围和不确定性。
我们用简单的一元线性回归(只有一个自变量x)来推导,方便理解。多元情况类似,只是换成了向量和矩阵。
我们假设数据满足一个线性模型:
其中:
:目标变量(比如销量)
:输入变量(比如广告费)
:我们要学习的回归系数(未知参数)
:误差项,表示观测噪声
我们假设误差服从高斯分布:
所以整个模型变为:
即:在给定的条件下,是一个高斯分布,均值为,方差为。
我们认为并不是一个固定值,而是一个随机变量,它本身也服从一个分布。我们假设它的先验是正态分布:
意思是:在还没有看到任何数据前,我们认为大致在附近,可能性呈正态分布。
我们观察到了个数据点,假设每个数据点是独立的,则似然函数为:
也可以写为:
其中,
根据贝叶斯公式:
这个公式的意思是:
后验=似然×先验/证据
分母是常数,对我们求参数来说无关紧要
所以我们只需要看:
由于先验和似然函数都是正态分布,它们的乘积仍是正态分布,后验分布也是正态的:
我们可以求出后验的均值和方差(这就是核心推导):
我们用矩阵来推导更通用的多维情况:
设有个样本,每个输入,把所有数据构成设计矩阵,输出是
假设:
那么后验也是高斯分布:
其中:
这两个公式给出了更新后的参数分布。
注意:
先验影响的是和
数据越多,后验越偏向似然函数(也就是和普通线性回归结果越接近)
假设我们现在有一个新的输入,我们想知道它对应的输出会是什么样。
我们不能直接用一个确定的去计算,因为我们对是不确定的。
我们已经有了,所以我们要计算:
由于两个都是高斯分布,这个积分可以解析求出,也是一个正态分布:
意思是:预测值的均值是,而方差是模型不确定性加上观测噪声
下面是算法流程:
准备数据:收集训练数据
设定先验分布:
通常设定
参数控制先验的强度(越大,先验越保守)
定义似然函数:
是噪声的方差
计算后验分布:
用公式推导出
预测新数据点:
对每个新输入,计算预测分布
可选步骤:超参数调节:
可以通过最大化边际似然(evidence)来调节
这里给大家展现一个详细且完整的贝叶斯回归实际应用案例示例。
假设我们是市场分析师,想要研究某广告预算投入(自变量X)与销售额(因变量Y)之间的关系。
数据量有限,噪声大,同时我们希望能得到预测的不确定度评估。
这正是贝叶斯回归擅长的场景。
我们用线性函数加噪声模拟了“广告预算”与“销售额”的关系。
噪声模拟现实中测量和外部因素带来的不确定。
通过np. random.seed(42)保证结果可复现。
图形显示帮助理解数据分布。
设计矩阵加入了偏置(常数项)这一列,保证模型可以学到截距。
先验假设为多元正态分布,均值为零,协方差由超参数控制。
观测噪声通过表示其精度。
使用公式:
计算得到后验分布的均值和协方差。
在新的测试点计算预测均值:
计算预测的总不确定性(预测方差):
方差中第一项是观测噪声,第二项是参数不确定性。
可视化中用预测均值曲线和置信区间体现预测结果和模型的信心范围。
预测均值用明亮的酸橙绿表示,突出趋势线。置信区间用青色填充,既不抢眼又清晰表达不确定度范围。
先验参数和噪声精度通常未知,可以用边际似然最大化或交叉验证方法调优。
例如,使用网格搜索或者EM算法自动估计这两个参数。
如果数据非线性,加入多项式特征或使用核方法提升拟合能力。
对大规模数据,用数值稳定的Cholesky分解替代矩阵求逆,提高效率。
使用变分推断或马尔科夫链蒙特卡洛(MCMC)方法处理更复杂模型。
结合稀疏贝叶斯回归自动筛选无关特征。
这个模型自动对超参数(噪声精度和先验)做了估计,且带有正则化功能,适合更复杂实际数据。
总的来说,贝叶斯回归不仅给出预测结果,还能量化预测的不确定度。结合sklearn的贝叶斯岭回归可以快速实现自动调参及扩展。
未来可以尝试非线性贝叶斯回归、变分推断等更高级技术。
推荐阅读
(点击标题可跳转阅读)
《机器学习100天》视频讲解
公众号历史文章精选
我的深度学习入门路线
重磅!
1700多页的《人工智能学习路线、干货分享全集》PDF文档
扫描下方二维码,添加我的微信,领取1700多页的《人工智能学习路线、干货分享全集》PDF文档(一定要备注:资料)。
长按扫码,申请入群
感谢你的分享,点赞,在看三连


文章作者: ZejunCao
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 ZejunCao !
  目录