利用深度高斯过程增强不确定性估计

Oluwole Oyebamiji,Dilum Dissanayake,Muhammed Cavus
英国人工智能会议论文集 2024,PMLR 295:26-42,2025。

摘要

准确估计预测模型中的不确定性对于广泛的应用至关重要,从土地利用建模中的决策到金融和自主系统中的稳健预测。高斯过程 (GP) 为不确定性量化提供了一个坚实的基础,但在应用于大型、高维数据集时,通常难以扩展和灵活。深度高斯过程 (DGP) 是 GP 的强大扩展,允许 GP 的多层泛化,从而能够更灵活和表达地建模复杂数据。随着模型复杂性的增加,计算成本也随之增加,这使得将 DGP 扩展到大型数据集变得困难。虽然变分推断已被用于大型数据集,但它通常会产生过于自信的不确定性估计,因为它不能有效地利用输入相关的函数不确定性。本文介绍了一种使用预测对数似然 (PLL) 目标与 DGP 模型相结合来增强不确定性估计的方法,以解决这些限制。该方法依赖于为预测分布族设计的参数 GP 回归模型,并结合一个修改后的目标函数,以恢复预测方差的各种贡献之间的完全对称性。我们在几个基准回归和大型环境数据集上评估了我们方法的性能。结果表明,该模型提供了更可靠的不确定性估计,尤其是在数据稀疏的区域,使其在实际应用中效率更高。

引用本文


BibTeX
@InProceedings{pmlr-v295-oyebamiji25a, title = {利用深度高斯过程增强不确定性估计}, author = {Oyebamiji, Oluwole and Dissanayake, Dilum and Cavus, Muhammed}, booktitle = {英国人工智能会议论文集 2024}, pages = {26--42}, year = {2025}, editor = {Benford, Alistair and Cabrera, Christian and Kiden, Sarah and Salili-James, Arianna and Zakka, Vincent Gbouna}, volume = {295}, series = {机器学习研究论文集}, month = {08月05日}, publisher = {PMLR}, pdf = {https://raw.githubusercontent.com/mlresearch/v295/main/assets/oyebamiji25a/oyebamiji25a.pdf}, url = {https://pmlr.com.cn/v295/oyebamiji25a.html}, abstract = {准确估计预测模型中的不确定性对于广泛的应用至关重要,从土地利用建模中的决策到金融和自主系统中的稳健预测。高斯过程 (GP) 为不确定性量化提供了一个坚实的基础,但在应用于大型、高维数据集时,通常难以扩展和灵活。深度高斯过程 (DGP) 是 GP 的强大扩展,允许 GP 的多层泛化,从而能够更灵活和表达地建模复杂数据。随着模型复杂性的增加,计算成本也随之增加,这使得将 DGP 扩展到大型数据集变得困难。虽然变分推断已被用于大型数据集,但它通常会产生过于自信的不确定性估计,因为它不能有效地利用输入相关的函数不确定性。本文介绍了一种使用预测对数似然 (PLL) 目标与 DGP 模型相结合来增强不确定性估计的方法,以解决这些限制。该方法依赖于为预测分布族设计的参数 GP 回归模型,并结合一个修改后的目标函数,以恢复预测方差的各种贡献之间的完全对称性。我们在几个基准回归和大型环境数据集上评估了我们方法的性能。结果表明,该模型提供了更可靠的不确定性估计,尤其是在数据稀疏的区域,使其在实际应用中效率更高。 } }
Endnote
%0 会议论文 %T 利用深度高斯过程增强不确定性估计 %A Oluwole Oyebamiji %A Dilum Dissanayake %A Muhammed Cavus %B 英国人工智能会议论文集 2024 %C 机器学习研究论文集 %D 2025 %E Alistair Benford %E Christian Cabrera %E Sarah Kiden %E Arianna Salili-James %E Vincent Gbouna Zakka %F pmlr-v295-oyebamiji25a %I PMLR %P 26--42 %U https://pmlr.com.cn/v295/oyebamiji25a.html %V 295 %X 准确估计预测模型中的不确定性对于广泛的应用至关重要,从土地利用建模中的决策到金融和自主系统中的稳健预测。高斯过程 (GP) 为不确定性量化提供了一个坚实的基础,但在应用于大型、高维数据集时,通常难以扩展和灵活。深度高斯过程 (DGP) 是 GP 的强大扩展,允许 GP 的多层泛化,从而能够更灵活和表达地建模复杂数据。随着模型复杂性的增加,计算成本也随之增加,这使得将 DGP 扩展到大型数据集变得困难。虽然变分推断已被用于大型数据集,但它通常会产生过于自信的不确定性估计,因为它不能有效地利用输入相关的函数不确定性。本文介绍了一种使用预测对数似然 (PLL) 目标与 DGP 模型相结合来增强不确定性估计的方法,以解决这些限制。该方法依赖于为预测分布族设计的参数 GP 回归模型,并结合一个修改后的目标函数,以恢复预测方差的各种贡献之间的完全对称性。我们在几个基准回归和大型环境数据集上评估了我们方法的性能。结果表明,该模型提供了更可靠的不确定性估计,尤其是在数据稀疏的区域,使其在实际应用中效率更高。
APA
Oyebamiji, O., Dissanayake, D. & Cavus, M.. (2025). 利用深度高斯过程增强不确定性估计. 英国人工智能会议论文集 2024, in 机器学习研究论文集 295:26-42 可从 https://pmlr.com.cn/v295/oyebamiji25a.html 获取。

相关材料