高斯过程机器学习
高斯过程 Gaussian Processes 原理、可视化及代码实现
本文搬运于个人博客，欢迎点击 这里 查看原博文。 高斯过程 Gaussian Processes 是概率论和数理统计中随机过程的一种，是多元高斯分布的扩展，被应用于机器学习、信号处理等领域。本文对高斯过程进行公式推导、原理阐述、可视化以及代码实现，介绍了以高斯过程为基础的高斯过程回归 Gaussian Process Regression 基本原理、超参优化、高维输入等问题。 目录一元高斯分布多元高斯分布无限元高斯分布？核函数（协方差函数）高斯过程…
什么是Gaussian process? —— 说说高斯过程与高斯分布的关系
之前说了那么多关于分布的基础，下面我们要开始进入正题啦！ 高斯过程：Gaussian process (GP) ！ 首先GP是一个概率统计学上的概念，更确切的说应该是随机过程(Stochastic process)中一个特殊例子。先看看wiki上的定义： 在概率论 和统计学 中，高斯过程（英语：Gaussian process）是观测值 出现在一个连续域（例如时间或空间）的统计模型。在高斯过程中，连续输入空间中每个点都是与一个正态分布 的随机变量 相关联。此外，这些随机…
贝叶斯优化(原理+代码解读)
今天来讲讲贝叶斯优化，一年半前在github的博客上曾经写过，也做了点相关的工作（虽然最后没发出去，让别人先发了）。希望这篇博客能够让你无痛理解贝叶斯优化，记得点赞！ 贝叶斯优化什么既然是优化，就有优化命题的存在，比如要在某个区间内去最大化某个函数 [公式] 如果这个函数计算比较容易，甚至还可以知道它的梯度，那事情就好办了，一阶、二阶优化算法换着上就完事。 [文章: 机器学习与优化基础（Machine Learning and Optimization）] 但现实往往没有那么理想，这个…
快速入门高斯过程（Gaussian process）回归预测
不懂机器学习的摸鱼者
前言这篇文章主要是教会你如何快速了解高斯过程进行回归预测的，并没有太多的公式推导，只有简单的相关的概念的介绍，如果您要自己掌握并使用高斯过程进行一个简单的预测，当然还需要进行一些基础知识的学习，我会在文章最后推荐一些博主有关高斯过程详细介绍的文章。 话不多说，首先我们看一下面这道题目。这里该不会有人不知道“回归”的意思吧，简单讲回归就是一种拟合，把孤立的东西联系起来，找到规律，这就叫回归。正如题…
看得见的高斯过程：这是一份直观的入门解读
高斯过程可以让我们结合先验知识，对数据做出预测，最直观的应用领域是回归问题。本文作者用几个互动图生动地讲解了高斯过程的相关知识，可以让读者直观地了解高斯过程的工作原理以及如何使其适配不同类型的数据。 选自Distill，作者：Jochen Görtler、Rebecca Kehlbeck、Oliver Deussen，参与：Yi Bai、张倩、王淑婷。 引言即使读过一些机器学习相关的书，你也未必听说过高斯过程。当然了，若是听说过也无妨，复习一下基础知…
图文详解高斯过程（一）——含代码
调调参，论论AI 【公众号：论智 (jqr_AI) 】
编者按：高斯过程（Gaussian process）是概率论和统计学中的一个重要概念，它同时也被认为是一种机器学习算法，广泛应用于诸多领域。为了帮助入门者更好地理解这一简单易用的方法，近日国外机器学习开发者Alex Bridgland 在博客中图文并茂地解释了高斯过程，并授权论智将文章分享给中国读者。注：本文为系列第一篇，虽用可视化形式弱化了数学推导，但仍假设读者具备一定机器学习基础。 现如今，高斯过程可能称不上是机器学习领域…
Gaussian process regression的导出——权重空间视角下的贝叶斯的方法
之前做了那么多准备工作，现在开始，终于要正式讲我们的主要内容，高斯过程回归Gaussian process regression (GPR)，当然很多情况下也会叫做kriging（一般geostatistics里面那么称呼）。 在开始令人烦躁的推导之前，我们先来介绍一下高斯过程回归吧！ 什么？高斯过程回归，这不就之前说了那么多的高斯过程然后再加个回归嘛，这还需要介绍么？似乎也不能说错，可是也绝非如此简单的哦！ 追本溯源来讲，一切要丛现在的热门词汇“机…
Gaussian process 的重要组成部分——关于那个被广泛应用的Kernel的林林总总
接着上一讲说说Gaussian process （GP）的重要组成部分。上次说了一个容易被忽略的mean function，这次应该讲什么？回想一下GP的定义以及哪两个东西可以觉得一个GP哦！ 对，是covariance function，当然这里其实有个更为广为人知的名字：kernel！ [图片] 哦！原来是kernel呀！ 或许对于熟悉support vector machine（SVM）的小伙伴来说，这个词语或许还是熟悉的哦。或许你也会纳闷，我们这里GP的kernel与SVM中的kernel有什么关系，甚至说…
高斯过程回归：推导，实现和理解
https://youzunzhi.github.io
高斯过程模型是机器学习领域中的一个重要模型。本文我们首先给出形式化的问题定义和答案推导，接着按照答案给出对应的代码实现，验证这个答案的问题解决能力。最后我们再对形式化推导的过程进行一个比较详细的说明，希望读者在读完本文后能对高斯过程回归有一个比较充分的理解。 一、形式化推导问题已知训练数据集 [公式] ，其中 [公式] 为输入向量， [公式] 为对应的目标输出…