寻找数据中模式的问题是⼀个基本的问题，有着很长的很成功的历史。例如，16世纪 Tycho Brahe 的⼤量的观测使得 Johannes Kepler 发现⾏星运⾏的经验性规律，这反过来给经典⼒学的发 展提供了跳板。类似地，原⼦光谱的规律的发现在20世纪初期对于量⼦⼒学的发展和证明有着 重要的作⽤。模式识别领域关注的是利⽤计算机算法⾃动发现数据中的规律，以及使⽤这些规 律采取将数据分类等⾏动。 考虑⼿写数字识别的例⼦，如图1.1所⽰。每个数字对应⼀个 28 × 28 像素的图像，因此可以 表 ⽰为⼀个由784个实数组成的向量 x 。⽬标是建⽴⼀个机器，能够以这样的向量 x 作为输⼊， 以数字0到9为输出。这不是⼀个简单的问题，因为⼿写体变化多端。这个问题可以使⽤⼈⼯编 写的规则解决，或者依据笔画的形状启发式地区分数字，但是实际中这样的⽅法导致了规则数 量的激增，以及不符合规则的例外等等，并且始终给出较差的结果。

寻找数据中模式的问题是⼀个基本的问题，有着很长的很成功的历史。例如，16世纪Tycho Brahe的⼤量的观测使得Johannes Kepler发现⾏星运⾏的经验性规律，这反过来给经典⼒学的发 展提供了跳板。类似地，原⼦光谱的规律的发现在20世纪初期对于量⼦⼒学的发展和证明有着 重要的作⽤。模式识别领域关注的是利⽤计算机算法⾃动发现数据中的规律，以及使⽤这些规 律采取将数据分类等⾏动。

最近有时间把Christopher M Bishop的《Pattern Recognition and Machine Learning》（ PRML ）温习了一遍，这本书可以说是机器学习的经典学习之作。以前在上机器学习这么课的时候，很多细节还没联系到，结果在读论文中就显得捉襟见肘。本文打算理清楚这本书的脉络，也顺便为学习机器学习的人打下一个学习路线图。 1. 排除两块内容 现排除第五章的