机器学习中的数学（一）

理清机器学习中的数学概念和相关基础知识，对于理解机器学习算法的原理以及改进算法至关重要。因此本系列笔记打算针对《Mathematics for machine learning》一书，进行学习笔记整理，希望提升自己的同时，能帮助他人一起成长。

目录

• Part I Mathematical Foundations
  • 1. Introduction and Motivation
  • 2. Linear Algebra
  • 3. Analytic Geometry
  • 4. Matrix Decompositions
  • 5. Vector Calculus
  • 6. Probability and Distributions
  • 7. Continuous Optimization
• Part II When Models Meet Data
  • 8. When Models Meet Data
  • 9. Linear Regression
  • 10. Dimensionality Reduction with Principal Component Analysis
  • 11. Density Estimation with Gaussian Mixture Models
  • 12. Classification with Support Vector Machines

第一部分 数学基础

1. 简介和动机

1.1 基本概念

机器学习是通过设计算法来自动地从数据中提取有价值的信息。由于机器学习是一类数据驱动的方法，所以数据是机器学习的核心。机器学习涉及到三个重要的组成核心：数据、模型和学习。

那么对于数据、模型和学习这三个重要的概念，本书有三个重要的观点：

• 将数据看作向量；
• 要么使用概率的，要么使用优化的视角来选择合适模型；
• 使用数值优化方法从可获得的数据中学习，使得模型能够在没有见过的数据集上表现良好。

1.2 阅读本书的两种方式

• 自底向上：由浅入深，从基本的概念开始，学习到更先进的；
• 自顶向下：从实际需求出发，去学习一些基本的概念，这是一种任务驱动的方式。

这种书分为了两个部分，第一部分是数学基础部分，第二部分是机器学习任务及方法。可以根据自己的实际需求，选择阅读方法，我推荐自底向上的方式，当然也可以两种方式结合。

接下来介绍数学基础部分和机器学习四大支柱（常见任务）的关系，如图所示：

1.3 练习与反馈

这本书可以从https://mml-book.com这个网站下载。第一部分主要适用笔和纸完成练习，第二部分提供有编程的代码用于加深机器学习算法的理解。