机器学习入门 速览【第三章】
3.3 多元线性回归
多元线性回归的解法
归纳偏好：对不正定方程加约束，如系数a越大越好，通过添加条件使得解唯一
3.5 sigmiod
对于
3.6 对率回归求解
极大似然法
\[取最大值：max(P(真是正类)P(预测为正类)+P(真是负类)P(预测为负类))
\]
通常概率会很小，为了排除小数乘法突破浮点数下限，通常取ln处理
3.7 线性判别分析
线性判别分析（Linear Discriminant Analysis）
对于分类问题：A类与直线尽量近，B类与直线尽量远，同时AB类相距更远
LDA的目标：
求解思路：
3.8 LDA的多类推广
推广到多类：
3.9 多分类学习
拆解法：将一个多分类任务拆分为若干个二分类任务求解
OVO：one vs one 一对一两两配对
OVR：one vs rest 一对其余
3.10 类别不平衡
当两类样本比例相差很大时，往往小类更重要：
\[通常 \frac{y}{1-y}>1 \Leftrightarrow y> 0.5
\]
隐含参数0.5
