逻辑回归：实际解决分类问题
回归怎么解决分类问题？将样本的特征和样本发生的概率联系起来，概率是一个数，由于概率是一个数，所以可以管它叫做回归问题。对于机器学习算法来说，本质就是 求出一个函数小f，如果此时有一个样本x，经过f的运算之后就会得到一个预测值，通常称之为y。y的值实际上就是本身我们关心的那个指标。但是在逻辑回归中，我们得到的y的值本质是一个概率值。如果我们不进行最后一步根据p的值进行分类的操作的话，那么他此时就是一个回归算法(我们计算出的是：我们通过一个样本的特征来拟合计算一个事件发生的概率)；那么我们通过这个概率就可以进一步给他分类
多分类问题逻辑回归本身是不支持的(当然可以使用一些其他的技巧进行改进),KNN算法天生可以支持多分类问题
, 
， 
, 
, 
, 
, 
逻辑回归损失函数的梯度求解(梯度下降法)
， 
， 
， 
， 
， 
， 
， 
在逻辑回归中使用多项式特征
防止过拟合：使用正则化方法
，另一种正则化方法： 
，
， 
， 
