线性回归

线性回归
线性回归简介
1.定义
利用回归方程(函数）对一个或多个自变量(特征值） 和因变量（目标值）之间关系进行建模的一种分析方
2. 表示方式：
h(w) = w1x1 + W2x2 + w3x3 +. .. + b
=w转置x+ b
3.分类
线性关系
非线性关系


线性回归api初步使用
api  sklearn. linear model. LinearRegression ()
属性：
LinearRegression.coef：回归系数

线性回归的损失和优化
1.损失
最小二乘法
2.优化
正规方程
梯度下降法
3.正规方程
利用矩阵的逆，转置进行一步求解

4.梯度下降法
举例：
山  -- 可微分的函数
山底 -- 函数的最小值

梯度的概念
单变量 --切线
多变量 -- 向量
梯度下降法中关注的两个参数
- 1 就是步长
   步长太小 --下山太慢
   步长太大 -- 容易跳过极小值点（*****）
-2 为什么梯度要加一个负号
   梯度方向是上升最快方向，负号就是下降最快方向

5.梯度下降法和正规方程对比：
梯度下降               正规方程
需要选择学习率          不需要
需要迭代求解            一次运算得出
特征数量较大可以使用     需要计算方程，时间复杂度高o(n3)

6.选择：
小规模数据： 
LinearRegression(不能解决拟合问题）
岭回归     
大规模数据：SGDRegressor


梯度下降法介绍
1 全梯度下降算法(FG)
在进行计算的时候，计算所有样本的误差平均值,作为我的目标函数
2 随机梯度下降算法 (sG)
每次只选择一个样本进行考核
3 小批量梯度下降算法 (mini-bantch)
选择一部分样本进行考核
4 随机平均梯度下降算法(SAG)
会给每个样本都维持一个平均值，后期计算的时候，参考这个平均值