首页AI技术供需平台最小平方误差判别 MSE站长QQ:926563750

浏览

0

回复

最小平方误差判别 MSE

作者:cvchina | 分类:AI技术供需平台 | 标签:机器学习 深度学习 

 

最小平方误差判别准则函数

对于上一节提出的不等式组:


在线性不可分的情况下,不等式组不可能同时满足。一种直观的想法就是,希望求一个a*使被错分的样本尽可能少。这种方法通过求解线性不等式组来最小化错分样本数目,通常采用搜索算法求解。

为了避免求解不等式组,通常转化为方程组:


矩阵形式为:。方程组的误差为:,可以求解方程组的最小平方误差求解,即:

Js(a) 即为最小平方误差(Minimum Squared-Error,MSE)的准则函数:


准则函数最小化方法

准则函数最小化通常有两种方法:违逆法,梯度下降法。

伪逆法

Js(a) 在极值出对a的梯度为零,即:

于是,得到,其中是矩阵Y的伪逆。

一个具体的求解示例如下:


梯度下降法

梯度下降法在每次迭代时按照梯度下降方向更新权向量:


直到满足或者时停止迭代,ξ是事先确定的误差灵敏度。

参照感知器算法中的单步修正法,对MSE也可以采用单样本修正法来调整权向量:


这种算法即Widrow-Hoff算法,也称作最小均方根算法或LMS(Least-mean-square algorithm)算法。


 

(转载请注明作者和出处:http://blog.csdn.net/xiaowei_cqu 未经允许请勿用于商业用途)


本文链接:http://cvchina.net/post/116.html
原创文章如转载请注明:转载自计算机视觉网-AI技术供需平台-计算机视觉论坛谢谢!

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。