王秋皓 1901213522
非精确牛顿法
采取的选择方向的方法是Nocedal书上P 169算法7.1。函数是InexactNewton.m
我们对两种 和
算法中对应method=1和2。
终止准则采用的是
结果如上。
分析：1，非精确牛顿法收敛很快，很少的迭代次数能达到很高的精度，比第三次上机作业的信赖域方法还好一点。
2，出于不知道什么原因无法对第二个函数收敛。
3，什么样的ita选择似乎是不敏感的，在相同的终止条件下两个不同的选择方式迭代次数都是差不多的。
4, 在观察第三个函数的收敛情况的时候出现了如下比较有意思的情况，函数值在某个节点飙升然后又很快下降。我觉得应该是在这个点附近函数很陡峭（等高线很密集）。但是尽管函数值上升了，非精确牛顿法又很快让函数值降下来。
LBFGS（unroll）
采取的方法是参考Nocedal p178 算法7.4，对m=5 9 15 做了实验，采取的终止准则同上
结果见上图。
分析：1，和非精确牛顿方法一样，LBFGS有很好的收敛效果和收敛速度。
2，非精确牛顿里面第二个函数就没有收敛，LBFGS对这个函数的效果也很不好，按照老师给的收敛准则，会在一个区域内震荡，但不是最优解，应该是掉到一个local minima里。见下图。
3，对于收敛比较好的函数（比如后面两个），m的取值好像是不太敏感的，相差不大。
网友评论