定义
How can we build computer systems that automatically improve with experience, and what are the fundamental laws that govern all learning processes?
机器学习是人工智能的一个分支，其目的在于使得计算器具备自动学习的能力，关注于开发程序使计算机随着新的数据而自动发生变化，以处理新数据。机器学习想让计算机能够透过数据学习到模式，通过数据来提升机器的理解力，发现模式并变更行为。简单来说就是通过算法使得机器能从大量历史数据中学习规律从而对新的样本做智能识别或对未来做预测。
在机器学习发展分为两个阶段，浅层学习（Shallow Learning）和深度学习（Deep Learning）。浅层学习起源上世纪20年代人工神经网络的反向传播算法（Back-propagation）的发明，使得基于统计的机器学习算法大行其道，虽然这时候的人工神经网络算法也被称为多层感知机（Multiple layer Perception），但由于多层网络训练困难，通常都是只有一层隐含层的浅层模型。
20世纪90年代，各种各样的浅层机器学习模型相继被提出。比如支撑向量机Support Vector Machine，Boosting，最大熵方法，比如logistic regression，LR等．这些模型的结构基本上可以看成带有一层隐层节点如SVM，Boosting，或没有隐层节点如LR。这些模型在无论是理论分析还是应用都获得了巨大的成功。相比较之下，由于理论分析的难度而且训练方法需要很多经验和技巧，这个时期多层人工神经网络反而相对较为沉寂。
2006年的三篇论文：Hinton的Deep Belief Nets，Bengio团队的Greedy Layer-Wise Training of Deep Networks，LeCun团队的Efficient Learning of Sparse Representations with an Energy-Based Model开启了深度神经网络即深度学习在学术界和工业界的浪潮，同时GPU并行计算被发现特别适合构建多层神经网络，这为深度学习的发展提供了基础保障。
- The Discipline of Machine Learning http://www.cs.cmu.edu/~tom/pubs/MachineLearning.pdf
网友评论