《Neural Networks.》论文单词学习
论文链接：Abdi-Neural-networks-pretty.dvi (aminer.org)
作者：G. David Garson
重要表述：
Neural networks are adaptive statistical models based on an analogy with the structure of the brain.
Basically, neural networks are built from simple units, sometimes called neurons or cells by analogy with the real thing.
These networks usually organize their units into several layers. The first layer is called the input layer, the last one the output layer. The intermediate layers (if any) are called the hidden layers.
The goal of the network is to learn or to discover some association between input and output patterns, or to analyze, or to find the structure of the input patterns.
From a statistical point a view, neural networks represent a class of nonparametric adaptive models.
重要图述
1.神经网络的基本单元结构
基本神经单元将输入信息处理到输出信息中
2.多层感知器
提及两个学习规则
1.Widrow-Hoff（又称梯度下降法或Delta法则）是最广泛的 知名的监督学习规则。它使用单元的实际输入和期望输出之间的差异作为输出单元的误差信号。隐藏层中的单元不能直接计算其误差信号，而是将其作为下一层单元的误差的函数（例如，加权平均）来估计。的函数（如加权平均）。这种对Widrow-Hoff学习规则的调整被称为误差反向传播。在Widrow-Hoff学习中，对突触权重的修正与误差信号成正比，并乘以传递函数的导数所给出的激活值。使用导数的效果是，当激活接近其极端值（最小或最大）时，进行微调修正；当激活处于中间范围时，进行较大的修正。如果一个类似的输入被应用于该单元，每个修正都有使错误信号变小的直接效果。一般来说，监督学习规则实施类似于下降技术的优化算法，因为它们为自由参数搜索一组值(即突触权重）的一组值，从而使整个网络计算出的一些误差函数最小化。
2.Hebbian规则是最广为人知的无监督学习规则。它基于加拿大神经心理学家唐纳德-赫伯的工作，他的理论是 他认为神经元学习（即突触变化）是一种局部现象，可以用激活的时间相关性来表达。以神经元激活值之间的时间相关性来表达。具体来说，突触变化取决于突触前和突触后的活动，并指出突触权重的变化是以下的函数 突触前和突触后活动之间的时间相关性。 具体来说，两个神经元之间的突触权重的值会增加 只要它们处于相同的状态，突触权重就会增加，而当它们处于不同的 处于不同的状态。
单词摘选
analogy:比喻、类比
synapse：突触
excitatory：兴奋剂
inhibitory：抑制剂
derivative：衍生物
heterogeneity：异质性
