人工神经网络ANN.ppt

Artificial Neural Networks - I Artificial Neural Networks人工神经网络 Introduction Table of Contents Introduction to ANNs Taxonomy Features Learning Applications Contents - I Introduction to ANNs Processing elements (neurons) Architecture Functional Taxonomy of ANNs Structural Taxonomy of ANNs Features Learning Paradigms Applications The Biological Neuron 10 billion neurons in human brain Summation of input stimuli Spatial (signals) Temporal (pulses) Threshold over composed inputs Constant firing strength Biological Neural Networks 10,000 synapses per neuron Computational power = connectivity Plasticity new connections (?) strength of connections modified Neural Dynamics 神经网络的复杂性 神经网路的复杂多样，不仅在于神经元和突触的数量大、组合方式复杂和联系广泛，还在于突触传递的机制复杂。现在已经发现和阐明的突触传递机制有：突触后兴奋，突触后抑制，突触前抑制，突触前兴奋，以及“远程”抑制等等。在突触传递机制中，释放神经递质是实现突触传递机能的中心环节，而不同的神经递质有着不同的作用性质和特点 神经网络的研究 神经系统活动，不论是感觉、运动，还是脑的高级功能（如学习、记忆、情绪等）都有整体上的表现，面对这种表现的神经基础和机理的分析不可避免地会涉及各种层次。这些不同层次的研究互相启示，互相推动。在低层次（细胞、分子水平）上的工作为较高层次的观察提供分析的基础，而较高层次的观察又有助于引导低层次工作的方向和体现其功能意义。既有物理的、化学的、生理的、心理的分门别类研究，又有综合研究。 The Artificial Neuron Artificial Neural Models McCulloch Pitts-type Neurons (static) Digital neurons: activation state interpretation (snapshot of the system each time a unit fires) Analog neurons: firing rate interpretation (activation of units equal to firing rate) Activation of neurons encodes information Spiking Neurons (dynamic) Firing pattern interpretation (spike trains of units) Timing of spike trains encodes information (time to first spike, phase of signal, correlation and synchronicity Binary Neurons Analog Neurons Spiking Neurons Spiking Neuron Dynamics 赫布律 加拿大心理学家Donald Hebb出版了《行为的组织》一书，指出学习导致突触的联系强度和传递效能的提高，即为“赫布律”。 在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。 Hebb’s Postulate of Learning Biological formulation When an axon of cell A is near enough to excite a cell and repeatedly or persistently takes part in firing it, some growth process or metabolic change takes p