注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

亿能部落格---观察思维比思维本身更重要

我是回来地球补课的!

 
 
 

日志

 
 
关于我

光行者的存在不在于他们真的能唤醒人类或者改变人类,而在于人类世界走向几近崩溃的时候能够站出来建立一套持久永恒的生活模式。

网易考拉推荐

脑的时-空编码理论的发展(转)  

2013-05-08 23:47:08|  分类: 宇宙时空架构 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

 一、传统人工神经网络的发展    
  人脑的工作过程始终是人们渴望了解的秘密,长期以来神经生物学家以自下而上的方法从单个神经细胞到神经网络的刺激响应进行研究,而神经网络生理学家则以自上而下的途径研究脑的认知行为功能。经过努力逐渐对脑的部分功能有了一定的认识,并不断提出了一系列的设想和见解,它们激发了工程设计人员期望获得至今的计算机仍然很难解决而人和动物处理得很好的一类问题的解决。科学家开始建立各种工程的和数学的神经元和神经网络模型,并且深入地进行了研究。1940年McCulloch和Pitts首先提出了简单阈值逻辑单元的神经元模型,1960年前后Rosenblatt的感知器,Vidrow和Hoff的Adaline和Steinbuch的学习矩阵等都相继提出并引起了工程学术界的很大兴趣,特别是感知器模型由于它简单而易于实现更引起了人们的注意。然而由于Minsky和pupert证明了感知器不能实现复杂逻辑判断功能,使得神经网络的研究一度趋于低落。
  1982年Hopfeild关于神经网络集成计算能力文章的发表,以及早些时候Grossberg及Carpenter在神经网络自适应共振,Kohonen在神经网络自组织映照和Rumelhart在多层感知器网络及反馈传输算法方面的研究成果促使人工神经网络的研究再次兴起了热潮。通过几年学术界和工程界的广泛深入的研究控索,人工神经网络的非线性映照,学习分类和实时优化等基本特征已成为一种重要的信息处理方法普遍用于各种工程和学科的研究领域。

 二、传统人工神经网络的局限性
  1.  传统神经网络的理论基础------平均发放率编码
  人工神经网络的产生和发展是建立在人脑研究的基础之上的,而对脑的工作原理的理解的关键之一是揭示知识和外界事物在脑内是如何被编码、表达和加工的。传统观点一直认为神经元的平均放电速率是脑中信息的载体,脑皮层的神经元的功能是作为整合放电元件。因而至今几乎所有的人工神经网络模型都是从假设发放速率是输入信号求和后的S型函数开始的。    
  神经元的平均发放率是指在一个生理级时间窗口内(100-200ms),对神经元的发放活动进行平均所得到的数值,是神经元发放脉冲的一阶统计量,而在这100ms内脉冲的精细时间结构则被忽略掉了。平均发放率理论也是有生物实验基础的,在运动神经元中已被证实。    
  经典的发放率编码观点可以由B.Barlow和D.O.Hebb的理论来进行概括。Barlow的观点是“主教细胞”假说,也就是单个细胞的发放率被用来编码信息;而Hebb则认为是许多发放率同时升高的细胞所形成的细胞群是表达信息的基本单位,他的分布式表达思想长期在神经网络理论基础中发挥重要作用。

Barlow认为,如果某一给定神经元发放率增高,则说明外部世界对它有某种确定的刺激,即该神经元的最优刺激。他的观点可以由两点描述:1.某个发放率增高的神经元所在的位置反映刺激的类型;2.该神经元发放率增高的程度反映外界刺激的强弱。这就是所谓“位置”编码,每一个位置的神经元代表一个功能,而且类似功能的单元位置相近,即功能连续性。这一观点已为大量生物实验所证实,如初级视觉皮层不同位置上存在的特定功能细胞群(感受野、方向柱、眼优势柱)。该理论直接扩展到高级认知功能就是“老祖母细胞假设”,即在脑内有专门识别祖母面孔的神经元。有报道说在脑的AIT和STP记录到一些对重要的生物特征(如对人的面孔、手形等)具有选择性的细胞。Tanaka也提出了肖像字母的假设,认为IT区存在一族唯一的“肖像字母”细胞,每个细胞都能对它唯一敏感的“肖像字母”给出最大发放率,而任何物体都可以分解成唯一的“肖像字母”集合。
  在Barlow和Tanaka的观点中包含“位置编码”概念,也就是处于不同位置(如皮层内某个位置)的单个细胞代表着唯一的不同的刺激模式。与位置编码相对的是“模式编码”即由一群细胞的时空发放模式来反映刺激的类型,注意,这里的时空发放模式也是建立在平均发放率的基础上的。Hebb的细胞群理论是比较经典的模式编码,他认为细胞群是脑的信息表达基本单位,在一个生理时间内同时有高的发放率的细胞为一个细胞群。这些细胞群的形成是通过标准的“Hebb突触”学习律来实现的,也就是突触前和后的神经元若同时同步发放,则突触强度会增强,其它情况则会减弱。和Barlow的“主教细胞”假说不同,这里不是由一个细胞来代表一种刺激类型,功能连续性也不再是前提,因为一个细胞可能在不同时刻参与不同的功能细胞群。

2. 平均发放率编码的缺点
   随着人工神经网络的发展,一些问题逐渐暴露出来,而这些问题多来源于作为其基础的“平均发放率”编码。
  “主教细胞”假设所存在的关键问题是
  (1) 组合爆炸。由于它假设目标特征的所有组合情况都由一个细胞来代表,而这种组合会是个天文数字,这种方法所带来的问题比它所解决的问题还要多,比如说记忆管理问题,对主教细胞的建立和删除工作。
  (2) 信息的集成问题。“主教细胞”假设的逻辑结论是存在最终的主神经元----大主教细胞,用于集成所有并行通道来的各部分信息,以形成对外界刺激的完整表示然而目前没有任何生物实验支持这种结论。大脑信息管理更象计算机Internet网络,而不是一个绝对的“君主国”。

细胞群假设则存在另一类困难,区分一个细胞群是根据在生理时间窗口内它们的平均发放率同时增高,这不可避地会导致一些问题。
  (1) 重叠灾难。假设A由一个子群表示,B由另一个子群表示,如果在某一时刻,A、B两种刺激同时到来,则不可能区分这两个子群,因为它们的平均发放率同时增高。解决办法只有两种,一是通过硬件连接,每个子群内的细胞都和更高层的祖母细胞(祖母细胞群)相连,由不同的祖母细胞来进行区分;二是通过选择注意力。
  (2) 难以表达“等级结构”,也就是没有句法结构,表达不了上下文关系。细胞群没有内部结构,解决的方法只有使用“硬件等级”,所以无论如何,大脑要采用硬件表达,即知识等级表达必须映射到大脑的硬件连接上,这是细胞群理论最致命的困难。
  (3) 因为不同并行通道来的子信息必须集成,这就带来了特征捆绑问题。比如颜色和形状信息的捆绑,假设红、绿、方、圆四个特征由不同的细胞子群来代表,因为是分布编码,所以不需任何一个主教细胞是“红圆”细胞,当“红圆”物体和“绿方”物体分别出现时,可以很好的区分。然而,一个严重的问题是,当两种物体同时出现时,由于四个子群的细胞发放率同时增高,则无法把这个超集区分成红、绿、方、圆四个特征的正确组合,也就是不能把相应的信息捆绑在一起。
  发放率编码的这些无法克服的缺点,使建立在其上的传统人工神经网络研究遇到了很大的困难,神经网络的应用范围受到了很大的限制,没有根本的观念转变,进一步发展很困难。另外,由于神经生理学的发展,一些新的生物生理现象被发现,为变革奠定了基础。就是在这种背景下,脑的时空编码理论发展起来了。

三、脑的时空编码理论的产生和发展
  1. 脑功能相关理论的提出
  1981年,Von der Malsburg发表了“脑功能的‘相关’理论”一文,首次提出了相关编码理论。其核心是从编码的概念出发,提出在快时间尺度(2-5ms)上神经相互作用的时间调制的必要性。Malsburg假定存在生理的“快”突触,其尺度可以在心理学尺度上(100ms)调制。F.Crick把它称作“Malsburg突触”。
  两个神经元所发放的脉冲串在精细时间结构(2-5ms)上,可采用“相关”的方法来进行同步与非同步的衡量,这是相关理论与传统发放率理论的本质区别,神经元活动已不再是只在生理时间级尺度上(100-200ms)了。 
  时间相关性是依赖于动态联结来实现:同步化单元的兴奋性联结强化,而非同步化的兴奋性联结削弱,同一信息源或同一目标源所激励的联结相互促进同步化,而不相关的两个活动目标间,即使它们同时处于活动状态,也不会发展相互间的突触。Malsburg突触的“快”特性,使得神经元间的联接可以跟得上同步状态的变化,快突触的变化使同步得到增强并保持。另外,还有慢突触变化进行记忆。 
  Malsburg的理论可以解决句法问题。
2. 同步振荡理论的发展及存在问题 
  但是,Malsburg的相关理论,曾苦于没有神经生物学的证据,甚至于连Malsburg本人也曾失望过。然而到了1989年,历史出现了转机。C.M. Gray & W. Singer等在Nature上发表了视皮层神经元活动的gamma(40Hz)同步振荡的研究结果,引起了神经科学界的极大关注。就象滚雪球似的,神经生物学进一步表明,神经活动的同步振荡,不仅存在于人脑,哺乳动物的脑,而且也发生在昆虫的脑,蝗虫天线神经节的同步振荡在20Hz左右,蛞蝓的前脑叶的场电位振荡为0.5Hz;不仅发生在视皮层,也出现在外侧膝状体,新近证明也发生在视网膜。
  这些新发现吸引了Malsburg的注意,他认为振荡是脑的相关编码的现象,从而加强了对同步振荡的研究。这里需要强调的是,他的最初的观点是“相关发放”,而不是“同步发放”。
  同步振荡理论是基于两个准则的:(1)位置编码,即刺激的含义被子编码为产生振荡的细胞所在的位置所编码; (2) 振荡的同步,“同步”的作用是把由各自振荡的细胞所编码的局部信息,通过振荡的相位同步而绑定起来。系统动态的作用就是在同步和非同步状态间切换,从而将许多表达单位信息的细胞联系起来。
  振荡自身并不用来表达信息,而是给神经元之间的相关性提供了一种时间结构,正是这些彼此相关的、在给定的时间一起协同工作的动态神经元群编码着特定信息。同步是零延迟的相关,是相关的特例。所以除了可以解决特征绑定外,“同步”还可解决“重叠空难”的问题。如果两种刺激同时出现,可由两个内部同步而相互之间不同步的两个细胞群来分别表示它们。
  同步振荡与Hebb细胞群假设的区别就在于,前者是建立在细胞发放脉冲精细时间结构之上的,而后者则是在生理时间级时间窗口内求平均脉冲发放率。 
  然而,同步振荡也是存在一些问题的。比如对于捆绑问题,为了维持稳定的捆绑关系同步现象应该在刺激出现过程中一直持续,而大量实验发现,同步更多的只是一种瞬间状态,这就使同步用于捆绑受到了怀疑。另外,在“重叠”问题中,有实验发现,当用一种刺激作用于细胞时,细胞产生振荡,而如果有另外一个不同(如正交)的刺激同时也出现的话,原本在振荡的细胞的振荡活动却会受到抑制。所以,有些观点认为,在某些脑的区域里,同步振荡可能只是脑处理中一个动态计算过程被触发的反应。

3. 时空编码理论
  1995年,曾以1982年、1984年两篇论文推动八十年代人工神经网络热潮的Hopfield,提出了一个采用动作电位定时作为刺激表象的模式识别计算原理,其核心有两个方面:1.诸多变量的规模是由脉冲出现的准确时间,而不是脉冲的发放率来表达,采用脉冲定时来编码模拟信息;2. 有待识别的模式的信息嵌入到轴突或细胞的时间延迟中,通过不同的信道具有不同时延的网络来实现模式的比较。
  Hopfield认为,这样的计算范式,可以解释为什么一个神经构筑可以用在不同的感觉通路,和完成看似不同的神经计算。
  Fujii等论述了动态细胞集群的理论假设。它首先基于将皮层神经经元看作是脉冲放电定时的符合检测器的工作假设,描述了动态神经元集群的自涌动力学,进而基于自涌动力学假设描述了时-空编码原理。
  在时空编码理论中,主要有以下内容:(1) 是建立在神经元脉冲发放的精细时间结构上的,与同步振荡不同的是,脉冲不是等间隔的振荡脉冲,脉冲的间隔也被用于编码信息(2) 神经元是作为脉冲时间一致性检测器来工作的,也就是说,一个神经元自身的脉冲发放情况,由送入该元的输入脉冲在时间上的一致性来确定的,比如说接近同时到达的脉冲数超过一定阈值,则该元发放。与传统神经网络的整合-放电单元不同,通过一致性检测单元传递的不是发放率,而是脉冲发放时间;(3) 通过局部的一致性检测,形成“动态细胞群”。一致性检测是局部事件,动态细胞群则是系统级事件,是一群细胞通过脉冲发放时间临时链接到一起形成的,注意,并不要求这些细胞的脉冲发放是同步的,只要相关就可以了。(4) 相关的关系是根据上下文(任务)形成的,细胞群可以根据上下文的变化进行快速地重组。

之所以称为时-空编码,“空”是指空间连接,是一种硬件的拓朴结构,就是神经元间的物理连接;“时”则是指在硬件结构上传递的时间模式,这种模式可以决定动态的连接结构,这种时间模式的产生与硬件连接有关,但时间变量提供了传递信息的巨大能力,结果是可以在同一硬件上形成许多不同的“动态结构”。“动态细胞群”是编码信息的基本单位,是和任务有关的、以自涌方式形成的细胞的瞬时组合。
  “动态细胞集群”假设可以有效地解决“重叠灾难”问题、捆绑问题、上下文关系表达问题。

4. 时空编码和知识存贮以及感知的关系
  在大脑中,并非只有一种编码方式存在。 
  经典的平均发放率编码方式在运动皮层已经得到生物实验证实。 
  同步振荡的产生需要重复、规则的硬件结构,在初级视觉皮层区域,功能细胞是重复的“超柱”结构有规律地分布,是有利于同步振荡的产生的。而且在初级皮层功能比较简单,时间自由度较小的振荡动态是可行的。 
  然而在高级感知系统中,如中颞区和前顶页皮层,要处理高度复合的许多特征,需要更加灵活的事件和知识的捆绑方式,通过少数神经元表示信息是不够的和低效的,因而采用细胞群表示信息、有着复杂动态行为和更大自由度的“动态神经元集群”的编码方案可能会起主要作用。 
  所以在不同的皮层区域,应该是采用不同的编码方案来实现局部空间结构和时间动态行为之间的平衡,以反应其所处理信息的自然特性。

5. 基于时-空编码的神经网络在工程中的应用
  时-空编码的高度灵活性,以及时间变量所提供的传递信息的巨大能力,必然为神经网络的发展注入新的活力。目前,基于时-空编码的神经网络在工程中的应用还刚刚起步,而且主要集中在“同步振荡”理论的应用。
  九十年代初,Schillen和Konig等人以及Malsburg都分别提出了振荡子相互耦合,对同一目标作同步振荡,而对不同目标进行去同步的模型。这些工作不仅引起了神经生理学界,而且也引起了工程技术界的极大重视。von der Malsburg发展了动态联结网络解决视觉模式识别的“旋转不变性”问题,并试图把同步振荡模型用于机器人和汽车自动驾驶等方面。1995年以Ohio大学Wang等人提出的采用振荡子形成的LEGION网络对于静态图象进行分割的模型为同步振荡理论的应用打开了新的思路,但LEGION网络是以象素的位置和灰阶的相似性作为同步振荡的依据的,它仍不能分割背景和目标。国内的科学家对时间相关和同步振荡模型的研究已有涉及,如:郭爱克领导的小组提出了用同步振荡来解决的运动视觉处理问题的新模型,解决旋转运动物体感知,不动背景和运动图形区分等,但其模型还只处于理论建模阶段,离工程应用还有很大距离。

脑的时-空编码理论的发展http://tieba.baidu.com/p/298976584
刚刚看一篇文章,关于对神经网络的异议
http://tieba.baidu.com/p/415437937
意识真面目(上) 【扫描图】强力推荐
http://tieba.baidu.com/p/316924936
大脑方程式(图)
http://tieba.baidu.com/p/707478683

  评论这张
 
阅读(558)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017