近日，北京大学深圳研究生院信息工程学院/广东省存算一体芯片重点实验室的杨玉超教授团队在Nature Electronics杂志上发表了题为“Reconfigurable in-sensor processing based on a multi-phototransistor-one-memristor array”的研究论文，在可重构感存算一体集成阵列与硬件系统领域取得重要进展。针对现有忆阻器视觉感知神经形态器件在动力学特性和编码功能上的局限以及集成硬件系统算法兼容性不足的问题，杨玉超团队首次提出将莫特氧化物异质结结构忆阻器与光晶体管集成，构建了支持多种光图像编码功能的可重构硬件系统。这一系统能够实现光图像的时空、模拟与脉冲编码，并兼容生物启发式和机器学习架构的多种算法，通过与非易失性忆阻器阵列集成可支持多种光学神经网络(如光学卷积神经网络、循环神经网络、脉冲神经网络)，从而执行多种计算视觉任务，包括识别静态、运动和彩色图像识别功能，为实现大规模可重构视觉计算硬件系统奠定了关键基础。
随着机器视觉技术的快速发展，图像传感器在边缘计算中扮演着越来越重要的角色。然而，基于CMOS技术的传统视觉计算系统在实时图像处理方面面临诸多挑战，主要是由于图像传感器、存储器和处理器之间的物理分离导致图像信息处理的延迟和冗余数据的生成。为了解决这些问题，集成了神经形态计算和光图像感知功能的视觉感存算一体系统成为重要的发展方向。但目前视觉感知神经形态器件的动力学特性较为单一，无法实现时空信息编码和脉冲编码功能，且工作方式单一。从硬件系统功能的角度来看，当前的视觉感存算集成阵列主要支持人工神经网络或脉冲神经网络的单一算法，难以兼容不同类型的神经网络算法，因此有必要实现一种既适应仿生又适应机器学习的感存算一体硬件架构，以构建具有可重构性和多类型算法兼容的视觉计算硬件系统。
图1. 基于忆阻器可重构感存算一体硬件支持实现多类型视觉编码方式、算法与架构
针对光忆阻器工作模式单一的局限性，杨玉超课题组首次利用硅基兼容性工艺和材料成功制备了多模式忆阻器。该忆阻器能够在三种工作模式下运行：线性电阻、阈值开关转变和短时程记忆。此外，为了解决硬件集成阵列在光感知与编码能力上的局限性以及线性计算的不足，研究团队将具有多种工作模式的莫特氧化物忆阻器与具备蓝光增强和红光抑制特性的光晶体管进行了集成。这一创新实现了具有可重构特性的视觉感存算一体化集成阵列与硬件系统，拓展了当前视觉神经形态硬件集成阵列的可重构性，提升了硬件集成阵列的复杂信息处理能力以及硬件系统的算法兼容性。
图2. 可重构光晶体管-忆阻器集成阵列与1T1R非易失性忆阻器集成阵列
通过光晶体管与忆阻器集成阵列、1T1R非易失性忆阻器集成阵列、CMOS外围读写电路及逻辑控制模块实现板级集成，研究团队构建了可重构感存算一体硬件系统。实验结果表明，该系统能够通过外围电路灵活编程，演示多种神经网络算法与图像计算任务，包括光卷积神经网络(OCNN)进行静态图像识别、光循环神经网络(ORNN)实现事件型时序脉冲图像编码处理，以及光脉冲神经网络(OSNN)对不同颜色和形状目标的识别。
图3. 基于光晶体管-忆阻器集成阵列与1T1R非易失性忆阻器集成阵列的可重构感存算一体硬件电路系统
实验成功演示了基于光晶体管与忆阻器集成阵列的卷积滤波功能，显示其卷积核能够有效提取光图像的边缘特征，并基于该系统构建了光卷积神经网络，实现了图像的训练与识别；此外，利用相同可重构硬件系统构建的储备池网络展示了该硬件系统具备直接感知光学图像、时序信息整合及事件型图像特征提取与模拟编码的能力；基于光晶体管的蓝光增强和红光抑制特性，该系统成功演示了对红蓝光图像的感知与脉冲编码，实现了脉冲神经网络对彩色图像的识别功能，从而证明了基于可重构光晶体管-忆阻器集成阵列的感存算一体硬件系统在不同光信息处理、多种算法兼容性及可重构特性方面的潜力。这一研究为未来智能视觉系统的开发提供了新的硬件基础，具有广泛的应用前景，如智能监控、自动驾驶和机器人视觉等领域，提升了硬件的灵活性与适应性，具有重要的理论与实际意义。
图4. 基于可重构感存算一体硬件系统的光卷积神经网络、光循环神经网络与光脉冲神经网络
北京大学博士生毕业生党丙杰为第一作者，杨玉超为通讯作者。相关工作得到了国家重点研发计划、国家杰出青年科学基金、北京市双“1+1”重点项目、后摩尔重大研究计划等项目的资助。
