新一代算力芯片让光“认知”语义
上海交大全光计算芯片最新研究成果被《科学》官方选为高光论文
从一句话生成一张图，到一张图生成一段视频……模型越大、分辨率越高、生成内容越丰富，对算力与能耗的需求就越惊人。记者昨天从上海交通大学获悉，集成电路学院陈一彤课题组在新一代算力芯片方向取得重大突破，首次实现了支持大规模语义视觉生成模型的全光计算芯片LightGen。
相关研究以《大规模智能语义视觉生成全光芯片》发表于国际顶级学术期刊《科学》上。
所谓“光计算”，可以通俗理解为：不是让电子在晶体管中运行，而是让光在芯片中传播，用光场的变化完成计算。由于光天然具备高速和并行的优势，长期被视为突破算力与能耗瓶颈的重要方向。
LightGen芯片之所以能够实现惊人的性能飞跃，在于它在单枚芯片上同时突破了三项领域公认的关键瓶颈——百万级光学神经元集成、全光维度转换和不依赖真值的光学生成模型训练算法，使得面向大规模生成任务的全光端到端实现成为可能。
LightGen芯片展现的并不是“电辅助光”的生成，而是让全光芯片完整实现“输入—理解—语义操控—生成”的闭环：输入图像进入芯片后，系统能够提取与表征语义信息，并在语义操控下生成全新的媒体数据，实现让光“理解”和“认知”语义。
经过实验验证，LightGen可完成高分辨率（≥512×512）图像语义生成、3D生成（NeRF）、高清视频生成及语义调控，同时支持去噪、局部与全局特征迁移等多项大规模生成式任务。
在性能评估上，LightGen芯片采用了极严格的算力评价标准：在与电芯片上运行的多个前沿电子神经网络相仿生成质量的前提下，直接对端到端耗时与耗能进行测量。实测表明，即便采用较滞后性能的输入设备，LightGen芯片仍可取得相比顶尖数字芯片2个数量级的算力和能效提升。
而如果采用前沿设备使得信号输入频率不作为瓶颈的情况下，LightGen芯片理论上可实现算力提升7个数量级、能效提升8个数量级的性能跃升。 下转 4版（上接第1版）这不仅体现了在不牺牲生成效果的情况下，用全光方案替换现有方案可能带来的巨大增益，也从侧面印证了大规模集成、全光维度转换与无真值训练等难点被系统性解决后，在全光芯片上承载大规模生成网络的现实意义。
这项重要成果同步被《科学》官方选为高光论文重点报道。文中指出，生成式AI正加速融入生产生活，要让“下一代算力芯片”在现代人工智能社会中真正实用，势在必行的是研发能够直接执行真实世界所需前沿任务，尤其是大规模生成模型这类端到端时延与能耗极高任务的芯片。面向这一目标，LightGen为新一代算力芯片真正助力前沿人工智能开辟了新路径，也为探索更高速、更高能效的生成式智能计算提供了新的研究方向。