据上海交通大学官微消息,12月19日,上海交通大学集成电路学院(信息与电子工程学院)图像通信与网络工程研究所陈一彤课题组在新一代算力芯片领域取得重大突破,首次实现了支持大规模语义媒体生成模型的全光计算芯片。
据悉,研究团队首次提出全光大规模语义生成芯片LightGen,这也是国际首次实现的大规模全光生成式AI芯片,在单枚芯片上同时突破了百万级光学神经元集成、全光维度转换、无真值光芯片训练算法的领域公认瓶颈。
论文实验验证了全光芯片LightGen在高分辨率(≥512×512)图像语义生成、3D生成(NeRF)、高清视频生成及语义调控、去噪、局部及全局特征迁移等多项大规模生成式任务。不再让电辅助光生成,而是让全光芯片完整实现输入图像、理解语义、语义操控、生成全新媒体数据的端到端过程,即让光“理解”和“认知”语义。
此外,LightGen采用了极严格的算力评价标准,在实现与电芯片上运行的Stable Diffusion、NeRF、Style Injection Diffusion等前沿电子神经网络相仿生成质量的同时,直接测量整个系统端到端的耗时与耗能降低。实测表明,即便采用较滞后性能的输入设备,LightGen仍可取得相比顶尖数字芯片2个和2个数量级的算力和能效提升。而如果采用前沿设备使得信号输入频率不是瓶颈的情况下,LightGen理论可实现算力提升7个数量级、能效提升8个数量级的性能跃升。
这不仅直接体现了在不损失性能情况下替换顶尖现有芯片能获得的巨大算力和能效提升,也印证了解决大规模集成、全光维度变换、无真值光场训练等关键难点,全光片上实现大规模生成式网络的重要意义。