清華大學電子工程系方璐教授課題組和自動化系戴瓊海院士課題組日前實現了光計算系統大規模神經網絡的高效精準訓練。該研究成果以“光神經網絡全前向訓練”為題,于北京時間8月7日晚在線發表于《自然》期刊。
人工智能大模型的迅猛發展與廣泛應用,使得算力成為重大的戰略抓手與基礎設施。長期以來電子芯片的算力增長支撐著AI模型規模的不斷發展,然而其高能耗亦帶來了前所未有的能源挑戰,新興計算范式的建立與發展迫在眉睫。以光為計算媒介,以光的可控傳播構建計算模型,光計算以其高算力低能耗特性打開了智能計算的新賽道,在后摩爾時代展現出巨大的潛力。
訓練和推理是AI大模型核心能力的兩大基石,缺一不可。相較于推理而言,模型訓練對算力更為急需,然而電訓練架構要求前向-反向傳播模型高度匹配,這對光計算物理系統的精準對齊提出了苛刻的要求,致使梯度計算難、離線建模慢、映射誤差大,極大地禁錮了光訓練的規模與效率。
清華大學電子工程系方璐教授課題組、自動化系戴瓊海教授課題組構建了光子傳播對稱性模型,摒棄了電訓練反向傳播范式,首創了全前向智能光計算訓練架構,研制了通用光訓練芯片“太極-II”,擺脫了對離線訓練的依賴,支撐智能系統的高效精準光訓練。“太極-II”的面世,填補了智能光計算在大規模訓練這一核心拼圖的空白。