日前,網(wǎng)間有傳聞稱,近日,一項(xiàng)發(fā)布于 GitHub 與 arXiv 的研究引發(fā)業(yè)界熱議。華為推出的盤古大模型(Pangu Pro MoE)被發(fā)現(xiàn)與阿里巴巴達(dá)摩院發(fā)布的通義千問 Qwen-2.5 14B 模型在參數(shù)結(jié)構(gòu)上“驚人一致”,同時,爆料中還曬出了相關(guān)疑似證據(jù)。不過,該消息很快迎來了華為盤古Pro MoE技術(shù)開發(fā)團(tuán)隊(duì)的否認(rèn),同時,在相關(guān)聲明中,該團(tuán)隊(duì)還給出了針對性的說明。
據(jù)爆料稱,有研究團(tuán)隊(duì)在GitHub項(xiàng)目HonestAGI/LLM-Fingerprint中對多個主流模型進(jìn)行了比對,發(fā)現(xiàn):“盤古 Pangu Pro MoE 與 Qwen-2.5 14B 模型在注意力模塊中呈現(xiàn) 極高相似性 ,而這在其他模型對比中從未出現(xiàn)。”該結(jié)果意味著,Pangu 很可能在 Qwen 的基礎(chǔ)上進(jìn)行訓(xùn)練或修改,而非“從零自主研發(fā)”。