作者 | 程茜
編輯 | 心緣
智東西6月3日消息，大模型“套殼”的回旋鏢，這次扎到了美國(guó)科研團(tuán)隊(duì)身上。最近幾天，斯坦福大學(xué)AI團(tuán)隊(duì)陷入抄襲風(fēng)波，被質(zhì)疑“套殼”清華系大模型開(kāi)源成果，引起輿論嘩然。
起因是這個(gè)團(tuán)隊(duì)在5月29日發(fā)布了一個(gè)多模態(tài)大模型Llama3-V，聲稱(chēng)只花500美元訓(xùn)練，就能實(shí)現(xiàn)在多個(gè)基準(zhǔn)測(cè)試中比肩GPT-4的性能。但很快有人發(fā)現(xiàn)，該模型跟清華系大模型創(chuàng)企面壁智能5月發(fā)布的MiniCPM-Llama3-V 2.5模型有不少相似處，而且沒(méi)有任何相關(guān)致謝或引用。
一開(kāi)始團(tuán)隊(duì)面對(duì)抄襲質(zhì)疑還嘴硬否認(rèn)，只承認(rèn)使用了MiniCPM-Llama3-V的分詞器，后來(lái)證據(jù)越來(lái)越多——不僅架構(gòu)和代碼高度相似，而且被發(fā)現(xiàn)作者曾在Hugging Face導(dǎo)入MiniCPM-V的代碼，然后改名成Llama3-V。
最絕的是Llama3-V連國(guó)產(chǎn)AI模型的“胎記”都抄走了，跟MiniCPM-V一樣能識(shí)別清華戰(zhàn)國(guó)竹簡(jiǎn)“清華簡(jiǎn)”，而且連出錯(cuò)的樣例、在高斯擾動(dòng)驗(yàn)證后的正確和錯(cuò)誤表現(xiàn)方面都高度相似。
而基于非公開(kāi)訓(xùn)練數(shù)據(jù)的清華簡(jiǎn)識(shí)別能力，是面壁MiniCPM團(tuán)隊(duì)耗時(shí)數(shù)月、從卷帙浩繁的清華簡(jiǎn)中逐字掃描并逐一數(shù)據(jù)標(biāo)注，融入模型中的。
面對(duì)鐵一般的證據(jù)，Llama3-V團(tuán)隊(duì)終于立正挨打，一套道歉流程行云流水，火速刪庫(kù)、發(fā)文致歉外加撇清關(guān)系。其中來(lái)自斯坦福計(jì)算機(jī)科學(xué)專(zhuān)業(yè)的兩位作者澄清說(shuō)他們并未參與代碼工作，所有代碼都是畢業(yè)于南加州大學(xué)的Mustafa Aljadery負(fù)責(zé)的，他一直沒(méi)交出訓(xùn)練代碼。
▲Llama3-V作者：Siddharth Sharma（左）、Aksh Garg（中）、Mustafa Aljadery（右）
這樣看來(lái)，Llama3-V團(tuán)隊(duì)并不能算嚴(yán)格意義上的斯坦福團(tuán)隊(duì)，不過(guò)因?yàn)榇耸侣曌u(yù)受損的斯坦福大學(xué)至今沒(méi)有采取任何公開(kāi)措施。
面壁智能團(tuán)隊(duì)的回應(yīng)很有涵養(yǎng)。今日，面壁智能聯(lián)合創(chuàng)始人兼CEO李大海在朋友圈回應(yīng)說(shuō)“深表遺憾”，這也是一種“受到國(guó)際團(tuán)隊(duì)認(rèn)可的方式”，并呼吁大家共建開(kāi)放、合作、有信任的社區(qū)環(huán)境。
Llama3-V的模型代碼與MiniCPM-Llama3-V 2.5高度相似，同時(shí)其項(xiàng)目頁(yè)面沒(méi)有出現(xiàn)任何與MiniCPM-Llama3-V 2.5相關(guān)的聲明。
公開(kāi)的基準(zhǔn)測(cè)試結(jié)果顯示，Llama3-V在所有基準(zhǔn)測(cè)試中優(yōu)于GPT-3.5，在多個(gè)基準(zhǔn)測(cè)試中優(yōu)于GPT-4，且模型尺寸是GPT-4V的1/100，預(yù)訓(xùn)練成本為500美元。這也使得該模型一經(jīng)就沖上Hugging Face首頁(yè)。
但當(dāng)細(xì)心網(wǎng)友發(fā)現(xiàn)Llama3-V疑似“套殼”面壁智能此前發(fā)布的開(kāi)源多模態(tài)模型MiniCPM-Llama3-V 2.5，在評(píng)論區(qū)發(fā)表評(píng)論后，Llama3-V項(xiàng)目作者最初否認(rèn)抄襲，并稱(chēng)他們的項(xiàng)目開(kāi)始時(shí)間先于MiniCPM-Llama3-V 2.5發(fā)布，只是使用了MiniCPM-Llama3-V 2.5的分詞器。
當(dāng)網(wǎng)友拋出三大事實(shí)質(zhì)疑后，Llama3-V的做法是——不回應(yīng)直接刪除網(wǎng)友評(píng)論。
昨日下午，網(wǎng)友在MiniCPM-V頁(yè)面下將事情經(jīng)過(guò)全部公開(kāi)，并公開(kāi)@面壁智能讓其項(xiàng)目團(tuán)隊(duì)投訴。
當(dāng)日晚間，面壁智能研發(fā)人員發(fā)布推文，其驗(yàn)證結(jié)果也印證了網(wǎng)友的說(shuō)法，Llama3-V與MiniCPM-Llama3-V 2.5高度相似。同時(shí)公開(kāi)喊話Llama3-V研發(fā)團(tuán)隊(duì)：“鑒于這些結(jié)果，我們擔(dān)心很難用巧合來(lái)解釋這種不尋常的相似性。我們希望作者能夠?qū)@個(gè)問(wèn)題給出官方解釋?zhuān)嘈胚@對(duì)開(kāi)源社區(qū)的共同利益很重要。”
以下就是Llama3-V被質(zhì)疑抄襲MiniCPM-Llama3-V 2.5的五大證據(jù)：
1、Llama3-V的代碼是對(duì)MiniCPM-Llama3-V 2.5的重新格式化，其模型行為檢查點(diǎn)的噪聲版本高度相似。
其中，Llama3-V只是對(duì)代碼進(jìn)行了重新格式化和變量重命名，包括但不限于圖像切片、標(biāo)記器、重采樣器和數(shù)據(jù)加載。面壁智能研發(fā)人員也證實(shí)，Llama3-V有點(diǎn)類(lèi)似于MiniCPM-Llama3-V 2.5的噪聲版本。
2、起初網(wǎng)友在Llama3-V的Hugging Face頁(yè)面質(zhì)疑抄襲時(shí)，其作者回應(yīng)稱(chēng)只是使用了其分詞器，并且項(xiàng)目開(kāi)始時(shí)間比MiniCPM-Llama3-V 2.5更早。
當(dāng)網(wǎng)友進(jìn)一步詢(xún)問(wèn)如何在MiniCPM-Llama3-V 2.5發(fā)布前使用其分詞器，作者給出的答案是使用了MiniCPM-V-2的分詞器，但很明顯，兩個(gè)版本的分詞器完全不同。
3、Llama3-V提供的代碼無(wú)法與Hugging Face的檢查點(diǎn)兼容。
但網(wǎng)友將Llama3-V模型權(quán)重中的變量名稱(chēng)更改為MiniCPM-Llama3-V 2.5的名稱(chēng)后，該模型可以與MiniCPM-V代碼一起運(yùn)行。
面壁智能的研發(fā)人員的調(diào)查結(jié)果也顯示：更改參數(shù)名稱(chēng)后，可以使用MiniCPM-Llama3-V 2.5的代碼和config.json運(yùn)行Llama3-V。
4、Llama3-V項(xiàng)目的作者害怕面對(duì)質(zhì)疑，刪除了質(zhì)疑者在Llama3-V上提交的質(zhì)疑他們偷竊的問(wèn)題。并且目前Llama3-V項(xiàng)目已經(jīng)從開(kāi)源網(wǎng)站中下架刪除。
5、在一些未公開(kāi)的實(shí)驗(yàn)性特征上，比如在內(nèi)部私有數(shù)據(jù)上訓(xùn)練的古漢字清華竹簡(jiǎn)，Llama3-V表現(xiàn)出與MiniCPM-Llama3-V 2.5高度相似的推理結(jié)果。這些訓(xùn)練圖像是最近從出土文物中掃描并由面壁智能的團(tuán)隊(duì)注釋的，尚未公開(kāi)發(fā)布。
例如下圖中的幾個(gè)古漢字識(shí)別：
MiniCPM-Llama3-V 2.5中未公開(kāi)的WebAgent功能上，在框選內(nèi)容大小時(shí)，Llama3-V與之犯了相同的錯(cuò)誤：
昨天，Aksh Garg、Siddharth Sharma在外媒Medium上公開(kāi)回應(yīng)：“非常感謝在評(píng)論中指出（Llama3-V）與之前研究相似之處的人。我們意識(shí)到我們的架構(gòu)與OpenBMB的‘MiniCPM-Llama3-V2.5：手機(jī)上的GPT-4V級(jí)多模態(tài)大模型’非常相似，他們?cè)趯?shí)現(xiàn)方面領(lǐng)先于我們。為了尊重作者，我們刪除了原始模型?！盇ljadery沒(méi)有出現(xiàn)在聲明中。
▲Aksh Garg、Siddharth Sharma的回應(yīng)聲明
Mustafa曾在南加州大學(xué)從事深度學(xué)習(xí)研究，并在麻省理工學(xué)院從事并行計(jì)算研究，擁有南加州大學(xué)計(jì)算機(jī)科學(xué)學(xué)士學(xué)位和計(jì)算神經(jīng)科學(xué)理學(xué)士學(xué)位，目前其沒(méi)有在公司任職。
Garg在社交平臺(tái)X中發(fā)布的致歉聲明中提到，Mustafa全權(quán)負(fù)責(zé)編寫(xiě)Llama3-V的代碼，他與Sharma因忙于全職工作并未參與代碼編寫(xiě)。
在聽(tīng)取了Mustafa描述的Idefics、SigLip等架構(gòu)擴(kuò)展創(chuàng)新、查看了最新論文后，他們二人就在未被告知該項(xiàng)目與開(kāi)源代碼關(guān)系的情況下，幫助Mustafa在外媒Medium和社交平臺(tái)X對(duì)Llama3-V進(jìn)行了宣傳推廣。
在昨天看到關(guān)于Llama3-V的抄襲指控后，Garg和Sharma就與Mustafa進(jìn)行了原創(chuàng)性討論，并要求他提供訓(xùn)練代碼，但目前未收到任何相關(guān)證據(jù)。
目前，Aljadery的推特賬號(hào)顯示“只有獲得批準(zhǔn)的關(guān)注者才能看到”。
此前，Garg在介紹Llama3-V的文章中提到，Llama3-V是首個(gè)基于Llama-3構(gòu)建的多模態(tài)大模型，訓(xùn)練費(fèi)用不到500美元。并且與多模態(tài)大模型Llava相比，Llama3-V性能提升了10-20%。
除了MMMU之外，Llama3-V在所有指標(biāo)上的表現(xiàn)都與大小為其100倍的閉源模型非常相近。
他們所做的就是讓Llama 3能理解視覺(jué)信息。Llama3-V采用SigLIP模型獲取輸入圖像并將其嵌入到一系列塊嵌入中。然后，這些嵌入通過(guò)投影塊與文本標(biāo)記對(duì)齊，投影塊應(yīng)用兩個(gè)自注意力塊將文本和視覺(jué)嵌入放在同一平面上。最后，投影塊中的視覺(jué)標(biāo)記就被添加到文本標(biāo)記前面，并將聯(lián)合表示傳遞給Llama 3。
不論從網(wǎng)友的質(zhì)疑還是Llama3-V作者的回應(yīng)來(lái)看，該模型套殼MiniCPM-Llama3-V2.5已經(jīng)基本實(shí)錘，高度相似的代碼以及部分基于面壁智能內(nèi)部未公開(kāi)訓(xùn)練數(shù)據(jù)訓(xùn)練的功能，都證明這兩大模型的相似性。
目前來(lái)看，對(duì)于大模型“套殼”沒(méi)有明確的界定，但開(kāi)源大模型以及開(kāi)源社區(qū)的構(gòu)建本意是促進(jìn)技術(shù)的共享和交流，加速AI的發(fā)展，但如果以這種直接“套殼”、更改變量的形式使用，或許會(huì)與這一發(fā)展愿景背道而馳，損害開(kāi)源社區(qū)的健康發(fā)展。
本文標(biāo)簽：
官方微信
手機(jī)瀏覽
