7月9日，SuperCLUE發(fā)布《中文大模型基準(zhǔn)測(cè)評(píng)2024上半年報(bào)告》，報(bào)告選取國(guó)內(nèi)外有代表性的33個(gè)大模型在6月份的版本，通過(guò)多維度綜合性測(cè)評(píng)，對(duì)國(guó)內(nèi)外大模型發(fā)展現(xiàn)狀進(jìn)行觀察與思考。

報(bào)告顯示，云知聲山海大模型在本次半年度評(píng)測(cè)中取得總分72的優(yōu)異成績(jī)，與360gpt2-pro、字節(jié)跳動(dòng)豆包、月之暗面Kimi、百川智能Baichuan4并列國(guó)內(nèi)大模型第四，穩(wěn)居全球大模型第一梯隊(duì)。

SuperCLUE作為國(guó)內(nèi)權(quán)威通用大模型綜合性測(cè)評(píng)基準(zhǔn)，其前身可追溯至第三方中文語(yǔ)言理解評(píng)估基準(zhǔn)CLUE（The Chinese Language Understanding Evaluation）。自2019年成立以來(lái)，CLUE基準(zhǔn)一直致力于提供科學(xué)、客觀、中立的語(yǔ)言模型評(píng)測(cè)，其先后推出了CLUE、FewCLUE、KgCLUE、DataCLUE等多個(gè)被廣泛認(rèn)可的評(píng)估標(biāo)準(zhǔn)。根據(jù)CLUE多年測(cè)評(píng)經(jīng)驗(yàn)，SuperCLUE基于通用大模型在學(xué)術(shù)、產(chǎn)業(yè)與用戶側(cè)的廣泛應(yīng)用，構(gòu)建了多層次、多維度的綜合性測(cè)評(píng)基準(zhǔn)。

作為一個(gè)完全獨(dú)立的第三方評(píng)測(cè)機(jī)構(gòu)，SuperCLUE采用自動(dòng)化評(píng)測(cè)技術(shù)，有效消除人為因素帶來(lái)的不確定性，確保提供無(wú)偏倚的客觀評(píng)測(cè)結(jié)果。不同于傳統(tǒng)測(cè)評(píng)通過(guò)選擇題形式的測(cè)評(píng)，SuperCLUE納入開(kāi)放主觀問(wèn)題的測(cè)評(píng)，通過(guò)多維度多視角多層次的評(píng)測(cè)體系以及對(duì)話的形式，模擬大模型的應(yīng)用場(chǎng)景，真實(shí)有效考察模型生成能力。與此同時(shí)，SuperCLUE根據(jù)全球的大模型技術(shù)發(fā)展趨勢(shì)，不斷升級(jí)迭代測(cè)評(píng)體系、測(cè)評(píng)維度和方法，以保證盡可能精準(zhǔn)量化大模型的技術(shù)演進(jìn)程度。

為進(jìn)一步真實(shí)反映大模型能力，本次通用測(cè)評(píng)采用多維度、多層次的綜合性測(cè)評(píng)方案，由理科、文科和Hard三大維度構(gòu)成：理科任務(wù)分為計(jì)算、邏輯推理、代碼測(cè)評(píng)集；文科任務(wù)分為知識(shí)百科、語(yǔ)言理解、長(zhǎng)文本、角色扮演、生成與創(chuàng)作、安全和工具使用七大測(cè)評(píng)集；Hard任務(wù)聚焦精確指令遵循測(cè)評(píng)集，未來(lái)將陸續(xù)推出復(fù)雜多步推理和高難度問(wèn)題解決等評(píng)測(cè)。

從代表通用能力的一級(jí)總分來(lái)看，山海大模型得分72，與360gpt2-pro、字節(jié)跳動(dòng)豆包、月之暗面Kimi、百川智能Baichuan4并列國(guó)內(nèi)大模型第四，位居全球大模型第一梯隊(duì)。

具體到二級(jí)維度得分，山海大模型在理科和文科領(lǐng)域均表現(xiàn)優(yōu)異——在理科能力方面，山海大模型以76分的高分緊隨GPT-4o、GPT-4-Turbo-0409之后，力壓一眾國(guó)內(nèi)大模型，并列排名國(guó)內(nèi)第一；文科能力以75分的成績(jī)并列國(guó)內(nèi)第二，實(shí)力同樣不容小覷。

在SuperCLUE基于基礎(chǔ)能力和應(yīng)用能力兩個(gè)維度構(gòu)建的模型象限圖中，山海大模型被定位為“卓越領(lǐng)導(dǎo)者”。這一分類反映了山海大模型在基礎(chǔ)和場(chǎng)景應(yīng)用能力上均達(dá)到了領(lǐng)先水平，持續(xù)引領(lǐng)國(guó)內(nèi)大模型技術(shù)發(fā)展和創(chuàng)新。

此外，與GPT4-Turbo-0409的對(duì)戰(zhàn)勝率統(tǒng)計(jì)數(shù)據(jù)顯示，山海勝率為17.67%，和率為65.37%，位列國(guó)內(nèi)大模型第五，整體實(shí)力依舊不俗。

自2023年5月問(wèn)世以來(lái)，山海大模型已相繼在C-Eval全球大模型綜合性評(píng)測(cè)、OpenCompass大模型評(píng)測(cè)、MedBench評(píng)測(cè)等多個(gè)權(quán)威評(píng)測(cè)中屢創(chuàng)佳績(jī)，充分展現(xiàn)出業(yè)界一流的通用能力和領(lǐng)先于世界的行業(yè)大模型能力。

正如報(bào)告所言，隨著技術(shù)進(jìn)步和應(yīng)用場(chǎng)景拓展，2024年下半年國(guó)內(nèi)外大模型市場(chǎng)競(jìng)爭(zhēng)將持續(xù)加劇，推動(dòng)技術(shù)創(chuàng)新和產(chǎn)業(yè)升級(jí)。接下來(lái)，云知聲將繼續(xù)保持大模型能力穩(wěn)步提升，以山海為抓手，在產(chǎn)業(yè)側(cè)實(shí)現(xiàn)加速落地，致力成為真正助力各行各業(yè)的“新質(zhì)生產(chǎn)力”。