近日，中國工業(yè)互聯(lián)網(wǎng)研究院（以下簡稱“工聯(lián)院”）針對人工智能大模型在中文工業(yè)領(lǐng)域的知識問答能力進(jìn)行系統(tǒng)性評測。結(jié)果顯示，360集團(tuán)(601360.SH，下稱“360”)自研大模型“360智腦”在多項指標(biāo)超過GPT3.5，綜合表現(xiàn)位于國產(chǎn)大模型前列。

工聯(lián)院此次評測選取了工業(yè)領(lǐng)域典型的八大行業(yè)，集合五大院士，八大IEEE Fellow共13位頂級專家構(gòu)成了專家委員會。每個行業(yè)抽取客觀題和主觀題，主觀題主要考察基礎(chǔ)能力、語句能力、概括能力和邏輯能力四大維度，最終八大行業(yè)共計超過1100道題，對大模型就行全方位評測。評測對象涵蓋GPT4、GPT3.5、360智腦、文心一言等國內(nèi)外具有代表性的頭部大模型。

從評測結(jié)果可以看出，GPT4表現(xiàn)最佳，國內(nèi)大模型表現(xiàn)亮眼，360智腦在多個行業(yè)均處于前列，其中裝備制造業(yè)和紡織行業(yè)更是超過GPT-3.5，表現(xiàn)優(yōu)異。

雖然國內(nèi)大模型在本次評測表現(xiàn)較好，以360智腦為代表的國產(chǎn)大模型甚至在部分行業(yè)趕超GPT3.5，但工聯(lián)院評測報告也指出，國內(nèi)外通用大模型在工業(yè)知識問答領(lǐng)域探索仍處于初級階段，也缺乏行業(yè)針對性訓(xùn)練。

其實，360近期已經(jīng)推出一個企業(yè)級的AI大模型解決方案，基于360智腦的能力，綜合行業(yè)和企業(yè)的專業(yè)知識庫，打造“行業(yè)化、企業(yè)化、垂直化、小型化、專有化”企業(yè)級大模型，目前已在智慧城市、智慧企服場景下落地應(yīng)用實踐，且雙雙入選“北京市通用人工智能大模型行業(yè)應(yīng)用十大典型場景案例”。

這不是360智腦第一次在第三方評測中表現(xiàn)出優(yōu)異成績，早在不久前中文通用大模型基準(zhǔn)（SuperCLUE）評測中，360智腦數(shù)次上榜，且多項能力蟬聯(lián)國產(chǎn)大模型第一。

雷峰網(wǎng)(公眾號：雷峰網(wǎng))