生成式AI預(yù)訓(xùn)練大模型的能力越來越強(qiáng)大，吸引了更多人探索大模型在端側(cè)的落地應(yīng)用。

不過在生成式AI火爆之前，CNN已經(jīng)讓端側(cè)擁有了AI能力，所以讓人更關(guān)心的問題是，端側(cè)大模型會(huì)帶來革命性的變化嗎？

2024世界人工智能大會(huì)期間，愛芯元智創(chuàng)始人、董事長仇肖莘對(duì)雷峰網(wǎng)(公眾號(hào)：雷峰網(wǎng))表示，“目前端側(cè)大模型的應(yīng)用還是探索階段，還不好判斷是否會(huì)帶來顛覆?！?/strong>

愛芯元智創(chuàng)始人、董事長 仇肖莘

在世界人工智能大會(huì)期間，愛芯元智主辦的“芯領(lǐng)未來丨智能芯片及多模態(tài)大模型論壇”上，智慧物聯(lián)和人工智能創(chuàng)新融合專家殷俊分享，“不應(yīng)該讓用戶放棄原有的技術(shù)投資，而是要通過大小模型協(xié)同和模型小型化，實(shí)現(xiàn)最優(yōu)算力配置，來加快大模型行業(yè)落地。”

這是一個(gè)值得進(jìn)一步探討的話題，端側(cè)大模型落地到底面臨哪些挑戰(zhàn)？會(huì)在哪些場(chǎng)景先落地？又會(huì)帶來怎樣的變化？ 

端側(cè)大模型到底是不是一場(chǎng)革命？

包括智能手機(jī)、城市中隨處可見的攝像頭幾年前已經(jīng)經(jīng)歷過一輪AI浪潮，借助CNN、RNN等AI算法，手機(jī)能夠AI拍照、美顏，攝像頭也能識(shí)別車牌，統(tǒng)計(jì)人流等，雖然不夠完美，但已經(jīng)廣泛應(yīng)用。

端側(cè)大模型要帶來革命性的變革不僅要效果更好，而且可能要比傳統(tǒng)AI方案成本更低，目前業(yè)界都還處于探索階段，技術(shù)的變革并非一夜之間發(fā)生。

“我們做AI-ISP已經(jīng)很多年，今年突然成為了爆款?！?/strong>仇肖莘說，“傳統(tǒng)的ISP降噪、防抖功能是通過硬件模塊實(shí)現(xiàn)，AI-ISP用算法取代了這些模塊，但AI算法也只是將傳統(tǒng)ISP通路中20多個(gè)模塊中的幾個(gè)換成了AI算法。”

同樣的道理，端側(cè)大模型是否能帶來顛覆，以及何時(shí)會(huì)帶來顛覆，也還值得探討。

在談?lì)嵏仓?，端?cè)大模型首先應(yīng)該解決的是落地的問題。

殷俊認(rèn)為，大模型在文本、語音等領(lǐng)域快速發(fā)展，但在視覺領(lǐng)域的落地卻面臨可靠性、穩(wěn)定性、理解不夠全面等挑戰(zhàn)，真實(shí)準(zhǔn)確描述客觀世界是視覺大模型落地的關(guān)鍵。

算力、內(nèi)存和帶寬都是端側(cè)大模型落地最底層的挑戰(zhàn)。

“大模型在端側(cè)的落地，內(nèi)存大小、帶寬的限制超過了算力限制?！?/strong>仇肖莘進(jìn)一步表示，“算力可以很大，但數(shù)據(jù)會(huì)成為瓶頸，芯片一定要和算法做聯(lián)合優(yōu)化?！?/p>

業(yè)界也正在積極探索端側(cè)大模型落地內(nèi)存和帶寬限制的問題，比如探索DDR用Wafer to Wafer的形式，實(shí)現(xiàn)1024個(gè)通道，解決帶寬和延遲的問題。又或者開發(fā)出能夠在端側(cè)使用的HBM，解決數(shù)據(jù)墻問題。

技術(shù)向前演進(jìn)的同時(shí)應(yīng)用的探索也在加速，仇肖莘認(rèn)為汽車、手機(jī)、PC都將是率先落地端側(cè)大模型的場(chǎng)景。

這些場(chǎng)景無疑需要原生支持Transformer架構(gòu)的處理器。

押中生成式AI，原生支持Transformer有10倍性能優(yōu)勢(shì)

愛芯元智在世界人工智能大會(huì)2024上正式發(fā)布了愛芯通元AI處理器，在高中低三檔算力中已完成布局，已經(jīng)在智慧城市和輔助駕駛兩個(gè)領(lǐng)域?qū)崿F(xiàn)了規(guī)模化量產(chǎn)，并且可以支持以文搜圖、通用檢測(cè)、以圖生文、AI Agent等通用大模型應(yīng)用。

這是一個(gè)有趣的話題，愛芯通元混合精度NPU早在2021年就已經(jīng)立項(xiàng)，2022年年中回片，并在年底向客戶銷售，三年前設(shè)計(jì)的芯片為什么能原生支持Transformer？

愛芯元智聯(lián)合創(chuàng)始人、副總裁劉建偉介紹，愛芯元智NPU設(shè)計(jì)是AI處理器的設(shè)計(jì)思路，從一開始就考慮各種模型結(jié)構(gòu)包括Transformer等模型的算子支持，愛芯通元AI處理器的核心是算子指令集和數(shù)據(jù)流微架構(gòu)。底層采用可編程數(shù)據(jù)流的微架構(gòu)提高能效和算力密度。同時(shí)，愛芯通元的靈活性也保證了算子指令集的完備性，支撐各種AI的應(yīng)用。

還有愛芯通元成熟的軟件工具鏈可以讓開發(fā)者快速上手，也能夠快速實(shí)現(xiàn)對(duì)端側(cè)大模型的適配。

今年四月，愛芯元智就基于AX650N平臺(tái)完成了Llama 3 8B和Phi-3-mini模型的適配。

愛芯通元V4(AX630C)也已經(jīng)適配了通義千問0.5B、TinyLlama-1.1 1.1B模型的適配，Token速度也不錯(cuò)。

“愛芯通元AI處理器現(xiàn)在最高支持7B參數(shù)的模型。”仇肖莘表示，“我們也注意到蘋果手機(jī)上的大模型是3B，落地邊緣側(cè)和端側(cè)模型的參數(shù)大小預(yù)計(jì)是3B-7B?！?/p>

如果模型的參數(shù)更大，帶來的是更智能，但也更考驗(yàn)芯片和算法的聯(lián)合調(diào)優(yōu)。

“模型的輕量化很重要，這時(shí)候混合精度就非常有價(jià)值。比如同樣是7B參數(shù)，如果用混合精度可以將計(jì)算和存儲(chǔ)的需求都降低，愛芯通元就支持混合精度?！背鹦ぽ分赋觥?/p>

得益于愛芯通元采用的DSA架構(gòu)，相比英偉達(dá)GPGPU架構(gòu)，在端側(cè)Transformer架構(gòu)推理場(chǎng)景，愛芯通元AI處理器相比英偉達(dá)有10倍的性能優(yōu)勢(shì)。

愛芯元智會(huì)基于這些優(yōu)勢(shì)在哪些場(chǎng)景做探索？

手機(jī)和汽車兩大端側(cè)大模型落地場(chǎng)景

“從此前的單模態(tài)，到現(xiàn)在的多模態(tài)，AI檢測(cè)的效率、準(zhǔn)確度都會(huì)更高，應(yīng)用場(chǎng)景也會(huì)更多。”仇肖莘認(rèn)為。

手機(jī)、PC和汽車無疑是當(dāng)下端側(cè)大模型最適合落地的場(chǎng)景。

“我們已經(jīng)接觸了很多手機(jī)廠商，以及手機(jī)芯片廠商，探討將我們的IP集成到他們SoC里的可能性?！背鹦ぽ吠嘎?。

另外智能手機(jī)現(xiàn)在想要快速實(shí)現(xiàn)對(duì)生成式AI的支持，可以在SoC之外增加一個(gè)協(xié)處理器，這樣做的劣勢(shì)是成本高，應(yīng)該是一個(gè)臨時(shí)的解決方案。

“未來一定是在手機(jī)SoC中集成NPU，但要集成多大算力的NPU，能夠支持手機(jī)各種應(yīng)用的同時(shí)成本又不太高，蘋果和國內(nèi)手機(jī)廠商的探索都很重要。”仇肖莘說。

汽車的計(jì)算實(shí)時(shí)性需求，以及對(duì)智能化的需求，也讓汽車成為了落地端側(cè)大模型一個(gè)重要的市場(chǎng)。

如今汽車行業(yè)關(guān)注端到端，比如信號(hào)通過ISP之后是否可以通過黑盒子的大模型直接成像、出執(zhí)行策略，通過大模型降低系統(tǒng)的復(fù)雜性，這都是端側(cè)大模型在汽車行業(yè)落地非常好的場(chǎng)景。

愛芯元智的AI芯片在2022年下半年就已經(jīng)通過了車規(guī)，基于成熟的工具鏈很快就做出了demo通過Tire1提供給主機(jī)廠。

“我們的時(shí)機(jī)比較好，那時(shí)候國內(nèi)缺性價(jià)比的智駕方案，加上國內(nèi)的車企比較愿意嘗試新方案，很快就拿到了定點(diǎn)。”仇肖莘認(rèn)為，“目前汽車智能化是一個(gè)很好的市場(chǎng)，特別是10萬及以下級(jí)別汽車的法律法規(guī)市場(chǎng)，比如7月份歐盟要求汽車的主動(dòng)安全變成強(qiáng)制標(biāo)配，用于減少交通事故，國內(nèi)主動(dòng)安全帶動(dòng)的裝配量也會(huì)快速增長?！?/p>

愛芯元智瞄準(zhǔn)的是售價(jià)10萬以下汽車的L2、L2+智能駕駛場(chǎng)景，性價(jià)比就是關(guān)鍵。

愛芯元智降低成本的方法是將芯片平臺(tái)化，也就是取不同應(yīng)用場(chǎng)景需求的最大公約數(shù)設(shè)計(jì)芯片并平臺(tái)化，用同一個(gè)平臺(tái)面向不同市場(chǎng)，通過大量出貨降低芯片成本。

仇肖莘指出，愛芯元智要做普惠AI，智慧城市是愛芯元智增長的第一曲線，第二曲線是智能駕駛，現(xiàn)在也在探索邊緣計(jì)算和具身智能。

從傳統(tǒng)CV算法到Transformer，從智慧城市到智能汽車再到未來的具身智能，愛芯元智不僅前瞻性的看準(zhǔn)了算法演進(jìn)的方向，還非常明確要做普惠AI以性價(jià)比立足市場(chǎng)，無論是技術(shù)路線還是戰(zhàn)略，愛芯元智顯然走在正確的道路上。雷峰網(wǎng)

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。