在人工智能技術(shù)發(fā)展的進(jìn)程中，云端大模型算力不斷攀升，而邊緣AI正逐漸成為行業(yè)矚目的焦點(diǎn)。邊緣AI憑借其實(shí)時(shí)響應(yīng)、安全隱私保護(hù)以及成本等方面的顯著優(yōu)勢(shì)，被視為AI技術(shù)的未來(lái)發(fā)展方向。然而，當(dāng)前多數(shù)端側(cè)AI仍對(duì)云端存在依賴，在復(fù)雜場(chǎng)景下出現(xiàn)響應(yīng)延遲、高算力需求受供電和體積限制等問(wèn)題，特別是在海量物聯(lián)網(wǎng)場(chǎng)景中，這些痛點(diǎn)極大地阻礙了邊緣AI的規(guī)模化發(fā)展。

近日，在芯片設(shè)計(jì)服務(wù)及IP領(lǐng)域深耕多年的芯原與谷歌攜手，共同推出了面向端側(cè)大語(yǔ)言模型應(yīng)用的Coral NPU IP。這一成果為邊緣AI的發(fā)展帶來(lái)了新的契機(jī)。該設(shè)計(jì)專為始終在線、超低能耗的邊緣AI應(yīng)用打造，尤其適用于可穿戴設(shè)備。通過(guò)此次合作，谷歌的開源研究成果實(shí)現(xiàn)了從算法到芯片驗(yàn)證的商業(yè)化閉環(huán)，有力推動(dòng)了端側(cè)AI應(yīng)用的快速落地，有望讓更多便攜設(shè)備實(shí)現(xiàn)智能化升級(jí)。

對(duì)于芯片設(shè)計(jì)商來(lái)說(shuō)，為低功耗邊緣設(shè)備賦予AI能力，通常有兩種方式：一是借助CPU，二是使用專用加速器。CPU雖然靈活且軟件適配性高，但缺乏針對(duì)AI負(fù)載的專用架構(gòu)，難以同時(shí)兼顧性能與能效；專用加速器ML效率高，卻存在靈活性不足、編程困難的問(wèn)題。而且，二者軟件生態(tài)高度碎片化，開發(fā)者不得不使用專有編譯器，增加了學(xué)習(xí)成本。

目前，傳統(tǒng)芯片設(shè)計(jì)多采用CPU + AI加速器的組合架構(gòu)，但這種架構(gòu)在處理實(shí)時(shí)在線持續(xù)性AI任務(wù)時(shí)效率低下，難以滿足超低能耗和成本敏感的邊緣AI場(chǎng)景需求。Coral NPU則為行業(yè)提供了全新思路，其秉持“AI為先”的設(shè)計(jì)理念，從底層架構(gòu)到開發(fā)環(huán)境都進(jìn)行了創(chuàng)新。它基于開放的RISC - V指令集架構(gòu)，將負(fù)責(zé)運(yùn)行ML運(yùn)算的“矩陣執(zhí)行單元”置于架構(gòu)核心位置，同時(shí)配備輕量級(jí)RISC - V RV32IM前端作為簡(jiǎn)單控制核心，以及遵循RVV 1.0標(biāo)準(zhǔn)的向量執(zhí)行單元提供額外計(jì)算能力。三種運(yùn)算在同一ISA內(nèi)緊密耦合，使整個(gè)架構(gòu)底層實(shí)現(xiàn)了面向AI負(fù)載的優(yōu)化。

這種架構(gòu)設(shè)計(jì)帶來(lái)了顯著優(yōu)勢(shì)，實(shí)現(xiàn)了功耗與性能的高效平衡。其性能可達(dá)每秒執(zhí)行約5120億次操作（512GOPS），而功耗卻控制在毫瓦級(jí)別。這對(duì)于需要7×24小時(shí)運(yùn)行AI功能且電池容量有限的小型AI設(shè)備來(lái)說(shuō)，無(wú)疑是一次重大突破。Coral NPU支持主流機(jī)器學(xué)習(xí)框架，如JAX、PyTorch和TensorFlow Lite（TFLite），并采用基于開放標(biāo)準(zhǔn)的工具，如來(lái)自低級(jí)虛擬機(jī)（LLVM）項(xiàng)目的多級(jí)中間表示（MLIR）作為編譯器基礎(chǔ)設(shè)施，大幅簡(jiǎn)化了AI開發(fā)從云到端的流程。

Coral NPU在RISC - V基礎(chǔ)上擴(kuò)展了AI能力，既能進(jìn)行傳統(tǒng)CPU計(jì)算，又能實(shí)現(xiàn)AI矩陣計(jì)算，避免了傳統(tǒng)獨(dú)立CPU/NPU設(shè)計(jì)帶來(lái)的系統(tǒng)復(fù)雜性、成本及數(shù)據(jù)遷移問(wèn)題，解決了邊緣AI設(shè)備生態(tài)碎片化的難題，同時(shí)提升了機(jī)器學(xué)習(xí)性能，降低了芯片廠商的研發(fā)設(shè)計(jì)門檻。

Coral NPU專為超輕量、超低能耗、始終在線的邊緣AI打造，特別適合可穿戴設(shè)備等對(duì)設(shè)計(jì)輕巧、美觀有要求，且需要持續(xù)續(xù)航提供全天候AI體驗(yàn)的產(chǎn)品。今年以來(lái)，在海內(nèi)外龍頭企業(yè)的推動(dòng)下，智能眼鏡在消費(fèi)電子市場(chǎng)嶄露頭角，但普遍存在依賴云端AI能力、交互延遲和價(jià)格高昂等問(wèn)題。行業(yè)認(rèn)為，智能眼鏡進(jìn)一步發(fā)展取決于重量30克以內(nèi)、續(xù)航8小時(shí)以上以及價(jià)格2000元以下這三個(gè)關(guān)鍵指標(biāo)。Coral NPU IP的推出，憑借其面向AI優(yōu)化的架構(gòu)以及在推動(dòng)邊緣設(shè)備小型化、低功耗和降低成本方面的優(yōu)勢(shì)，有望助力智能眼鏡提升體驗(yàn)并實(shí)現(xiàn)規(guī)模化落地。

例如，針對(duì)特定使用場(chǎng)景，通過(guò)對(duì)AI功能進(jìn)行裁剪，在端側(cè)運(yùn)行經(jīng)過(guò)訓(xùn)練的高效輕量級(jí)模型，可顯著提升AI能力和智能化水平，加速產(chǎn)品技術(shù)創(chuàng)新，增強(qiáng)相關(guān)產(chǎn)品的差異化競(jìng)爭(zhēng)力。今年8月，谷歌推出了史上最小Gemma 3開源輕量級(jí)模型，僅有2.7億個(gè)參數(shù)。在其演示中，用Gemma 3驅(qū)動(dòng)的睡前故事生成器網(wǎng)頁(yè)應(yīng)用，只需勾選幾個(gè)選項(xiàng)就能生成精彩故事。一些玩具廠商已開始在產(chǎn)品中部署輕量級(jí)模型，實(shí)現(xiàn)智能化升級(jí)，為兒童教育陪伴和成人情緒價(jià)值提供支持，這將對(duì)玩具和陪伴類產(chǎn)品及市場(chǎng)產(chǎn)生顛覆性影響。芯原內(nèi)部也正在面向AI玩具、眼鏡等海量應(yīng)用市場(chǎng)微調(diào)小模型，并與相關(guān)領(lǐng)先機(jī)構(gòu)合作，以便在推出定制化芯片平臺(tái)時(shí)，更好地平衡算力部署的性能、功耗和成本。

若將Coral NPU和Gemma 3應(yīng)用于智能眼鏡，結(jié)合特定數(shù)據(jù)集進(jìn)行針對(duì)性訓(xùn)練，并針對(duì)垂直場(chǎng)景進(jìn)一步細(xì)分，使其具備端側(cè)實(shí)時(shí)翻譯、拍照、音頻處理等功能，就能覆蓋大多數(shù)使用場(chǎng)景。這不僅有助于芯片和終端廠商把握市場(chǎng)機(jī)遇，推出差異化產(chǎn)品搶占市場(chǎng)，還能加速智能眼鏡等邊緣AI設(shè)備的創(chuàng)新和規(guī)模落地，讓端側(cè)AI的智能和服務(wù)更快惠及用戶。

芯原和谷歌在技術(shù)與生態(tài)打造方面的合作已有十余年歷史。此次合作源于谷歌2023年發(fā)起的“Open Se Cura”開源研究計(jì)劃。該計(jì)劃是谷歌研究團(tuán)隊(duì)聯(lián)合多個(gè)合作伙伴開發(fā)的開源框架，基于RISC - V架構(gòu)，包含開源設(shè)計(jì)工具和IP庫(kù)，旨在加速開發(fā)適用于小型設(shè)備的低功耗AI系統(tǒng)。Coral NPU IP的推出，基于雙方在該項(xiàng)目上的經(jīng)驗(yàn)，標(biāo)志著谷歌開源技術(shù)與芯原在芯片設(shè)計(jì)和產(chǎn)業(yè)化支持上的深度攜手。

目前，Coral NPU IP已在谷歌開發(fā)者網(wǎng)站開源，面向全球開發(fā)者開放。芯原將提供商業(yè)化的企業(yè)級(jí)IP版本，并結(jié)合自身豐富的IP儲(chǔ)備以及芯片設(shè)計(jì)與驗(yàn)證能力，為客戶面向可穿戴、智能家居等領(lǐng)域的芯片提供一站式定制等服務(wù)。在NPU IP領(lǐng)域，芯原積累深厚，其神經(jīng)網(wǎng)絡(luò)處理器（NPU）IP已被91家客戶用于140余款人工智能芯片中，集成了芯原NPU IP的AI類芯片全球出貨近2億顆。今年上半年，芯原超低能耗NPU已可為移動(dòng)端大語(yǔ)言模型推理提供超40 TOPS算力，并在知名企業(yè)的手機(jī)和平板電腦中量產(chǎn)出貨。最新一代NPU架構(gòu)針對(duì)Transformer類模型進(jìn)行了優(yōu)化，既能高效運(yùn)行Qwen、LLAMA類大語(yǔ)言模型，也能支撐Stable Diffusion、MiniCPM等AIGC和多模態(tài)模型。芯原NPU還與自有的眾多處理器IP深度集成，形成包括AI - ISP、AI - Display、AI - VPU、AI - GPU、AI - DSP在內(nèi)的眾多AI加速子系統(tǒng)解決方案。此次Coral NPU IP的推出，將成為芯原NPU IP產(chǎn)品矩陣以及端側(cè)AI芯片設(shè)計(jì)平臺(tái)的重要組成部分，可為客戶定制更多超低功耗場(chǎng)景的端側(cè)AI芯片設(shè)計(jì)方案，加速推動(dòng)大語(yǔ)言模型在邊緣端的部署。