近日，美的集團AI創(chuàng)新中心全自主研發(fā)的邊端AI算法部署工具鏈Aidget（AI edge toolbox）正式在Github和OpenI兩大社區(qū)同步上線開放。推進開源開放是美的集團承擔建設(shè)的智能服務(wù)機器人國家新一代人工智能開放創(chuàng)新平臺的重要內(nèi)容，Aidget將有助于美的與開發(fā)者推進AI生態(tài)共創(chuàng)，賦能行業(yè)技術(shù)發(fā)展。
在各種智能嵌入式邊端設(shè)備上運行深度學習模型（深度神經(jīng)網(wǎng)絡(luò)）已成為AIoT的主流方式，但由于主流深度學習模型部署要求高，且邊端設(shè)備運算資源受限，直接部署存在大量的計算資源浪費等直接挑戰(zhàn)，阻礙了深度學習模型在資源有限的邊端設(shè)備上的部署。致力于解決AI通用部署落地難題，針對智能家電領(lǐng)域存在的操作系統(tǒng)和芯片工程化部署難度高、效率低、通用工具鏈對資源極低的家電和IoT設(shè)備適配性較差、通用工具鏈對語音算法支持力度較低，算子實現(xiàn)與優(yōu)化不足等現(xiàn)實問題，美的集團AI創(chuàng)新中心于2021年發(fā)起了Aidget項目。
作為美的全自研高性能深度學習推理部署工具鏈，Aidget包含模型壓縮工具以及推理加速引擎工具，實現(xiàn)從模型壓縮，到推理加速全鏈路優(yōu)化。Aidget適用于linux/rtos/android/ios等多種不同邊端系統(tǒng)，面向armv7/v8及dsp等不同邊端平臺提供指令級加速；針對多計算單元設(shè)備，提供高性能異構(gòu)計算能力；針對邊端小內(nèi)存設(shè)備，在內(nèi)存管理方面進行優(yōu)化設(shè)計。
Aidget工具鏈主要工作流程是將模型通過壓縮工具進行模型壓縮，支持前沿的主流算法技術(shù)剪枝、蒸餾及量化。通過多種壓縮方式結(jié)合應(yīng)用，實現(xiàn)高壓縮比并保持良好的精度性能。經(jīng)過壓縮后的模型通過推理引擎?zhèn)绒D(zhuǎn)換工具進行解析，進行進一步優(yōu)化，包括算子消除、算子替換、布局調(diào)整等圖優(yōu)化操作。推理時加載模型，然后經(jīng)過預(yù)處理把模型從抽象的圖轉(zhuǎn)換為具體的算子和張量連接的描述形式，并進行內(nèi)存復用和執(zhí)行調(diào)度等運行優(yōu)化。
目前，Aidget已陸續(xù)在智能冰箱、洗碗機、家庭服務(wù)機器人等智能家電產(chǎn)品上實現(xiàn)了投產(chǎn)驗證和規(guī)?；慨a(chǎn)，持續(xù)發(fā)揮了降本增效作用。美的集團希望通過Aidget開源項目，為邊端智能提供AI解決方案；同時，美的AI將持續(xù)推進語音技術(shù)、計算機視覺、機器人學習相關(guān)算法/模型的開放服務(wù)和開源共創(chuàng)，賦能行業(yè)發(fā)展。
