電腦視覺區的物體檢測已經被廣泛研究,近年來取得了巨大進步。此外,圖像分割通過試圖準確地找出圖像中物體的確切邊界,將其提升到一個新的水平。語意分割不僅僅是追求物體的位置,下到像素層級的資訊。但是,由於大多數深度學習的演算法中需要繁重的運算,所以很難在計算能力有限的嵌入式系統上運行這些模型。此外,現有ADAS應用程序的交通場景開放資料集,通常包括西方國家主車道、鄰近車道、不同車道標示(即雙線、單線、破折線),這與亞洲國家像台灣這種摩托車騎士很多的國家不太相似。在城市道路上超速,這種語意分割模型只使用現有的開放資料集來訓練,將需要額外的技術來分割亞洲國家複雜場景。很多時候,對於大部分複雜的應用程序,我們都在處理物件檢測和分割任務。在有限資源平台上以分離模型完成這兩項任務時,我們將遇到困難。
目標是設計輕量化的單一深度學習模型,支援多任務功能,包括語意分割和物件偵測,適合用於受約束的嵌入式系統設計,以處理像台灣這樣的亞洲國家交通場景。我們專注於分割/物件檢測精確度、功耗、實時性能優化以及MediaTek的Dimensity Series平台上的部署。隨著 MediaTek的Dimensity Series 平台及其CPU、GPU和APU (AI 處理單元) 等異質計算能力,嵌入系統上晶片產品,開發人員為構建 AI 功能和應用提供高性能和功率。開發人員可以針對系統內這些特定的處理單位,或者,他們也可以讓MediaTek NeuroPilot SDK智慧地為他們處理處理分配。