雷鋒網(wǎng) AI 科技評論按：由電子自動化設(shè)計頂級會議 DAC 2019 主辦的「低功耗目標(biāo)檢測系統(tǒng)設(shè)計挑戰(zhàn)賽」于美國拉斯維加斯落下帷幕。在比賽中，西安交通大學(xué)人工智能與機器人研究所團隊 XJTU-Tripler 憑借對算法和架構(gòu)的特殊優(yōu)化，最終斬獲 FPGA 賽道的亞軍；同時作為國內(nèi)唯一一個進入前三的隊伍，他們計劃開源比賽相關(guān)工具，并且提供后續(xù)支持。針對他們在本次比賽中所取得的優(yōu)異成績，雷鋒網(wǎng) AI 科技評論將對他們的獨家采訪整理如下。

西安交通大學(xué)——XJTU-Tripler

Q：XJTU-Tripler 團隊師承何處？

上一屆「低功耗目標(biāo)檢測系統(tǒng)設(shè)計挑戰(zhàn)賽」分別由清華大學(xué)與中科院在比賽中取得了傲人的成績。而這次國內(nèi)唯一一個進入前三的隊伍，來自西安交通大學(xué)——XJTU-Tripler 團隊。

XJTU-Tripler 團隊是來自西安交通大學(xué)人工智能與機器人研究所任鵬舉副教授所在的認(rèn)知計算架構(gòu)團隊。團隊的主要工作是專注于人工智能芯片設(shè)計的相關(guān)工作，其研究意義在于打通算法到落地產(chǎn)品的整個過程。整個團隊的平均年齡只有 25 歲，是相當(dāng)充滿激情與活力的年輕團隊。

在本次比賽中，共有 10 人參賽，其中趙博然，趙文哲，夏天，陳飛，樊瓏，宗鵬陳負(fù)責(zé) AI 加速器 HiPU 的設(shè)計、PS 側(cè)的 ARM 與 HiPU 的交互、Pynq 上系統(tǒng)軟件開發(fā)以及 HiPU 硬件代碼仿真；魏亞東，涂志俊負(fù)責(zé)算法底層搭建、神經(jīng)網(wǎng)絡(luò)算法的量化以及和硬件組的對接；趙之旭，董志偉負(fù)責(zé)目標(biāo)檢測算法的優(yōu)化。

Q：團隊與 DAC 的淵源？

盡管這支團隊非常年輕化，但他們所取得的一些成績卻絲毫都不含糊。

去年，他們也參加了2018年全球自動化系統(tǒng)設(shè)計大賽（DAC）TX2 賽道的比賽，實現(xiàn)了 tensorflow 到 tensorRT 的自動編譯，并將編譯器代碼開源至 https://github.com/zhaozhixu/LightNet （可以通過這個編譯器完成個人模型在嵌入式GPU上的加速）。

盡管那是他們第一次參加這樣的比賽，但最終他們在激烈的競爭中脫穎而出，取得了 TX2 組第四名的優(yōu)良成績。而經(jīng)過一年的沉淀，不管是在技術(shù)上還是思想上，他們也都更成熟；今年他們憑借著對算法和架構(gòu)的獨特優(yōu)化，最終斬獲 FPGA 賽道的亞軍。

Q：是什么驅(qū)使 XJTU-Tripler 團隊參加這類比賽？

我們都知道，在學(xué)生階段多參加一些比賽和社會實踐，于個人而言，一定意義非凡。這不光可以將所學(xué)到的理論轉(zhuǎn)化為輸出，把知識落到實處；同時也會鍛煉個人的許多能力，比如團隊協(xié)作、應(yīng)變能力、社會認(rèn)知敏感度等等。而鍛煉所得的這些能力，將來能幫助我們更好去適應(yīng)社會的一系列需求。

除此之外，團隊成員亞東還告訴我們：如何選擇適合自己和團隊的比賽，也是一個非常值得深思的問題。對于人工智能與機器人領(lǐng)域，目前大多數(shù)比賽比如 ImageNet 比賽往往需要大量的集群去進行算法的迭代，而準(zhǔn)確率越高的網(wǎng)絡(luò)往往需要越大的算力去支持，所以參加這樣的比賽，所需考量的成本是較高的。但 DAC 比賽相對來講，它更關(guān)注神經(jīng)網(wǎng)絡(luò)算法在嵌入式端的落地，這不僅解決了成本問題，同時還和團隊一直追求的打通算法到落地這樣的目標(biāo)相契合。所以，XJTU-Tripler 把握住了這樣的機會。

賽場時分

Q：在比賽中，XJTU-Tripler 團隊遇到的最大困難是什么？

XJTU-Tripler 團隊負(fù)責(zé)人告訴我們：在這次比賽中，一共遇到了兩個比較大的難題。

第一個難題是在于算法知識層面。在比賽的過程中，算法和架構(gòu)需要核對網(wǎng)絡(luò)每一層的所有輸出以確保最終的輸出結(jié)果無誤，因此對于各種算法的充分理解則需要花費大量的時間與精力。其中令團隊印象比較深刻的是像 tf.round 函數(shù)，和平時接觸較多的 round 函數(shù)是有細微區(qū)別的，如果不注意這些小細節(jié)，在調(diào)試過程中就很容易出現(xiàn)各種各樣的問題；再比如 tensorflow 中的 padding 方案，也和平時學(xué)的有所出入；所以遇到這種問題時，一定得對每個細節(jié)嚴(yán)格把關(guān)，并且吃透網(wǎng)絡(luò)中的各類函數(shù)。

一方面，這會考驗每個團隊成員的學(xué)習(xí)能力，需要我們在短時間內(nèi)，掌握比平時多幾倍的知識量；另一方面，還考驗著成員之間的合作與互助，因為額外的工作量只有經(jīng)過良好的分工與協(xié)助，才能高效高質(zhì)的完成。

第二個難題是在工作量層面。在網(wǎng)絡(luò)量化的過程中，層之間沒有完全解耦，前后層之間的交互會大大增加實際的壓縮工作；而解決這個問題，要么選擇修改硬件架構(gòu)，要么只能硬著頭皮挨個層去核對。而無論哪種方式，對團隊而言，都是一項極大的挑戰(zhàn)。而最終團隊從各方面進行仔細的考量后，選擇了后者，最終花費了將近三分之一的時間（比預(yù)想時間更短），完成了這些工作。

Q：比賽中遇到哪些實力較為強勁的對手？

XJTU-Tripler 團隊一致表示：此次碰到的最強勁的對手當(dāng)屬 UIUC，也就是這次的冠軍隊伍。

他們的優(yōu)勢集中在網(wǎng)絡(luò)設(shè)計方面，通過采用了一個規(guī)模很小的網(wǎng)絡(luò)達到了檢測精度超高的效果，算法優(yōu)化方面表現(xiàn)十分強大；并且可以在賽方提供的數(shù)據(jù)集上取得很高的準(zhǔn)確率。盡管最后他們的 FPGA 代碼優(yōu)化還有所欠缺，比 TX2 慢了 4 倍有余，但是算法優(yōu)化結(jié)果依舊非常令人震驚。

Q：XJTU-Tripler 團隊的優(yōu)勢及創(chuàng)新點？

與其他競賽組相比，團隊本次的參賽方案采用了 Verilog 底層設(shè)計語言進行開發(fā)。

從原理上來講，與其他采用 HLS 工具鏈的方案相比，采用這種設(shè)計語言完成的 AI 加速器算力更強，并且支持的算子靈活度更高，這將有利于加快任務(wù)執(zhí)行速度；而從結(jié)果來看，執(zhí)行相同的網(wǎng)絡(luò)，這樣的設(shè)計方案在 FPGA 上執(zhí)行的速度確實能夠比在 TX2 上快很多。

淺析技術(shù)

在網(wǎng)絡(luò)參數(shù)量化過程部分，為了適應(yīng) FPGA 的定點運算，待所有參數(shù)訓(xùn)練完成后，則需要對所有參數(shù)進行量化操作。該團隊將網(wǎng)絡(luò)參數(shù)和 feature map 均量化為 8bit 定點。

網(wǎng)絡(luò)參數(shù)的量化流程

經(jīng)過量化后，最終目標(biāo)檢測網(wǎng)絡(luò) ShuffleDet 的卷積層數(shù)約為 74 層，權(quán)重約為 1.94MB，Bias 約為 78KB。量化前的全精度準(zhǔn)確率為 67.1%，量化后的精度為 61.5%，量化操作帶來的精度損失為 5.6%。

 Q：在這部分中提到量化后產(chǎn)生了一定的精度損失，這會對最終的結(jié)果帶來什么影響？

8bits 量化后造成了 0.056 的 IoU 損失（-8.3%），但 FPGA 上的設(shè)計實現(xiàn)帶來了 28.87 的幀率提升（+131%）和 8309J 的能量減少（-46.56%）。量化精度掉的較多將會直接影響到最終的分?jǐn)?shù)。

Q：本次比賽的主體網(wǎng)絡(luò)結(jié)構(gòu)采用了 ShuffleNet V2，它與和 shuffleDet 之間的差別是什么？

亞東：「ShuffleNet V2 是 Face++提出的網(wǎng)絡(luò)，論文中這個網(wǎng)絡(luò)被應(yīng)用于分類任務(wù)，本次比賽我們主體的網(wǎng)絡(luò)結(jié)構(gòu)采用了 ShuffleNet V2 這個高效的網(wǎng)絡(luò)，用于檢測圖像基礎(chǔ)特征的提取。

在 ShuffleNet V2 之后，我們會增加多個模塊用于進一步增加網(wǎng)絡(luò)深度，同時在網(wǎng)絡(luò)的最后加入一個目標(biāo)檢測的模塊用于回歸目標(biāo)的類別以及標(biāo)定框?！?/p>

 獲獎背后的秘密

Q：參加此次比賽對于你們個人、或者實驗室來說，有何助益？

XJTU-Tripler 團隊表示：「這次 DAC2019 比賽涉及了算法設(shè)計、算法優(yōu)化、神經(jīng)網(wǎng)絡(luò)量化、并行程序設(shè)計、處理器設(shè)計、協(xié)處理器設(shè)計、軟硬件接口設(shè)計、系統(tǒng)速度和功耗優(yōu)化優(yōu)化等多個方面，比賽極大地增強了我們團隊的神經(jīng)網(wǎng)絡(luò)加速系統(tǒng)的設(shè)計能力，同時提高了很多寶貴的設(shè)計經(jīng)驗。

至于獲得經(jīng)驗和收獲，第一、戰(zhàn)略上目標(biāo)決定位置——求上得中求中得下，戰(zhàn)術(shù)上設(shè)計反饋決定和設(shè)計對標(biāo)決定設(shè)計高度；第二、好的設(shè)計是面向需求的各個方面的折中，某一方面的優(yōu)勢不一定對于產(chǎn)品本身來說是好事；第三也是最重要的：大多數(shù)艱難的問題答案都在人，尤其在于頂尖人才，而頂尖人才的競爭必將是成敗之爭。因此，對于每個人來講，只有盡力讓自己變得更加優(yōu)秀，才會擁有更強的競爭力！」

 Q：大賽后有什么技術(shù)方面的干貨想要分享給大家嗎？

「算法方面：推薦臺大李弘毅老師的深度學(xué)習(xí)課程，建議大家可以多抽出時間來閱讀最新的感興趣的 paper，全方面提升個人知識庫；

邏輯設(shè)計方面：推薦伯克利大學(xué)的公開課 CS152；

代碼開放方面：推薦 git，VScode?！?/p>

 未來設(shè)想

Q：后續(xù)對于此次的參賽方案有什么進一步的優(yōu)化打算？

「未來該團隊的設(shè)計需要在以下幾個方面繼續(xù)加強：首先，輕量級算法設(shè)計與訓(xùn)練。團隊將投入更多的精力去分析各個網(wǎng)絡(luò)結(jié)構(gòu)在量化后的優(yōu)劣；其次，硬件設(shè)計需要繼續(xù)迭代，下一版設(shè)計會提高靈活性以支持更多模型，同時精簡運算邏輯以在 ZU3 上實現(xiàn)更高的峰值算力。

除了繼續(xù)提升和優(yōu)化 FPGA 的設(shè)計外，我們會進行原型芯片設(shè)計和流片。同時，我們也會將 DAC19 競賽相關(guān)的代碼進行開源。」

Q：開源后，你們將如何維護呢？

「該方案中注釋較少，整體代碼不夠簡潔和系統(tǒng)，另外還有很多臨時添加的解決方案。我們首先可以確保該工程可以完整地工作在 Ultra96 這個開發(fā)板上，后續(xù)會根據(jù)大家的反饋，逐漸提高可讀性。

我們項目主分支會進一步增加支持的網(wǎng)絡(luò)，優(yōu)化代碼邏輯，并在合適的時候移植到開源版本當(dāng)中。該方案已經(jīng)在實際項目中落地實踐了，主要應(yīng)用于場景有端側(cè)、低功耗、目標(biāo)檢測?！?/p>

雷鋒網(wǎng) AI 科技評論

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見轉(zhuǎn)載須知。