隨著AI快速發(fā)展應用，尤其是圖像處理數(shù)據(jù)量大，快速響應，CPU不再是好的選擇。GPU芯片逐漸成為深度神經網絡（DNN, Deep Neural Network）計算的主流。

物聯(lián)網被認為是繼計算機、互聯(lián)網之后世界信息產業(yè)發(fā)展的第三次浪潮，未來5-10年會對人類生產、生活產生深遠影響，隨著AI的蓬勃發(fā)展，IoT開始邁入AI+IoT智聯(lián)網時期。

什么是AIoT？

智聯(lián)網（AIoT）概念明確提出是在2017 年2 月，《人工智能芯片助陣，物聯(lián)網將進化為AI+IoT》一文提到，“受過訓練的AI系統(tǒng)，目前在特定領域的表現(xiàn)已可超越人類，而相關軟件技術迅速發(fā)展的背后，與專用芯片的進步息息相關。在芯片對人工智能的支持更加完善后，物聯(lián)網（IoT）將可望進化成AIoT（AI+IoT）。智能機器人的遍地開花只是個開端，人工智能終端芯片引領的邊緣運算，其所將帶來的商機更讓人引頸期盼”。

具體來說，AIOT是指融合AI技術和IoT技術，通過物聯(lián)網產生、收集海量的數(shù)據(jù)存儲于云端、邊緣端，再通過大數(shù)據(jù)分析，以及更高形式的人工智能，形成智能化的應用場景和應用模式，服務實體經濟，為人類的生產活動，生活所需提供更好的服務，實現(xiàn)萬物數(shù)據(jù)化、萬物互聯(lián)化。

AIoT的變化與趨勢

AIoT是AI與IoT融會發(fā)展的產物。IoT通過各種設備（比如傳感器、RFID、 WIFI、LPWA、使能平臺、連接平臺等）將現(xiàn)實世界的物體“萬物互聯(lián)”，以實現(xiàn)信息的傳遞和處理。

對于AI而言，物聯(lián)網肩負了一個至關重要的任務：內外部環(huán)境信息獲取后，產生海量的數(shù)據(jù)，上傳至云端或者邊緣節(jié)點，為感知、云計算、控制、認知提供源源不斷的信息供給。

AI構建了一個大腦，憑借其算法與行業(yè)規(guī)則引擎，形成“邏輯”、“想法”、“指令”、“調優(yōu)”能力；AI 算法的“智能”只能通過不斷分析、數(shù)據(jù)驗證、調參、改進算法模型才會變得“聰明”。

IoT則相當于大腦之外的神經網絡，既能搜集數(shù)據(jù)，也能傳遞反饋信息，IoT一旦內嵌AI，IoT由連接變成分析、邏輯、推理與智能，懂得外在環(huán)境和應用場景的交互，具備自感知、自改進，從而自動高效應用到產業(yè)，進而提升生產效能，豐富用戶體驗。

影響和滲透是雙向的，借助IoT，AI不再是科研和實驗技術，AI+IoT可以滲透若干場景，落地到現(xiàn)實生活，借助來源豐富的數(shù)據(jù)不斷更新提升AI算法效能，讓AI更具生命力和活力。

可以說AI與IOT兩者形成一種奇妙的化學反應，創(chuàng)造出更多科技創(chuàng)新應用，簡單的IoT“互聯(lián)”上升到AIoT“智聯(lián)”程度，在可預見的未來，AIOT必將改變現(xiàn)有物聯(lián)網發(fā)展格局，顛覆既有市場形態(tài)、產品形式，服務模式，開啟全新的社會生產生活，形成經濟發(fā)展新動能，推動新經濟發(fā)展，進一步改善生活體驗。

經歷IoT與AI的蓬勃發(fā)展，2018年之后的AIoT趨勢將更加快速的到來。比如在2018CES展上，出盡風頭的日產汽車研發(fā)的“腦控車（Brain-to-Vehicle，簡稱B2V）”技術，將駕駛者的反應更加快速地傳達給車輛，使車輛根據(jù)駕駛情況的變化不斷做出相應的調整。

Google的智能語音助理Google Assistant整合進來4億臺物聯(lián)設備，不僅控制各類智能家居設備，比如插座、電風扇、電燈、時鐘收音機等，還將內置Google車載系統(tǒng) Android Auto，開啟智能操控新時代等等。

IoT未來生活將無處不在。

AI芯片成突破支點

AI突破性發(fā)展需要技術基礎，也就是三駕馬車，分別是算法（Algorithms）、大數(shù)據(jù)（Big Data）、運算能力（Compute Power）。近年來，AI的三駕馬車已經取得長足發(fā)展。

1. 算法（Algorithms）變革與突破

從過去的神經網絡開始，一直到近年的深度學習（Deep Learning），尤其是多層神經網絡技術飛速發(fā)展，算法進步讓看似不可能的運算帶入認知、擬人的學習推理領域。

早在2015年，微軟ResNet系統(tǒng)采用152層的神經網絡架構，讓計算機對影像進行辨識并對物體開展檢測，錯誤率降低到3.5%，正式超越人類的5.1%水平；吳恩達先后在谷歌x實驗室采用了參數(shù)多達17億個的神經網絡，在斯坦福大學做了更大的神經網絡，采用參數(shù)多達112億個神經網絡。

人工神經元正在步步逼近人腦神經元，多層架構深度神經網絡算法引起一陣風潮，復雜AI的算法正在邁入超越人類認知水平的時代。

2. 大數(shù)據(jù)（Big Data）數(shù)據(jù)庫領域

巨量數(shù)據(jù)/大數(shù)據(jù)（Big Data）伴隨光纖、移動寬帶網絡普及、電商、物聯(lián)網發(fā)展快速聚集，預計2020年全球數(shù)據(jù)量將超過40ZB，相對2010年增長到40倍，1ZB數(shù)據(jù)意味著大眾電視（FoxTV）熱門影集《24》連續(xù)播放1.25億年，可見數(shù)據(jù)爆炸超出想象;人們對數(shù)據(jù)結構化的技術推陳出新，如NoSQL MongoDB等;通過良好的數(shù)據(jù)分類與標注，搭配搜索引擎與算法，讓數(shù)據(jù)平臺快速找到海量數(shù)據(jù)背后的隱藏的規(guī)律信息。

3.運算能力（Compute Power）

2012年微軟人工智能平臺辨識單個貓需要16000顆傳統(tǒng)CPU的運算能力才能達成，但類似的工作，2016年采用繪圖芯片GPU大概只需要2顆。

就一個復雜棋局而言，AlphaGO第一代下一盤棋需要1920CPUs 和280GPUs，同時有64個搜索線程；Alpha第二代需要50個TPU（1個TPU算力大致相對于10個同級別GPU）；隨著AI算力的大幅提升，算力仍然是AI的最大成本，據(jù)統(tǒng)計，算力成本（包括底層的硬件，GPU/CPU/FPGA以及其他信號處理等半導體成本、能耗成本）占AI成本在70%左右，AlphaGo下一盤棋，其背后的服務器的總耗電量折算成電費是3000美元; 計算的時大量耗熱，通過吹風才能散熱。算法、數(shù)據(jù)庫基本可以實現(xiàn)平臺化、軟件化、工具化，邊際成本趨向為O，決定AI普及的核心是算力和對應的能耗。

將算力低成本化，是AI與IoT融合并落地到具體場景，加速AI滲透到社會各角度，使能行業(yè)發(fā)展的關鍵，也是AIoT智聯(lián)網規(guī)模發(fā)展的支點。其中，新出現(xiàn)的AI嵌入式芯片將FPGA發(fā)揮了主導作用。

AI爆發(fā)之前，嵌入式芯片在物聯(lián)網領域早已廣泛應用，用于傳感與智能硬件，通常采用CPU進行計算，CPU特點兼顧計算和控制，70%晶體管用來構建Cache 還有一部分控制單元，芯片設計用來處理復雜邏輯和提高指令的執(zhí)行效率， CPU計算通用性強，適用于處理計算復雜度高業(yè)務、串行數(shù)據(jù)處理，但計算性能一般。提升CPU性能需要增加CPU核數(shù)、提高CPU頻率，或者修改CPU架構增加計算單元FMA（fused multiply-add）個數(shù)實現(xiàn)，提升算力同時也帶來了高計算成本與能耗。

隨著AI快速發(fā)展應用，尤其是圖像處理數(shù)據(jù)量大，快速響應，CPU不再是好的選擇。GPU芯片逐漸成為深度神經網絡（DNN， Deep Neural Network）計算的主流。

GPU特點是能夠大幅精簡CPU Cache和邏輯控制單元，讓出大量的計算單元。有限的尺寸中的晶體管更多用于計算，圖形處理特點是算法本身復雜度低，計算強度高，數(shù)據(jù)之間相關性低特點，GPU通過簡單控制器，讓數(shù)千計算單位執(zhí)行相同程序，并行、流水化、高密度處理海量低關聯(lián)數(shù)據(jù)，大幅提升數(shù)據(jù)計算、吞吐能力。

GPU相對CPU更適合低層次大量重復運算領域，例如AI語音、視頻、圖片識別以及海量數(shù)據(jù)處理領域，不論是CNN（卷積神經網絡）、RNN（循環(huán)神經網絡）、還是DNN（深度神經網絡），通過高強度類似蒙卡特羅實驗計算，找出最優(yōu)解，而無需復雜程度的運算。

可以說GPU在AI算力上比CPU有了大幅提升，每秒每瓦所執(zhí)行的浮點運算達到29G次數(shù)（29GFLOPS/W），是CPU的3倍多，能耗也隨著提升，散熱性與安全性成為問題。如下表1；這也一定程度說明了AI的能耗成為不能承受之重

隨著更多圖像、視頻和語音、物聯(lián)網等非結構數(shù)據(jù)涌現(xiàn)，數(shù)據(jù)量繼續(xù)急劇增長，AI算法加速創(chuàng)新，不斷加深神經網絡層次，參數(shù)數(shù)量不斷增多，模型算法復雜度持續(xù)提高，必然對計算帶寬、內存帶寬和存儲要求越來越高，能耗成為很大問題。

更重要的是GPU內部架構通用，很難針對某個領域進行特殊優(yōu)化，日新月異的物聯(lián)、傳感與AI行業(yè)應用要求芯片能夠處理新類型的計算任務;在GPU之外如果沒有新的嵌入式芯片選擇，AI無法隨著IoT大規(guī)模落地到具體應用場景，無法與實體經濟，生產生活緊密結合。

不同于GPU的運行原理，F(xiàn)PGA是以門電路直接進行運算，硬件描述語言在執(zhí)行時會被翻譯成電路，也就是FPGA不采用指令和軟件，是軟硬件合一的器件。對FPGA進行編程僅僅使用硬件描述語言即可，硬件描述語言描述的邏輯可以直接被編譯為晶體管電路的組合。所以FPGA實際上直接用晶體管電路實現(xiàn)用戶的算法，沒有通過指令系統(tǒng)的翻譯。

在運算速度上，F(xiàn)PGA由于算法是定制的，所以沒有CPU和GPU的取指令和指令譯碼過程，數(shù)據(jù)流直接根據(jù)定制的算法進行固定操作，計算單元在每個時鐘周期上都可以執(zhí)行，所以可以充分發(fā)揮浮點計算能力，計算效率高于CPU和GPU，具有很大優(yōu)勢。

在功耗上，由于FPGA低延遲、低功耗的特性，近年來，微軟、百度等公司在自家的數(shù)據(jù)中心里大量部署FPGA，百度在線上服務使用的FPGA版百度大腦，在同樣的性能下，其功耗是天河二號超級計算機的十分之一。

國內的初創(chuàng)公司深鑒科技用FPGA搭建神經網絡深度學習方案（深度壓縮技術、FPGA專用編輯器以及專用處理架構），在語音識別的場景，相同的處理量FPGA方案性能比GPU 高3倍，功耗降低3.5倍。FPGA功耗如上表1，F(xiàn)PGA功耗近CPU的1/10，CPU的1/5。

在應用場景上，F(xiàn)PGA的低功耗、高性能非常適合無源的物聯(lián)網應用與具體產品，比如深圳初創(chuàng)公司零度智控推出的無人機產品，采用基于FPGA神經網絡機器學習技術，能夠實現(xiàn)物體以及行人的檢測和實時跟蹤拍攝、手勢識別、人臉識別、安防監(jiān)控等功能。

可以說，F(xiàn)PGA芯片技術出現(xiàn)，在提升運算效率的同時，降低了功耗，增加了特定場景應用的適用性。FPGA芯片為推動AIOT落地社會各個角度，使能行業(yè)發(fā)展，推動企業(yè)邁向物聯(lián)化、智能化，為經濟發(fā)展新動能提供了支點。