Paddle Lite為Paddle-Mobile的升級(jí)版，定位支持包括手機(jī)移動(dòng)端在內(nèi)更多場(chǎng)景的輕量化高效預(yù)測(cè)，支持更廣泛的硬件和平臺(tái)，是一個(gè)高性能、輕量級(jí)的深度學(xué)習(xí)預(yù)測(cè)引擎。在保持和PaddlePaddle無(wú)縫對(duì)接外，也兼容支持其他訓(xùn)練框架產(chǎn)出的模型。

## CPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle

## GPU版本安裝命令
pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu

特性

輕量級(jí)

執(zhí)行階段和計(jì)算優(yōu)化階段實(shí)現(xiàn)良好解耦拆分，移動(dòng)端可以直接部署執(zhí)行階段，無(wú)任何第三方依賴(lài)。 包含完整的80個(gè) Op+85個(gè) Kernel 的動(dòng)態(tài)庫(kù)，對(duì)于ARMV7只有800K，ARMV8下為1.3M，并可以裁剪到更低。 在應(yīng)用部署時(shí)，載入模型即可直接預(yù)測(cè)，無(wú)需額外分析優(yōu)化。

高性能

極致的 ARM CPU 性能優(yōu)化，針對(duì)不同微架構(gòu)特點(diǎn)實(shí)現(xiàn)kernel的定制，最大發(fā)揮計(jì)算性能，在主流模型上展現(xiàn)出領(lǐng)先的速度優(yōu)勢(shì)。 支持INT8量化計(jì)算，結(jié)合?PaddleSlim 模型壓縮工具?中 INT8量化訓(xùn)練功能，可以提供高精度高性能的預(yù)測(cè)能力。 在Huawei NPU， FPGA上也具有有很好的性能表現(xiàn)。

最新 Benchmark 位于?benchmark。

通用性

硬件方面，Paddle Lite 的架構(gòu)設(shè)計(jì)為多硬件兼容支持做了良好設(shè)計(jì)。除了支持ARM CPU、Mali GPU、Adreno GPU，還特別支持了華為 NPU，以及 FPGA 等邊緣設(shè)備廣泛使用的硬件。即將支持支持包括寒武紀(jì)、比特大陸等AI芯片，未來(lái)會(huì)增加對(duì)更多硬件的支持。

模型支持方面，Paddle Lite和PaddlePaddle訓(xùn)練框架的Op對(duì)齊，提供更廣泛的模型支持能力。目前已嚴(yán)格驗(yàn)證18個(gè)模型85個(gè)OP的精度和性能，對(duì)視覺(jué)類(lèi)模型做到了較為充分的支持，覆蓋分類(lèi)、檢測(cè)和定位，包含了特色的OCR模型的支持。未來(lái)會(huì)持續(xù)增加更多模型的支持驗(yàn)證。

框架兼容方面：除了PaddlePaddle外，對(duì)其他訓(xùn)練框架也提供兼容支持。當(dāng)前，支持Caffe 和 TensorFlow 訓(xùn)練出來(lái)的模型，通過(guò)X2Paddle?轉(zhuǎn)換工具實(shí)現(xiàn)。接下來(lái)將會(huì)對(duì)ONNX等格式模型提供兼容支持。

架構(gòu)

PaddleLite 的架構(gòu)設(shè)計(jì)著重考慮了對(duì)多硬件和平臺(tái)的支持，并且強(qiáng)化了多個(gè)硬件在一個(gè)模型中混合執(zhí)行的能力，多個(gè)層面的性能優(yōu)化處理，以及對(duì)端側(cè)應(yīng)用的輕量化設(shè)計(jì)。

其中，Analysis Phase 包括了 MIR(Machine IR) 相關(guān)模塊，能夠?qū)υ械哪Ｐ偷挠?jì)算圖針對(duì)具體的硬件列表進(jìn)行算子融合、計(jì)算裁剪 在內(nèi)的多種優(yōu)化。Execution Phase 只涉及到Kernel 的執(zhí)行，且可以單獨(dú)部署，以支持極致的輕量級(jí)部署。

Paddle-Mobile升級(jí)為Paddle Lite的說(shuō)明

原Paddle-Mobile作為一個(gè)致力于嵌入式平臺(tái)的PaddlePaddle預(yù)測(cè)引擎，已支持多種硬件平臺(tái)，包括ARM CPU、 Mali GPU、Adreno GPU，以及支持蘋(píng)果設(shè)備的GPU Metal實(shí)現(xiàn)、ZU5、ZU9等FPGA開(kāi)發(fā)板、樹(shù)莓派等arm-linux開(kāi)發(fā)板。在百度內(nèi)已經(jīng)過(guò)廣泛業(yè)務(wù)場(chǎng)景應(yīng)用驗(yàn)證。對(duì)應(yīng)設(shè)計(jì)文檔可參考:?mobile/README

Paddle-Mobile 整體升級(jí)重構(gòu)并更名為Paddle Lite后，原paddle-mobile 的底層能力大部分已集成到新架構(gòu)?下。作為過(guò)渡，暫時(shí)保留原Paddle-mobile代碼。 主體代碼位于?mobile/?目錄中，后續(xù)一段時(shí)間會(huì)繼續(xù)維護(hù)，并完成全部遷移。新功能會(huì)統(tǒng)一到新架構(gòu)?下開(kāi)發(fā)。

metal, web的模塊相對(duì)獨(dú)立，會(huì)繼續(xù)在?./metal?和?./web?目錄下開(kāi)發(fā)和維護(hù)。對(duì)蘋(píng)果設(shè)備的GPU Metal實(shí)現(xiàn)的需求及web前端預(yù)測(cè)需求，可以直接進(jìn)入這兩個(gè)目錄。