深度學(xué)習(xí)利器：TensorFlow在智能終端中的應(yīng)用
前言
深度學(xué)習(xí)在圖像處理、語音識別、自然語言處理領(lǐng)域的應(yīng)用取得了巨大成功，但是它通常在功能強(qiáng)大的服務(wù)器端進(jìn)行運(yùn)算。如果智能手機(jī)通過網(wǎng)絡(luò)遠(yuǎn)程連接服務(wù)器，也可以利用深度學(xué)習(xí)技術(shù)，但這樣可能會很慢，而且只有在設(shè)備處于良好的網(wǎng)絡(luò)連接環(huán)境下才行，這就需要把深度學(xué)習(xí)模型遷移到智能終端。
由于智能終端CPU和內(nèi)存資源有限，為了提高運(yùn)算性能和內(nèi)存利用率，需要對服務(wù)器端的模型進(jìn)行量化處理并支持低精度算法。TensorFlow版本增加了對Android、iOS和Raspberry Pi硬件平臺的支持，允許它在這些設(shè)備上執(zhí)行圖像分類等操作。這樣就可以創(chuàng)建在智能手機(jī)上工作并且不需要云端每時每刻都支持的機(jī)器學(xué)習(xí)模型，帶來了新的APP。
本文主要基于看花識名APP應(yīng)用，講解TensorFlow模型如何應(yīng)用于Android系統(tǒng);在服務(wù)器端訓(xùn)練TensorFlow模型，并把模型文件遷移到智能終端;TensorFlow Android開發(fā)環(huán)境構(gòu)建以及應(yīng)用開發(fā)API。
看花識名APP
使用AlexNet模型、Flowers數(shù)據(jù)以及Android平臺構(gòu)建了“看花識名”APP。TensorFlow模型對五種類型的花數(shù)據(jù)進(jìn)行訓(xùn)練。如下圖所示：
Daisy：雛菊
Dandelion：蒲公英
Roses：玫瑰
Sunflowers：向日葵
Tulips：郁金香
在服務(wù)器上把模型訓(xùn)練好后，把模型文件遷移到Android平臺，在手機(jī)上安裝APP。使用效果如下圖所示，界面上端顯示的是模型識別的置信度，界面中間是要識別的花：
TensorFlow模型如何應(yīng)用于看花識名APP中，主要包括以下幾個關(guān)鍵步驟：模型選擇和應(yīng)用、模型文件轉(zhuǎn)換以及Android開發(fā)。如下圖所示：
模型訓(xùn)練及模型文件
本章采用AlexNet模型對Flowers數(shù)據(jù)進(jìn)行訓(xùn)練。AlexNet在2012取得了ImageNet***成績，top 5準(zhǔn)確率達(dá)到80.2%。這對于傳統(tǒng)的機(jī)器學(xué)習(xí)分類算法而言，已經(jīng)相當(dāng)出色。模型結(jié)構(gòu)如下：
本文采用TensorFlow官方Slim(https://github.com/tensorflow/models/tree/master/slim)AlexNet模型進(jìn)行訓(xùn)練。
- 首先下載Flowers數(shù)據(jù)，并轉(zhuǎn)換為TFRecord格式：
- DATA_DIR=/tmp/data/flowers
- python download_and_convert_data.py --dataset_name=flowers
- --dataset_dir="${DATA_DIR}"
- 執(zhí)行模型訓(xùn)練，經(jīng)過36618次迭代后，模型精度達(dá)到85%
- TRAIN_DIR=/tmp/data/train
- python train_image_classifier.py --train_dir=${TRAIN_DIR}
- --dataset_dir=${DATASET_DIR} --dataset_name=flowers
- --dataset_split_name=train --model_name=alexnet_v2
- --preprocessing_name=vgg
- 生成Inference Graph的PB文件
- python export_inference_graph.py --alsologtostderr
- --model_name=alexnet_v2 --dataset_name=flowers --dataset_dir=${DATASET_DIR}
- --output_file=alexnet_v2_inf_graph.pb
- 結(jié)合CheckPoint文件和Inference GraphPB文件，生成Freeze Graph的PB文件
- python freeze_graph.py --input_graph=alexnet_v2_inf_graph.pb
- --input_checkpoint= ${TRAIN_DIR}/model.ckpt-36618 --input_binary=true
- --output_graph=frozen_alexnet_v2.pb --output_node_names=alexnet_v2/fc8/squeezed
- 對Freeze Graph的PB文件進(jìn)行數(shù)據(jù)量化處理，減少模型文件的大小，生成的quantized_alexnet_v2_graph.pb為智能終端中應(yīng)用的模型文件
- bazel-bin/tensorflow/tools/graph_transforms/transform_graph
- --in_graph=frozen_alexnet_v2.pb --outputs="alexnet_v2/fc8/squeezed"
- --out_graph=quantized_alexnet_v2_graph.pb --transforms='add_default_attributes
- strip_unused_nodes(type=float, shape="1,224,224,3") remove_nodes(op=Identity,
- op=CheckNumerics) fold_constants(ignore_errors=true) fold_batch_norms
- fold_old_batch_norms quantize_weights quantize_nodes
- strip_unused_nodes sort_by_execution_order'
為了減少智能終端上模型文件的大小，TensorFlow中常用的方法是對模型文件進(jìn)行量化處理，本文對AlexNet CheckPoint文件進(jìn)行Freeze和Quantized處理后的文件大小變化如下圖所示：
量化操作的主要思想是在模型的Inference階段采用等價的8位整數(shù)操作代替32位的浮點(diǎn)數(shù)操作，替換的操作包括：卷積操作、矩陣相乘、激活函數(shù)、池化操作等。量化節(jié)點(diǎn)的輸入、輸出為浮點(diǎn)數(shù)，但是內(nèi)部運(yùn)算會通過量化計算轉(zhuǎn)換為8位整數(shù)(范圍為0到255)的運(yùn)算，浮點(diǎn)數(shù)和8位量化整數(shù)的對應(yīng)關(guān)系示例如下圖所示：
量化Relu操作的基本思想如下圖所示:
TensorFlow Android應(yīng)用開發(fā)環(huán)境構(gòu)建
在Android系統(tǒng)上使用TensorFlow模型做Inference依賴于兩個文件libtensorflow_inference.so和libandroid_tensorflow_inference_java.jar。這兩個文件可以通過下載TensorFlow源代碼后，采用bazel編譯出來，如下所示：
- 下載TensorFlow源代碼git clone –recurse-submodules https://github.com/tensorflow/tensorflow.git
- 下載安裝Android NDK
- 下載安裝Android SDK
- 配置tensorflow/WORKSPACE中android開發(fā)工具路徑
- android_sdk_repository(name = "androidsdk", api_level = 23, build_tools_version = "25.0.2", path = "/opt/android",)
- android_ndk_repository(name="androidndk", path="/opt/android/android-ndk-r12b", api_level=14)
- 編譯libtensorflow_inference.so
- bazel build -c opt //tensorflow/contrib/android:libtensorflow_inference.so
- --crosstool_top=//external:android/crosstool --host_crosstool_top=
- @bazel_tools//tools/cpp:toolchain --cpu=armeabi-v7a
- 編譯libandroid_tensorflow_inference_java.jar
- bazel build //tensorflow/contrib/android:android_tensorflow_inference_java
TensorFlow提供了Android開發(fā)的示例框架，下面基于AlexNet模型的看花識名APP做一些相應(yīng)源碼的修改，并編譯生成Android的安裝包：
- 基于AlexNet模型，修改Inference的輸入、輸出的Tensor名稱
- private static final String INPUT_NAME = "input";
- private static final String OUTPUT_NAME = "alexnet_v2/fc8/squeezed";
- 放置quantized_alexnet_v2_graph.pb和對應(yīng)的labels.txt文件到assets目錄下，并修改Android文件路徑
- private static final String MODEL_FILE = "file:///android_asset/quantized_alexnet_v2_graph.pb";
- private static final String LABEL_FILE = "file:///android_asset/labels.txt";
- 編譯生成安裝包
- bazel build -c opt //tensorflow/examples/android:tensorflow_demo
- 拷貝tensorflow_demo.apk到手機(jī)上，并執(zhí)行安裝，太陽花識別效果如下圖所示：(點(diǎn)擊放大圖像)
TensorFlow移動端應(yīng)用開發(fā)API
在Android系統(tǒng)中執(zhí)行TensorFlow Inference操作，需要調(diào)用libandroid_tensorflow_inference_java.jar中的JNI接口，主要接口如下：
- 構(gòu)建TensorFlow Inference對象，構(gòu)建該對象時候會加載TensorFlow動態(tài)鏈接庫libtensorflow_inference.so到系統(tǒng)中;參數(shù)assetManager為android asset管理器;參數(shù)modelFilename為TensorFlow模型文件在android_asset中的路徑。
- TensorFlowInferenceInterface inferenceInterface = new
- TensorFlowInferenceInterface(assetManager, modelFilename);
- 向TensorFlow圖中加載輸入數(shù)據(jù)，本App中輸入數(shù)據(jù)為攝像頭截取到的圖片;參數(shù)inputName為TensorFlow Inference中的輸入數(shù)據(jù)Tensor的名稱;參數(shù)floatValues為輸入圖片的像素數(shù)據(jù)，進(jìn)行預(yù)處理后的浮點(diǎn)值;[1,inputSize,inputSize,3]為裁剪后圖片的大小，比如1張224*224*3的RGB圖片。
- inferenceInterface.feed(inputName, floatValues, 1, inputSize, inputSize, 3);
- 執(zhí)行模型推理; outputNames為TensorFlow Inference模型中要運(yùn)算Tensor的名稱，本APP中為分類的Logist值。
- inferenceInterface.run(outputNames);
- 獲取模型Inference的運(yùn)算結(jié)果，其中outputName為Tensor名稱，參數(shù)outputs存儲Tensor的運(yùn)算結(jié)果。本APP中，outputs為計算得到的Logist浮點(diǎn)數(shù)組。
- inferenceInterface.fetch(outputName, outputs);
總結(jié)
本文基于看花識名APP，講解了TensorFlow在Android智能終端中的應(yīng)用技術(shù)。首先回顧了AlexNet模型結(jié)構(gòu)，基于AlexNet的slim模型對Flowers數(shù)據(jù)進(jìn)行訓(xùn)練;對訓(xùn)練后的CheckPoint數(shù)據(jù)，進(jìn)行Freeze和Quantized處理，生成智能終端要用的Inference模型。然后介紹了TensorFlow Android應(yīng)用開發(fā)環(huán)境的構(gòu)建，編譯生成TensorFlow在Android上的動態(tài)鏈接庫以及java開發(fā)包;文章***介紹了Inference API的使用方式。
參考文獻(xiàn)
- http://www.tensorflow.org
- 深度學(xué)習(xí)利器:分布式TensorFlow及實例分析
- 深度學(xué)習(xí)利器：TensorFlow使用實戰(zhàn)
- 深度學(xué)習(xí)利器：TensorFlow系統(tǒng)架構(gòu)與高性能程序設(shè)計
- 深度學(xué)習(xí)利器：TensorFlow與深度卷積神經(jīng)網(wǎng)絡(luò)
- 深度學(xué)習(xí)利器：TensorFlow與NLP模型
