[[246655]]

單證是國際貿(mào)易中非常重要的一環(huán)，由于單證數(shù)量多、格式復(fù)雜、大量以圖像形式存在等問題，給工作效率和風(fēng)險(xiǎn)控制帶來極大的影響。在這種情況下，如何利用技術(shù)提高處理效能、防控風(fēng)險(xiǎn)就顯得迫在眉睫。接下來，我們一起看看阿里工程師是如何解決這一問題。

業(yè)務(wù)背景

國際貿(mào)易的流程非常復(fù)雜，特別是B類貿(mào)易。為了防控各種風(fēng)險(xiǎn)，每個(gè)環(huán)節(jié)都有很多單證的交叉驗(yàn)證，以及基于單證構(gòu)建的風(fēng)控策略。比如：企業(yè)信息、銀行卡等的交叉驗(yàn)證;信用證、提單、保單、箱單、發(fā)票、報(bào)關(guān)單等的風(fēng)險(xiǎn)審核。這些單證多而復(fù)雜，比如信用證業(yè)務(wù)，需要審核各種條款，并且做到單證一致、單單一致，往往需要非常專業(yè)的領(lǐng)域人員負(fù)責(zé)。整個(gè)審核周期耗時(shí)長，而且存在各種操作風(fēng)險(xiǎn)。因此，智能單證應(yīng)運(yùn)而生，通過使用機(jī)器學(xué)習(xí)和人工智能等技術(shù)，提高處理效率，降低成本和風(fēng)險(xiǎn)，開辟國際貿(mào)易的新模式。智能單證的價(jià)值在于：

• 提供訂單決策報(bào)告，條款、信用和貿(mào)易風(fēng)險(xiǎn)報(bào)告，制單審單解決方案，服務(wù)更多國際貿(mào)易的中小企業(yè)。
• 利用人工智能技術(shù)，降低成本和風(fēng)險(xiǎn)，提高效率，提升客戶體驗(yàn)，助力電商相關(guān)核心業(yè)務(wù)的優(yōu)化升級(jí)。

技術(shù)方案

直接面臨的是三個(gè)問題：

• 處理對(duì)象：大量格式復(fù)雜的單證，其中五成以上是掃描或者拍照的圖片，質(zhì)量層次不齊。
• 知識(shí)沉淀：各種術(shù)語、規(guī)則、名單、策略都是線下或者人工經(jīng)驗(yàn)，沒有沉淀，不成體系。
• 借力創(chuàng)新：項(xiàng)目時(shí)間緊，業(yè)務(wù)線多，需要平衡時(shí)間和擴(kuò)展性，通過借力和創(chuàng)新落地產(chǎn)品。

因此，整體技術(shù)方案主要抽象成四大部分：圖像處理服務(wù)、自然語言處理、領(lǐng)域知識(shí)圖譜、統(tǒng)一技術(shù)架構(gòu)。

圖像處理服務(wù)

圖像質(zhì)量比較好時(shí)，集團(tuán)內(nèi)已有的圖像、人臉等識(shí)別技術(shù)可以達(dá)到高的Accuracy。但是，實(shí)際業(yè)務(wù)中的圖像往往要復(fù)雜很多，直接調(diào)用已有的技術(shù)，整體Recall差不多只有五成不到。而且，通常的識(shí)別技術(shù)沒有理解能力，比如：對(duì)于形變的圖像，即使OCR識(shí)別出了字符，也無法正確恢復(fù)語義;圖像的哪部分是實(shí)際需要的，也無法分析和判斷。因此，圖像處理服務(wù)，除了借力集團(tuán)內(nèi)的識(shí)別技術(shù)，更大的挑戰(zhàn)是結(jié)合實(shí)際業(yè)務(wù)，落地好預(yù)處理(模糊檢測、形變復(fù)原等)以及后處理(版面分析等)工作。

自然語言處理

由于單證的類型很多，并且五成以上都是圖像，集團(tuán)內(nèi)外最好的OCR產(chǎn)品，都存在至少一成的詞識(shí)別錯(cuò)誤，因此，需要抗噪能力強(qiáng)的文本分類模型，先將單證進(jìn)行自動(dòng)分揀歸類。另外，即使字符的識(shí)別錯(cuò)誤較少，由于沒有針對(duì)領(lǐng)域進(jìn)行優(yōu)化和分詞，無法直接閱讀和無人化使用。因此，將識(shí)別結(jié)果進(jìn)行領(lǐng)域相關(guān)的糾錯(cuò)分詞，也是勢在必行。然后，通過解析引擎進(jìn)行內(nèi)容解析和Key-Value關(guān)系重建，結(jié)合基于文本構(gòu)建的領(lǐng)域知識(shí)圖譜和風(fēng)控策略，完成語義理解和智能審核。

領(lǐng)域知識(shí)圖譜

本文構(gòu)建的知識(shí)圖譜主要沉淀三部分內(nèi)容：領(lǐng)域知識(shí)，包括國際貿(mào)易中的術(shù)語、縮寫、港口信息等;專家策略，包括條款策略、沖突策略、融資策略、審核意見等;風(fēng)險(xiǎn)地圖，包括風(fēng)險(xiǎn)國家、銀行、地區(qū)、企業(yè)等。領(lǐng)域知識(shí)圖譜是智能單證的根基所在，所有的前序處理都是為了與其結(jié)合，真正落地實(shí)現(xiàn)智能審核和風(fēng)險(xiǎn)防控。

統(tǒng)一技術(shù)架構(gòu)

技術(shù)架構(gòu)上肯定不能重復(fù)造輪子，而且必須考慮項(xiàng)目時(shí)間，以及業(yè)務(wù)和技術(shù)的可擴(kuò)展性。因此，根據(jù)團(tuán)隊(duì)已有的沉淀，抽象出統(tǒng)一的技術(shù)架構(gòu)。首先，所有的服務(wù)接口收攏到統(tǒng)一的任務(wù)引擎。然后，充分借力集團(tuán)已有的成熟技術(shù)和平臺(tái)，比如：雷音(OCR技術(shù))，阿里云(證件、人臉識(shí)別技術(shù))，MTEE(實(shí)時(shí)決策引擎)，PAI(模型訓(xùn)練、部署平臺(tái))等等。最后，針對(duì)實(shí)際業(yè)務(wù)中面臨的問題，在算法和模型上深耕并且落地創(chuàng)新。

算法創(chuàng)新

本節(jié)闡述落地和創(chuàng)新的一些算法及模型，主要集中在圖像處理和自然語言處理方面，包括模糊檢測、形變復(fù)原以及糾錯(cuò)分詞。

模糊檢測

模糊檢測，或者稱為圖像質(zhì)量評(píng)估(Image Quality Assessment)，需要輕量、快速地達(dá)到目標(biāo)：智能處理 if 圖像質(zhì)量好 else 提示重傳/人工處理。很多傳統(tǒng)方法可以實(shí)現(xiàn)特定模糊類型的檢測，比如Laplacian算子法，通過計(jì)算二階微分，然后求方差，根據(jù)閾值可以確定圖像是否模糊。

傳統(tǒng)方法在特征提取及特征表現(xiàn)上存在局限性。本文改進(jìn)MobileNetV2的網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)一種新的模糊檢測算法。模糊檢測需要特別關(guān)注圖像細(xì)節(jié)的差異，因此，先通過隨機(jī)切片及HSV顏色空間篩選的方法生成樣本集合，然后基于OCR識(shí)別率指標(biāo)劃分正負(fù)樣本。

原始MobileNetV2網(wǎng)絡(luò)包含十七層Bottleneck，模型層數(shù)較深，并且每層還進(jìn)行擴(kuò)展，在實(shí)際訓(xùn)練中，不易收斂且模型較大。因此，通過對(duì)原始網(wǎng)絡(luò)進(jìn)行裁剪和改進(jìn)，新的結(jié)構(gòu)僅包含兩層卷積、兩層池化、兩層Bottleneck以及一層全連接，網(wǎng)絡(luò)更淺更窄，模型參數(shù)更少。目前，該模糊檢測算法的準(zhǔn)確率約93.4%，模型原始大小約2M，而使用原始MobileNetV2訓(xùn)練的模型大小約26M。

形變復(fù)原

圖像形變的類型有很多，比如旋轉(zhuǎn)，折痕，卷曲等。這些問題除了直接影響OCR的識(shí)別效果，更嚴(yán)重的是影響語義重建。要做到實(shí)用的無人化審核，圖像的形變復(fù)原工作至關(guān)重要。很多傳統(tǒng)方法可以解決特定的簡單的形變問題，比如對(duì)于簡單的旋轉(zhuǎn)形變，可以通過Hough Transform先檢測直線，然后通過旋轉(zhuǎn)角度進(jìn)行復(fù)原。

近年來，基于深度學(xué)習(xí)的方法，比如FCN，STN，Unet等，也被嘗試用來處理形變問題。本文結(jié)合深度學(xué)習(xí)語義分割領(lǐng)域的相關(guān)知識(shí)，針對(duì)已有方法的不足設(shè)計(jì)優(yōu)化方案，提出一種新的形變復(fù)原算法。

首先，利用數(shù)據(jù)合成的方法構(gòu)造樣本。通過的不同形式模擬多種形變類型，比如折痕、卷曲等;通過的大小變化模擬不同的形變程度。然后，通過插值和圖像修復(fù)的方法，解決模擬圖像的缺失像素問題。

已有的基于Stacked Unet的前沿方法，容易出現(xiàn)裂痕、文本行扭曲、字符形變嚴(yán)重等問題。本文基于Dilated Convolution優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，并且通過調(diào)整損失函數(shù)、平滑預(yù)測值等方法，提出一種新的形變復(fù)原算法，提升模型的效果。

本文采用MS-SSIM作為算法復(fù)原效果的評(píng)價(jià)指標(biāo)，其全稱為Multi-Scale Structural Similarity，指的是多尺度下的結(jié)構(gòu)相似性的綜合評(píng)估。新算法的MS-SSIM達(dá)到0.693，而基于前沿論文的MS-SSIM為0.490，提升效果很明顯。更詳細(xì)的介紹見：

OCR如何讀取皺巴巴的文件?深度學(xué)習(xí)在文檔圖像形變矯正的應(yīng)用詳解。

糾錯(cuò)分詞

前文提到，集團(tuán)內(nèi)外最好的OCR產(chǎn)品，都存在至少一成的詞識(shí)別錯(cuò)誤。另外，即使字符的識(shí)別錯(cuò)誤較少，由于沒有針對(duì)領(lǐng)域進(jìn)行優(yōu)化和分詞，無法直接閱讀和無人化使用。因此，將識(shí)別結(jié)果進(jìn)行領(lǐng)域相關(guān)的糾錯(cuò)分詞，也是勢在必行。

通常傳統(tǒng)的實(shí)現(xiàn)方案中，糾錯(cuò)是基于分好的詞級(jí)別進(jìn)行的，而分詞是基于沒錯(cuò)的文本進(jìn)行的。直接將糾錯(cuò)和分詞結(jié)合的HMM模型，由于文本比較長，預(yù)測階段的搜索空間很大，很耗時(shí)。因此，本文從新的視角看這個(gè)問題：將分詞看成是糾錯(cuò)的一個(gè)特例，空格也作為有效字符，缺了空格也是一種錯(cuò)誤;將糾錯(cuò)看成是一個(gè)翻譯問題，是將一個(gè)錯(cuò)誤的字符序列，翻譯成一個(gè)正確的字符序列。這樣，將糾錯(cuò)分詞抽象成Sequence to Sequence的問題。

通過數(shù)據(jù)合成(根據(jù)概率轉(zhuǎn)移矩陣，對(duì)字符進(jìn)行增、刪、改等編輯操作)，以及遷移優(yōu)化，訓(xùn)練得到滿足目標(biāo)要求的模型。目前，圖片質(zhì)量較好時(shí)，OCR識(shí)別結(jié)果與Ground Truth的差錯(cuò)率(編輯距離)為15.91%(若忽略空格：2.91%);經(jīng)過本文的糾錯(cuò)分詞模型，差錯(cuò)率降到2.24%，詞準(zhǔn)確率提升到93.56%。

應(yīng)用實(shí)例

智能單證切入的業(yè)務(wù)環(huán)節(jié)，新模式的提效至少都在50%以上，成本和風(fēng)險(xiǎn)都大大降低，部分環(huán)節(jié)實(shí)現(xiàn)零風(fēng)險(xiǎn)和無人化。本節(jié)介紹智能單證在兩個(gè)實(shí)際業(yè)務(wù)環(huán)節(jié)的應(yīng)用。

信用證審核

客戶拍照或者掃描上傳信用證，經(jīng)過一系列的圖像處理和自然語言處理，智能審核每條條款，標(biāo)記風(fēng)險(xiǎn)信息，返回審核和決策報(bào)告。

單證核對(duì)

客戶拍照或者掃描上傳單證(比如：保單、提單、報(bào)關(guān)單等)，智能解析和核對(duì)每條欄位，標(biāo)記信息(一致：紫色;可疑：黃色;缺失：紅色)，返回核對(duì)和建議報(bào)告。

總結(jié)展望

本文總結(jié)智能單證的業(yè)務(wù)背景及技術(shù)方案，闡述落地和創(chuàng)新的一些算法及模型，介紹實(shí)際業(yè)務(wù)中的一些應(yīng)用。智能單證，作為一種國際貿(mào)易的新模式，除了使用機(jī)器學(xué)習(xí)和人工智能技術(shù)，提供風(fēng)險(xiǎn)和決策報(bào)告，以及整體的解決方案;同時(shí)也在推進(jìn)其他前沿技術(shù)(比如：區(qū)塊鏈技術(shù))的落地，更好地服務(wù)更多國際貿(mào)易的中小企業(yè)。

關(guān)于我們

我們是新零售增值業(yè)務(wù)技術(shù)團(tuán)隊(duì)，旨在用科技的力量，為中小微貿(mào)企業(yè)提供在貿(mào)易和供應(yīng)鏈場景下的金融，風(fēng)控，信用，保險(xiǎn)等增值服務(wù)。通過鏈接中小企業(yè)和金融機(jī)構(gòu)，運(yùn)用新技術(shù)、大數(shù)據(jù)和平臺(tái)優(yōu)勢，讓無數(shù)中小微企業(yè)能夠從銀行獲取到只有大型企業(yè)才能得到的服務(wù)，為無數(shù)中小企業(yè)提供高效，安全，低成本的金融服務(wù)，讓企業(yè)的信用轉(zhuǎn)化為財(cái)富。

參考文獻(xiàn)

[1] L. Kang, P. Ye, Y. Li, D. Doermann. ADeep Learning Approach to Document Image Quality Assessment[C]// IEEEInternational Conference on Image Processing, 2014:2570-2574.

[2] P. Ye, D. Doermann. Document ImageQuality Assessment: A Brief Survey[C]// International Conference on Document Analysisand Recognition. IEEE Computer Society, 2013:723-727.

[3] Howard A G, Zhu M, Chen B, et al. MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications[J]. arXivpreprint arXiv:1704.04861, 2017.

[4] Sandler M, Howard A, Zhu M, et al.Inverted Residuals and Linear Bottlenecks: Mobile Networks for Classification,Detection and Segmentation[J]. arXiv preprint arXiv:1801.04381, 2018.

[5] N. Nayef, M. Muzzamil Luqman, S. Prum, etal. SmartDoc-QA: A Dataset for Quality Assessment of Smartphone CapturedDocument Images - Single and Multiple Distortions[C]// International Workshopon Camera-Based Document Analysis and Recognition, 2015:1231-1235.

[6] Ma K, Shu Z, Bai X, et al. DocUNet:Document Image Unwarping via A Stacked U-Net[C]// Proceedings of the IEEEConference on Computer Vision and Pattern Recognition, 2018:4700-4709.

[7] Ronneberger O, Fischer P, Brox T. U-net:Convolutional Networks for Biomedical Image Segmentation[C]// InternationalConference on Medical Image Computing and Computer Assisted Intervention, 2015:234-241.

[8] Yu F, Koltun V. Multi-Scale ContextAggregation by Dilated Convolutions[J]. arXiv preprint arXiv:1511.07122, 2015.

[9] Wang Z, Simoncelli E, Bovik A. Multi-ScaleStructural Similarity for Image Quality Assessment[C]// Asilomar Conference on SignalsSystems and Computers, 2003:1398-1402.

[10]Ilya Sutskever, Oriol Vinyals, and Quoc V. Le. Sequence to Sequence Learningwith Neural Networks[J]. arXiv preprint arXiv:1409.3215, 2014.

[11]https://stackoverflow.com/questions/4709725/explain-hough-transformation

【本文為51CTO專欄作者“阿里巴巴官方技術(shù)”原創(chuàng)稿件，轉(zhuǎn)載請聯(lián)系原作者】

戳這里，看該作者更多好文