深度學(xué)習(xí)圖像處理簡介：耳生物識別已成為一個熱門的研究課題[1]。最近的一個挑戰(zhàn)，被稱為無約束耳朵識別挑戰(zhàn)[2]，顯示了從野外的耳朵圖像進(jìn)行人物識別的困難。為了補(bǔ)充來自耳部圖像的身份相關(guān)信息，利用軟生物特征（如年齡和性別信息）可能是輔助手段。為此，本文中，我們廣泛調(diào)查了耳部圖像中年齡和性別分類的任務(wù)。

預(yù)計(jì)生物識別特征不會隨時間變化很大，容易獲得并且對每個個體都是獨(dú)特的[3]。由于其幾個特征，耳朵是生物識別研究和法醫(yī)科學(xué)鑒定的重要模式。例如，與受面部表情，面部毛發(fā)或化妝的變化影響的面部外觀相比，耳部外觀相對恒定。耳廓也是面部特征[4]。在耳部中，耳垂是法醫(yī)案件中使用最頻繁的部分。它是耳朵唯一持續(xù)增長和改變形狀的部分[5]。在安全攝像頭拍攝的圖像中，耳朵在整個或部分覆蓋的臉部仍可以看到，并可用作識別的輔助信息。此外，當(dāng)在配置文件中查看臉部時，可以從錄像或照片中輕松捕捉耳朵[6]。

盡管在人耳識別中使用人耳圖像已有很多研究[1]，[6]，但從耳部圖像中提取軟生物特征（如年齡和性別）的研究數(shù)量有限。據(jù)我們所知，這項(xiàng)研究是從耳朵圖像的年齡分類的***項(xiàng)工作。然而，以前有關(guān)耳朵圖像用于性別分類的一些工作。在[7]中，耳孔被用作測量的參考點(diǎn)。計(jì)算從掩蓋的耳朵圖像中識別的耳孔與耳朵的七個特征之間的歐幾里德距離。他們使用一個內(nèi)部數(shù)據(jù)庫，其中有342個樣本用于實(shí)驗(yàn)。他們采用了貝葉斯分類器，KNN分類器和神經(jīng)網(wǎng)絡(luò)。 KNN實(shí)現(xiàn)了***性能，分類精度為90.42％。

在[8]中，配置文件的人臉圖像和人耳圖像分開使用，并通過支持向量機(jī)（SVM）與直方圖相交核進(jìn)行分類。他們基于貝葉斯分析進(jìn)行分?jǐn)?shù)級融合以提高準(zhǔn)確性。 UND生物特征數(shù)據(jù)集集合F [11]的2D圖像已被用于實(shí)驗(yàn)。融合導(dǎo)致97.65％的準(zhǔn)確性，而面對只有性能約為95.43％，耳朵只有精確度為91.78％左右。在文獻(xiàn)[9]中，Gabor濾波器已經(jīng)被用來提取特征，并且已經(jīng)利用基于字典學(xué)習(xí)的提取特征來執(zhí)行分類。該字典是根據(jù)訓(xùn)練樣本構(gòu)建的，并用于測試階段，將測試樣本表示為訓(xùn)練數(shù)據(jù)的線性組合。 UND生物統(tǒng)計(jì)數(shù)據(jù)集J [11]，其中包含大的外觀，姿態(tài)和光照變化，已用于實(shí)驗(yàn)。通過使用128個功能，報告中獲得的***準(zhǔn)確度為89.49％。在[10]中，性別分類在2D和3D耳朵圖像上執(zhí)行。 3D耳朵會自動檢測并對齊。實(shí)驗(yàn)是在UND數(shù)據(jù)集集合F和J2上進(jìn)行的[11]。索引形狀的直方圖特征通過SVM提取和分類。系統(tǒng)的平均性能為92.94％。

在本文中，我們對耳朵圖像的年齡和性別分類進(jìn)行了廣泛的分析。我們已經(jīng)探索了使用幾何特征和基于外觀的特征來表示耳朵。幾何特征基于在耳朵上確定的八個地標(biāo)。從這些地標(biāo)中提取特征，我們計(jì)算了它們之間的14個不同距離以及執(zhí)行了兩個面積計(jì)算。為了對這些提取的特征進(jìn)行分類，已經(jīng)采用了四種不同的分類器 - 回歸分析，隨機(jī)森林，支持向量機(jī)，神經(jīng)網(wǎng)絡(luò)。

基于外觀的方法基于眾所周知的深度卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型，即AlexNet [12]，VGG-16 [13]，GoogLeNet [14]和SqueezeNet [15]。他們已經(jīng)進(jìn)行了兩次微調(diào)，首先是在大規(guī)模的耳朵數(shù)據(jù)集中提供領(lǐng)域適應(yīng)，然后在小規(guī)模的目標(biāo)耳朵數(shù)據(jù)集上進(jìn)行。在實(shí)驗(yàn)中，基于外觀的方法的性能優(yōu)于基于幾何特征的方法。我們在性別分類方面的準(zhǔn)確率達(dá)到了94％，超過了之前研究中達(dá)到的準(zhǔn)確率。對于年齡分類，已經(jīng)獲得52％的準(zhǔn)確性。總之，論文的貢獻(xiàn)可以列舉如下：

•我們已經(jīng)探索了基于幾何和外觀的耳部圖像年齡和性別分類特征。

•對于幾何特征，我們在耳朵上使用了8個地標(biāo)點(diǎn)，并從中得出了16個特征。

•對于基于外觀的方法，我們已經(jīng)使用了一個大規(guī)模的ear數(shù)據(jù)集[16]，該數(shù)據(jù)集是根據(jù)Multi-PIE人臉數(shù)據(jù)集中的輪廓和貼近人臉的人臉圖像構(gòu)建的[17]。通過這種方式，我們已經(jīng)有效地從知名的CNN模型中轉(zhuǎn)移并從中受益，解決了手頭的問題。

•與以前的工作相比，我們在性別分類方面取得了出色的表現(xiàn)。我們從耳朵圖像中提出了***部關(guān)于年齡分類的工作。

深度學(xué)習(xí)前沿算法Gender分類結(jié)果：性別分類結(jié)果列于表4中。在表中，***列包括分類器的名稱，第二列包含相應(yīng)的分類準(zhǔn)確度。為了提醒讀者使用的功能，功能的類型包含在第二列的括號內(nèi)。從表中可以看出，基于外觀的方法優(yōu)于利用幾何特征的分類器。考慮到正確的性別分類的機(jī)會水平是50％，使用幾何特征獲得的結(jié)果非常差。這種劣勢表現(xiàn)的一個主要原因可能是已經(jīng)應(yīng)用于幾何特征的標(biāo)準(zhǔn)化步驟。在規(guī)范化過程中 - 制作特征具有零均值和單位差異 - 有關(guān)性別的區(qū)分信息可能已經(jīng)丟失。因此，規(guī)范化的影響需要進(jìn)一步分析。基于外觀的方法已經(jīng)實(shí)現(xiàn)了大約90％的準(zhǔn)確性。使用GoogLeNet架構(gòu)獲得***性能[14]，分類正確率為94％。這種準(zhǔn)確性超過了先前對耳朵圖像中性別分類研究所取得的性別分類準(zhǔn)確性[7]，[8]，[9]，[10]。表5給出了這些方法的比較。總的來說，根據(jù)以前的研究結(jié)果，我們發(fā)現(xiàn)耳朵圖像提供了有用的信息來分類主題的性別。

深度學(xué)習(xí)前沿算法年齡分類結(jié)果：年齡分類結(jié)果列于表6中。***列包括分類器的名稱，第二列包含相應(yīng)的分類準(zhǔn)確度。為了提醒讀者使用的功能，功能的類型包含在第二列的括號內(nèi)。基于幾何特征的方法和基于外觀的方法之間的這種性能差距非常接近。但是，基于外觀的方法已經(jīng)被發(fā)現(xiàn)再次優(yōu)越。使用幾何特征，通過3個隱藏層神經(jīng)網(wǎng)絡(luò)和邏輯回歸實(shí)現(xiàn)***性能，準(zhǔn)確度達(dá)到43％。使用GoogLeNet體系結(jié)構(gòu)的基于外觀的方法[14]獲得了***性能，其分類正確率為52％。與性別分類所取得的成績相比，年齡分類準(zhǔn)確性相對較低。這一結(jié)果的一個可能原因是每個年齡組的樣本數(shù)量有限。由于年齡分類的班級數(shù)量較高，因此每班的樣本量較少。我們計(jì)劃擴(kuò)展數(shù)據(jù)集并進(jìn)一步分析結(jié)果。由于基于幾何特征的方法和基于外觀的方法獲得的精度非常接近，所以結(jié)合這兩種方法可能是另一種提高性能的方法。總體而言，外觀提供了更多的信息與地理特征相比，因此，已被發(fā)現(xiàn)更有用的年齡和性別分類。

深度學(xué)習(xí)前沿算法結(jié)論：在本文中，我們對耳朵圖像的年齡和性別分類進(jìn)行了深入的研究。據(jù)我們所知，這項(xiàng)研究是***部關(guān)于耳朵圖像年齡分類的研究，也是為數(shù)不多的利用耳朵圖像進(jìn)行性別分類的研究之一。在研究中，我們采用幾何特征和基于外觀的特征來表示耳朵。幾何特征是針對耳朵上的八個人體測量地標(biāo)進(jìn)行計(jì)算的，包括14個距離測量和兩個面積計(jì)算。然后用四種不同的方法對這些特征進(jìn)行分類：邏輯回歸，隨機(jī)森林，支持向量機(jī)和神經(jīng)網(wǎng)絡(luò)。基于外觀的方法基于深度卷積神經(jīng)網(wǎng)絡(luò)。眾所周知的CNN模型，即AlexNet [12]，VGG-16 [13]，GoogLeNet [14]和SqueezeNet [15]已被采納用于研究。

為了有效地將它們轉(zhuǎn)移到手頭的任務(wù)上，他們首先在一個大規(guī)模的耳朵數(shù)據(jù)集上進(jìn)行了微調(diào)，這個數(shù)據(jù)集是根據(jù)配置文件和Multi-PIE人臉數(shù)據(jù)集中可用的貼近人臉的人臉圖像構(gòu)建的[17] 。之后，更新后的模型再次在小尺度目標(biāo)耳數(shù)據(jù)集上進(jìn)行了微調(diào)。作為實(shí)驗(yàn)的結(jié)果，基于外觀的方法已經(jīng)被發(fā)現(xiàn)優(yōu)于基于幾何特征的方法。我們的性別分類準(zhǔn)確性達(dá)到了94％，而年齡分類準(zhǔn)確率達(dá)到了52％。這些結(jié)果表明耳朵圖像為年齡和性別分類提供了有用的線索。但是，使用幾何特征的性別分類需要進(jìn)一步的工作已經(jīng)注意到，對于性別分類，幾何特征對歸一化是敏感的。因此，必須探索更好的標(biāo)準(zhǔn)化方案。對于年齡估計(jì)，我們認(rèn)為造成性能下降的主要原因是缺乏每個年齡組的足夠數(shù)量的訓(xùn)練樣本。我們計(jì)劃擴(kuò)展數(shù)據(jù)集并訓(xùn)練年齡分類系統(tǒng)，并提供更多的樣本。我們還旨在通過對常用數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)進(jìn)行比較，如UND-F和UND-J2 [11]。此外，我們還計(jì)劃研究幾何和基于外觀的特征之間的互補(bǔ)性。此外，我們計(jì)劃將年齡和性別分類的側(cè)面人臉圖像和耳朵圖像結(jié)合起來。