人工智能是如何識(shí)別一張黃圖的？

前言

本文嘗試用通俗的語(yǔ)言為大家介紹人工智能是如何實(shí)現(xiàn)“黃圖”的識(shí)別的，全文沒(méi)有復(fù)雜的公式和晦澀的術(shù)語(yǔ)，適合初級(jí)技術(shù)人員和有強(qiáng)烈好奇心的讀者。如果有興趣對(duì)文章內(nèi)提及的一些人工智能的基礎(chǔ)概念（神經(jīng)網(wǎng)絡(luò)，梯度下降，卷積等）深入研究，網(wǎng)上資料已經(jīng)很多了，可以自行查閱。（注意：由于演示需要，本文可能包含一些尺度較大的圖片。）

色情作為人類(lèi)最基本欲望的體現(xiàn)之一，一直伴隨著人類(lèi)社會(huì)的進(jìn)展而以不同形式展現(xiàn)著?；ヂ?lián)網(wǎng)時(shí)代的到來(lái)也給色情的表現(xiàn)形式帶來(lái)了巨大的機(jī)會(huì)，有文章說(shuō)互聯(lián)網(wǎng)上的流量有50%都是與色情相關(guān)的，我不能證實(shí)這個(gè)數(shù)據(jù)的真實(shí)性，不過(guò)讀者可以在日常生活中自行體會(huì)。

當(dāng)然今天我們不討論色情產(chǎn)業(yè)的合理性，只專注于從技術(shù)角度研究如何鑒別互聯(lián)網(wǎng)上的這些數(shù)字內(nèi)容。接下來(lái)我結(jié)合網(wǎng)易信息安全部門(mén)的實(shí)踐經(jīng)驗(yàn)來(lái)解釋如何做到這件事。

鑒黃的歷史

在計(jì)算機(jī)的“遠(yuǎn)古時(shí)代”，其實(shí)也就是十幾年前吧，我們識(shí)別黃圖的做法簡(jiǎn)單粗暴：人工審核。別小看了這個(gè)方法，其實(shí)針對(duì)當(dāng)時(shí)的網(wǎng)絡(luò)環(huán)境（帶寬小，產(chǎn)品少，圖片數(shù)據(jù)也少），效果還是很不錯(cuò)的。一天幾萬(wàn)的圖片量，安排幾個(gè)人肉眼盯著看，發(fā)現(xiàn)有不良的圖片人工刪掉就好了。

后來(lái)，互聯(lián)網(wǎng)產(chǎn)品普及率高了，網(wǎng)絡(luò)數(shù)據(jù)量暴增，一個(gè)產(chǎn)品一天出現(xiàn)幾百萬(wàn)的圖片量也是很正常的情況，這個(gè)時(shí)候想要靠堆人力去完成審核幾乎不可能了。（再說(shuō)，有多少產(chǎn)品可以支撐得起幾百上千審核人員的成本呢）。幸好相應(yīng)的計(jì)算機(jī)視覺(jué)技術(shù)也有進(jìn)步了，我們用膚色識(shí)別算法過(guò)濾掉一些沒(méi)那么多“黃色”內(nèi)容的圖片，剩下的再進(jìn)入到人工審核，可以大大節(jié)約審核量。據(jù)統(tǒng)計(jì)，經(jīng)過(guò)機(jī)器膚色識(shí)別過(guò)濾后大約只有20%的圖片還需要人工審核。

等到移動(dòng)互聯(lián)網(wǎng)普及，各種類(lèi)型的網(wǎng)絡(luò)數(shù)據(jù)量暴增，人工審核連20%的數(shù)據(jù)量也無(wú)法承受了，加上視頻、直播等業(yè)務(wù)和數(shù)據(jù)的爆發(fā)式增長(zhǎng)，我們迫切需要一個(gè)更加有效的方案來(lái)解決審核的問(wèn)題。很自然的，我們也緊跟人工智能的技術(shù)熱潮開(kāi)始研發(fā)機(jī)器學(xué)習(xí)的鑒黃系統(tǒng)，并且取得了顯著成果。

人工智能鑒黃原理

辨別一張圖是不是黃圖，從機(jī)器學(xué)習(xí)的角度看，本質(zhì)上是一個(gè)分類(lèi)問(wèn)題：給定一張圖片，讓機(jī)器推斷 是不是“黃圖”。我們要做的就是研發(fā)一個(gè)“分類(lèi)器”，它能根據(jù)輸入的圖片計(jì)算出該圖片屬于“黃圖”類(lèi)別的概率，然后再根據(jù)這個(gè)概率值輸出一個(gè)“是”或者“否”的結(jié)果。眾所周知，電腦擅長(zhǎng)的是數(shù)學(xué)運(yùn)算，所以我們要把這個(gè)“分類(lèi)器”先抽象成某種數(shù)學(xué)模型，這樣才有可能用電腦來(lái)運(yùn)算。

為了方便理解，我們把數(shù)學(xué)模型定義為：y=f（x）。即給定圖片x，我們要找到一個(gè)函數(shù)f，通過(guò)計(jì)算f（x）可以得到這個(gè)圖片的黃圖概率y。很簡(jiǎn)單吧！理論上這個(gè)數(shù)學(xué)模型可以解決所有的分類(lèi)問(wèn)題。好了，那這個(gè)看似簡(jiǎn)單的工作到底應(yīng)該怎么實(shí)現(xiàn)呢？我們按下面的步驟慢慢來(lái)：

第一步：給出定義。既然你要教機(jī)器分類(lèi)，自然要有明確的分類(lèi)標(biāo)準(zhǔn)，如果標(biāo)準(zhǔn)都沒(méi)有，那機(jī)器計(jì)算出來(lái)的值就沒(méi)有意義了。很自然的，我們先把露點(diǎn)的圖片歸類(lèi)到黃圖，再明確一點(diǎn)，就是男性露下體，女性露乳房或者下體的圖。不過(guò)，多年的實(shí)踐經(jīng)驗(yàn)告訴我們只根據(jù)是否漏點(diǎn)來(lái)推斷 圖片類(lèi)別是遠(yuǎn)遠(yuǎn)不夠的。比如這張圖：

【介于圖片尺度問(wèn)題，無(wú)法公開(kāi)，大家可以想象一張裸體XXOO但不露點(diǎn)的側(cè)身圖】

它并沒(méi)有露點(diǎn)，但是很明顯不能認(rèn)為它是一個(gè)正常圖片。（不考慮政策監(jiān)管因素，僅從學(xué)術(shù)研究的角度講，也應(yīng)該把這個(gè)圖片歸類(lèi)到黃圖的一種）。反之，也并不是所有露點(diǎn)的圖片都是黃圖，比如圖2：

然而，意識(shí)到這些僅僅是定義工作的開(kāi)始，在真實(shí)世界的數(shù)據(jù)形態(tài)和政策法規(guī)的約束下，更多的圖片需要被分類(lèi)，比如圖3、圖 4 等等：

通過(guò)上面的例子是為了讓大家明白，僅靠“黃圖”這樣一個(gè)籠統(tǒng)的定義是無(wú)法滿足實(shí)際情況的。我們得把一個(gè)“二分類(lèi)問(wèn)題”演進(jìn)成更加復(fù)雜的“多分類(lèi)問(wèn)題”，并且盡量把定義和標(biāo)準(zhǔn)清楚 化，這顯然是一個(gè)龐大和繁雜的工作。我們組建了專門(mén)的運(yùn)營(yíng)團(tuán)隊(duì)對(duì)數(shù)據(jù)和政策法規(guī)進(jìn)行研究，根據(jù)實(shí)際情況積存 了許多的分類(lèi)定義和標(biāo)準(zhǔn)。

第二步：收集樣本。有了定義之后，我們就要根據(jù)定義來(lái)收集樣本數(shù)據(jù)。幸好我們之前多年的審核工作積存 了大量的圖片數(shù)據(jù)，其中有很多經(jīng)過(guò)了人工審核確認(rèn)是黃圖的，所以我們從里面篩選出部分圖片作為訓(xùn)練的數(shù)據(jù)。由于定義的分類(lèi)數(shù)量非常多，我們不得不開(kāi)發(fā)專門(mén)的分類(lèi)標(biāo)簽系統(tǒng)并組建額外的人工標(biāo)注團(tuán)隊(duì)，把訓(xùn)練數(shù)據(jù)做進(jìn)一步的篩選。訓(xùn)練數(shù)據(jù)的質(zhì)量好壞對(duì)效果的影響非常大，所以我們必須很有耐心地投入到訓(xùn)練數(shù)據(jù)準(zhǔn)備的工作中。這個(gè)工作消耗了大量的時(shí)間和人力成本，并且還一直在持續(xù)進(jìn)行中。由于都是違禁的圖片，為了幸免二次傳播，我們也難以像ImageNet一樣通過(guò)眾包的形式來(lái)完成。

第三步：訓(xùn)練模型。回到一開(kāi)始的數(shù)學(xué)模型y=f(x)，訓(xùn)練模型的目的就是為了得到f。我們通過(guò)前面的兩步得到了標(biāo)注好的圖片樣本集，把標(biāo)注的結(jié)果定義為y*，圖片為x，現(xiàn)在我們要想辦法找到一個(gè)f，可以對(duì)樣本集中所有的圖片計(jì)算得到的y跟y*最接近，也就是得到使|y- y*|的值最小的f。我們可以把|y- y*|定義為損失函數(shù)。如何找一個(gè)函數(shù)的最小值在數(shù)學(xué)界已經(jīng)有成熟的算法。一般采納梯度下降法去尋找合適的f。

雖然所有圖片數(shù)據(jù)在電腦看來(lái)也都是 0 和 1 的二進(jìn)制數(shù)據(jù)，比如下圖就是前面圖 1 的二進(jìn)制形態(tài)的片段。但是直接拿這些 0 和 1 的數(shù)據(jù)計(jì)算，容易導(dǎo)致運(yùn)算量過(guò)大，圖片特征提取的效率和準(zhǔn)確度都難以保證。

如何高效地提取出特征數(shù)據(jù)來(lái)代表圖片x是很關(guān)鍵的一步。技術(shù)上稱之為特征提取。幸好許多前輩科學(xué)家已經(jīng)做了大量的研究，近些年來(lái)，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型在各種圖像識(shí)別的比賽中獲得了突破性的進(jìn)展。所以我們選用了CNN（卷積神經(jīng)網(wǎng)絡(luò)）、GoogLeNet、ResNet（殘差網(wǎng)絡(luò)）三種深度網(wǎng)絡(luò)模型結(jié)構(gòu)作為研究的基礎(chǔ)。通過(guò)這些模型，我們就可以更加高效地把圖片數(shù)據(jù)轉(zhuǎn)變成了可以運(yùn)算的數(shù)學(xué)模型，使我們可以更快更好地得到f。

當(dāng)然實(shí)際情況下f是一個(gè)非常復(fù)雜的函數(shù)，為了簡(jiǎn)化運(yùn)算，我們把f拆分成了fn(fn-1(fn-2(f…(f2(f0))…))，每一個(gè)f可以理解為神經(jīng)網(wǎng)絡(luò)的一層，n個(gè)f就是n層，這種層層遞進(jìn)的關(guān)系就是算法名稱中“深度”的由來(lái)。理論上我們可以搭建任意深度（層次）的神經(jīng)網(wǎng)絡(luò)模型。把f拆分之后，我們用倒推的辦法就能得到每一層的f。

我們以圖 4 為例，經(jīng)過(guò)不同層次的f運(yùn)算得到的結(jié)果，每一個(gè)層次的f可能會(huì)得到許多特征結(jié)果，有一些是模型對(duì)應(yīng)特征的響應(yīng)（對(duì)應(yīng)圖中有高亮的部分），有一些沒(méi)有響應(yīng)（圖中黑色部分）。最終經(jīng)過(guò)所有層級(jí)的f運(yùn)算所得結(jié)果經(jīng)過(guò)Sigmoid函數(shù)映射到0- 1 之間，得到的就是y值了。y越接近1，那么它命中類(lèi)別的概率就越大。演化到多分類(lèi)的問(wèn)題上，y就是一個(gè)多維度的數(shù)，理論上每個(gè)維度都可以得到一個(gè)0- 1 之前的值，我們按照一定算法選擇某一個(gè)維度的y作為結(jié)果輸出即可（一般按照y值大的）。

第四步：驗(yàn)證。經(jīng)過(guò)前面 3 步運(yùn)算我們得到了f。（其實(shí)是n層神經(jīng)網(wǎng)絡(luò)的參數(shù)，也就是所謂的“黃圖”模型）。f的可視化結(jié)果可以參看圖7（以GoogLeNet為例），圖 7 展示了 10 個(gè)224* 224 的RGB圖片作為輸入，在第二個(gè)卷積層的時(shí)候就需要64*3*3*64= 36864 個(gè)f的參數(shù)。當(dāng)然這個(gè)是在計(jì)算一個(gè)非常簡(jiǎn)單的圖示情況下的數(shù)據(jù)量，實(shí)際情況的輸入數(shù)據(jù)和網(wǎng)絡(luò)深度都要遠(yuǎn)遠(yuǎn)大于圖片所展示的。我們常說(shuō)的算法調(diào)參，就是指調(diào)整這些f的上萬(wàn)甚至上百萬(wàn)個(gè)參數(shù)。

接下來(lái)我們需要有一個(gè)驗(yàn)證的圖片集來(lái)測(cè)試f的效果。由于f是根據(jù)訓(xùn)練集生成的，那么直接用訓(xùn)練集不足以反映它在真實(shí)環(huán)境下的效果。得益于我們大量的歷史樣本數(shù)據(jù)集，我們專門(mén)挑選一些圖片作為驗(yàn)證使用。通過(guò)一個(gè)自動(dòng)化的測(cè)試平臺(tái)不停地對(duì)迭代出來(lái)的f做驗(yàn)證。在準(zhǔn)確率達(dá)到更優(yōu)的程度之后再更新上線。

人工智能鑒黃現(xiàn)狀

我們經(jīng)過(guò)不斷迭代，得到了越來(lái)越精準(zhǔn)的f（模型），在驗(yàn)證圖集上也達(dá)到了99.8%以上的準(zhǔn)確率。那么，我們就可以高枕無(wú)憂了么？恐怕還不行。

首先我們考慮真實(shí)世界里的場(chǎng)景：雖然互聯(lián)網(wǎng)產(chǎn)品類(lèi)型多樣，但產(chǎn)品里面黃圖的比例往往很小，一般都是萬(wàn)里挑一甚至是十萬(wàn)分之一的級(jí)別（明目張膽玩情色的產(chǎn)品在中國(guó)活不久）。我們假設(shè)10k張圖像中有 1 張是黃圖，我們的系統(tǒng)準(zhǔn)確率為99.9%，即1k張圖像會(huì)判錯(cuò)一張，那么我們計(jì)算偽陽(yáng)性率（False Positive Rate），即推斷 為違禁圖像集合中正常樣本的比例為：

即 11 張判定為黃圖的結(jié)果里面竟有 10 張是誤判！不過(guò)用戶也不用過(guò)分擔(dān)心，統(tǒng)計(jì)為誤判的圖像，多數(shù)情況屬于一些邊界的情況，實(shí)際使用效果會(huì)更好。

其次，深度學(xué)習(xí)的模型會(huì)有一些奇怪的行為表現(xiàn)，比如相關(guān)論文（[1]Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. "Explainingand harnessing adversarial examples." arXiv preprint arXiv:1412.6572(2014).）里面描述的情況

一張?jiān)灸鼙徽_識(shí)別的大熊貓圖像，在添加人眼幾乎不可辨認(rèn)的微小變化之后，竟然以99.3%的置信度被判別為長(zhǎng)臂猿。

是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)有問(wèn)題嗎？不是，這個(gè)實(shí)驗(yàn)是基于獲得ILSVRC競(jìng)賽冠軍的GoogLeNet網(wǎng)絡(luò)進(jìn)行的。

是訓(xùn)練數(shù)據(jù)的問(wèn)題嗎？也不是，網(wǎng)絡(luò)是基于目前最大的物體識(shí)別分類(lèi)數(shù)據(jù)集ImageNet訓(xùn)練的。

也就是說(shuō)，對(duì)于一個(gè)卷積神經(jīng)網(wǎng)絡(luò)，出現(xiàn)難以解釋的正常圖像誤判是普遍現(xiàn)象。即便是在實(shí)際應(yīng)用或比賽中取得中意 效果和優(yōu)異成績(jī)的算法，也會(huì)犯反人類(lèi)直覺(jué)的“低級(jí)”錯(cuò)誤。

基于以上的原因，在真實(shí)的場(chǎng)景下，我們往往采取機(jī)器審核+人工審核的方式來(lái)做到雙重保險(xiǎn)。

結(jié)語(yǔ)

以上通過(guò)盡量簡(jiǎn)單的描述說(shuō)明了網(wǎng)易云安全（易盾）反垃圾系統(tǒng)在識(shí)別黃圖這個(gè)工作中所作的努力和成果。但是也提到了許多的挑戰(zhàn)，比如反人類(lèi)直覺(jué)的低級(jí)誤判問(wèn)題，對(duì)于邊界條件的圖片識(shí)別準(zhǔn)確率問(wèn)題等。技術(shù)的進(jìn)步是無(wú)止境的，網(wǎng)易云安全（易盾）實(shí)驗(yàn)室的算法工程師們也一直在努力。目前，網(wǎng)易云安全（易盾）已經(jīng)面向企業(yè)市場(chǎng)，我們每天會(huì)為中國(guó)的互聯(lián)網(wǎng)過(guò)濾 1 億條左右的有害信息。除了智能鑒黃，網(wǎng)易云安全（易盾）同時(shí)開(kāi)放有廣告過(guò)濾、暴恐識(shí)別、謠言檢測(cè)等內(nèi)容安全服務(wù)，驗(yàn)證碼、營(yíng)銷(xiāo)反作弊、應(yīng)用加固等業(yè)務(wù)安全服務(wù)，以及DDoS 防護(hù)、SSL 證書(shū)治理 等網(wǎng)絡(luò)安全服務(wù)。