21天搭建推薦系統(tǒng)

如何在21天內(nèi)快速搭建推舉 系統(tǒng)。推舉 系統(tǒng)的搭建是個復(fù)雜工程，涉及到實時計算、離線計算，以及各種數(shù)據(jù)采集、流轉(zhuǎn)等，對自建推舉 系統(tǒng)來說，1人年是跑不掉的。

本文介紹的內(nèi)容還包括如何搭建一個個性化推舉 系統(tǒng)所需的環(huán)境準備、基本配置和離線技術(shù)等基本功能的搭建，也有效果報表、算法優(yōu)化和實時修正等高級功能的剖析。

大數(shù)據(jù)有三個非常經(jīng)典的應(yīng)用：計算廣告、搜索、推舉 。每一種應(yīng)用最核心的地方都離不開三個字——個性化。廣告不用說了，計算廣告的基本要求就是要精準，為廣告選擇對其感興趣的目標受眾；搜索可以理解為對搜索關(guān)鍵詞的個性化；而推舉 ，則需要在用戶和物品之間建立興趣關(guān)系。推舉 的業(yè)態(tài)比較復(fù)雜，有類似淘寶天貓這樣的真正意義上大數(shù)據(jù)場景，也有很多中小網(wǎng)站、應(yīng)用，數(shù)據(jù)量其實并不是很大。阿里云推舉 引擎的初衷，是為了幫助阿里云的客戶、創(chuàng)業(yè)者、中小網(wǎng)站，讓他們能夠更好的運營自己的產(chǎn)品或網(wǎng)站。

推舉 系統(tǒng)一般包括展現(xiàn)子系統(tǒng)、日志子系統(tǒng)和算法子系統(tǒng)三個部分，三者互為一體。

“展現(xiàn)”部分不僅要負擔展現(xiàn)，還是數(shù)據(jù)采集的窗口，用戶在展現(xiàn)系統(tǒng)的所有行為通過日志錄入，采集到的數(shù)據(jù)經(jīng)過算法子系統(tǒng)的計算，可以得到用戶的偏好或者個性化興趣，然后回過頭來指導(dǎo)“展現(xiàn)”部分怎樣做的更聚焦。

阿里云推舉 引擎（RecEng）是推舉 系統(tǒng)的一部分，主要實現(xiàn)的是算法子系統(tǒng)，需要和其他子系統(tǒng)配合工作。使用阿里云推舉 引擎分為兩大階段

第一階段：基本功能的搭建

Day1. 環(huán)境準備

環(huán)境準備分為兩部分。圖中左側(cè)為云上資源的準備，我們需要擁有阿里公有云賬號，然后開通云監(jiān)控服務(wù)（可選）和阿里云數(shù)加服務(wù)（必選）；開通數(shù)加賬號后，大數(shù)據(jù)計算服務(wù)（MaxCompute，原名ODPS）和大數(shù)據(jù)開發(fā)Data IDE就默認開通了（Data IDE相當于MaxCompute的可視化包裝），最后開通推舉 引擎。未來客戶在推舉 引擎中用到的數(shù)據(jù)，以及相關(guān)離線計算，都在客戶自己的MaxCompute項目中完成。右側(cè)為客戶側(cè)的準備，前端的展現(xiàn)，以及日志的采集和治理 都需要客戶自己完成，通過推舉 引擎提供的API與推舉 引擎進行交互。通常情況下，客戶側(cè)的后臺相關(guān)功能會集中在推舉 服務(wù)器中實現(xiàn)，這也是阿里云推舉 引擎墻裂建議的方案。推舉 服務(wù)器可以是客戶自己的物理機，也可以是阿里云的虛擬機ECS，都是可以的。

Day2-3. 數(shù)據(jù)準備

DT時代的基本要求是數(shù)據(jù)要能夠“存、通、用”。采集日志，并將其上傳到公共云實現(xiàn)了數(shù)據(jù)“存”的過程；推舉 引擎負責解決數(shù)據(jù)的“通”和“用”?！坝谩北容^好理解，“通”則指的是所有進入推舉 引擎的數(shù)據(jù)必須滿足推舉 引擎所定義的格式規(guī)范。推舉 有三類數(shù)據(jù)：用戶數(shù)據(jù)、物品數(shù)據(jù)和行為數(shù)據(jù)，我們定義了這三種表的格式規(guī)范，比較簡單。

那么，如何把數(shù)據(jù)傳到公共云上來呢？目前主要有兩種方法，一是利用集成在MaxCompute console中的Tunnel命令，該命令的缺點只能上傳文本格式數(shù)據(jù)；另一種方法是定制DataX上傳，DataX作為連接各種數(shù)據(jù)庫中間的節(jié)點，它除了可以作為文本上傳，還可以把各種數(shù)據(jù)庫打通。DataX的缺點是目前只能在Linux環(huán)境下運行。

當然，未必每一個業(yè)務(wù)的數(shù)據(jù)都滿足規(guī)范的要求，所以還需要做一些格式轉(zhuǎn)換。Data IDE提供了比較友好的格式轉(zhuǎn)換界面，還可以把配置好的任務(wù)設(shè)置為定時任務(wù)，每天定時調(diào)度；也可以在MaxCompute console下直接執(zhí)行格式轉(zhuǎn)換的SQL腳本，再利用系統(tǒng)的crontab命令實現(xiàn)定時任務(wù)。

Day4-5. 基本配置和離線計算

環(huán)境和數(shù)據(jù)都準備好了之后，接下來需要進入阿里云推舉 引擎產(chǎn)品，真正開始使用推舉 引擎了。不過在此之前，還需要對產(chǎn)品中的一些關(guān)鍵概念進行必要的說明。

第一個概念是業(yè)務(wù)。在阿里云推舉 引擎中，業(yè)務(wù)指的是一組可被用來進行推舉 算法計算的完備數(shù)據(jù)集，包括物品表、行為表、用戶表這三張表。也可以簡單的認為這三張表就構(gòu)成了一個業(yè)務(wù)。

第二個概念是場景，所謂場景就是推舉 的上下文。換句話說，就是在進行推舉 時有哪些可用的參數(shù)。比如在進行首頁推舉 的時候，可用的參數(shù)只有用戶的ID；在進行詳情頁推舉 的時候，可用的參數(shù)除了用戶ID，還可以由詳情頁上展示的物品ID，這樣首頁推舉 和詳情頁推舉 就是兩個推舉 的場景。一個業(yè)務(wù)可以包括多個場景。

第三個概念是算法流程，算法流程指的是數(shù)據(jù)端到端的處理流程，從客戶的輸入數(shù)據(jù)開始，到產(chǎn)出最終結(jié)果為止。推舉 算法流程從屬于場景，一個場景可以包含多個算法流程。每個推舉 算法流程都包括兩部分，離線計算流程和在線計算流程。離線計算流程負責從原始的業(yè)務(wù)數(shù)據(jù)（用戶、物品、行為）開始，計算用戶對物品的興趣，輸出本場景下用戶可能會感興趣的物品集合；在線計算流程實時接受推舉 請求，從離線計算流程得到的物品集合中根據(jù)業(yè)務(wù)規(guī)則挑選出最合適的若干個物品返回給請求方。一個場景包含多個推舉 算法流程這種設(shè)定使得我們在做效果對比變的比較容易，后面會介紹A/B Testing，在A/B Testing中，每個推舉 算法流程都是一個可被效果指標度量的最小單元。在做完A/B Testing之后，通常只會在一個場景下保留一個效果最好的推舉 算法流程。

產(chǎn)品里的配置都比較簡單，配置業(yè)務(wù)基本信息、配置業(yè)務(wù)依賴的云資源、配置業(yè)務(wù)數(shù)據(jù)表，接著配置場景、配置API參數(shù)，最后配置算法流程，阿里云推舉 引擎提供了兩個默認的推舉 算法流程模板，分別針對首頁場景和詳細頁場景，圖為首頁場景的離線計算流程模板，圖中每一個節(jié)點就是一個算法，最終產(chǎn)出離線計算結(jié)果。

Day6-8. 推舉 API集成

到了這一步，云端推舉 引擎里的推舉 算法邏輯已經(jīng)配置完成，剩下的事情就是把系統(tǒng)串起來，讓推舉 引擎和日志、展示兩個子系統(tǒng)結(jié)合起來，成為推舉 系統(tǒng)。阿里云推舉 引擎提供了一組API，這里要做的就是把這些API集成到推舉 服務(wù)器中。

首先需要把離線數(shù)據(jù)傳上來，可以用前面提到的方法，Tunnel啊，DataX啊，都可以，但是一定要是定時任務(wù)，我們總不能每天都去手工執(zhí)行數(shù)據(jù)上傳。上傳完成之后首先調(diào)用數(shù)據(jù)預(yù)處理API，對數(shù)據(jù)做一些預(yù)處理；然后調(diào)用離線計算API，啟動離線計算。待離線計算完成后，通過推舉 API就可以實時獵取 用戶的推舉 結(jié)果了。在離線計算的過程中，還可以通過查看計算任務(wù)狀態(tài)API實時獵取 計算任務(wù)的狀態(tài)，便于及時發(fā)現(xiàn)異常。

上圖也展示了我們對推舉 服務(wù)器的一些基本建議。諸如數(shù)據(jù)上傳、啟動離線計算這些功能建議由一個相對獨立的數(shù)據(jù)治理 組件來負責；而實時性要求比較高的推舉 結(jié)果獵取 建議由專門的推舉 治理 組件來負責。推舉 治理 組件和數(shù)據(jù)治理 組件為什么要有一個交互呢？這是因為從推舉 引擎返回的結(jié)果中可能只包括了物品的ID，展示時不能只展示一個ID，還有很多材料，這些東西可以放在推舉 服務(wù)器中，由數(shù)據(jù)治理 模塊負責治理 。UI可以提供人工治理 數(shù)據(jù)的界面，比如新錄入了一個物品，或者某個物品賣完了要下線，需要做實時修正時就可以用到了。

這些工作都完成之后，一個具備最基本功能的推舉 系統(tǒng)就可以運行起來了。