精品欧美一区二区三区在线观看 _久久久久国色av免费观看性色_国产精品久久在线观看_亚洲第一综合网站_91精品又粗又猛又爽_小泽玛利亚一区二区免费_91亚洲精品国偷拍自产在线观看 _久久精品视频在线播放_美女精品久久久_欧美日韩国产成人在线

攜程大數據實時風控的架構及實踐

大數據
目前攜程利用自主研發的風控系統有效識別、防范這些風險。攜程風控系統從零起步,經過五年的不斷探索與創新,已經可以有效覆蓋事前、事中、事后各個環節。也從原來基于“簡單規則+DB”,發展到目前能夠支撐10X交易增長的智能化風控系統,基于規則引擎、實時模型計算、流式處理、M/R、大數據、數據挖掘、機器學習等的風控系統,擁有實時、準實時的風險決策、數據分析能力。

[[179032]]

攜程作為國內OTA領頭羊,每天都遭受著嚴酷的欺詐風險,個人銀行卡被盜刷、賬號被盜用、營銷活動被惡意刷單、惡意搶占資源等。

目前攜程利用自主研發的風控系統有效識別、防范這些風險。攜程風控系統從零起步,經過五年的不斷探索與創新,已經可以有效覆蓋事前、事中、事后各個環節。也從原來基于“簡單規則+DB”,發展到目前能夠支撐10X交易增長的智能化風控系統,基于規則引擎、實時模型計算、流式處理、M/R、大數據、數據挖掘、機器學習等的風控系統,擁有實時、準實時的風險決策、數據分析能力。

Aegis系統體系

 

 

 

 

圖1

主要分三大模塊:風控引擎、數據服務、數據運算、輔助系統。

風控引擎:主要處理風控請求,有預處理、規則引擎和模型執行服務,風控引擎所需要的數據是由數據服務模塊提供的。

數據服務:主要有實時流量統計、風險畫像、行為設備數據、外部數據訪問代理,RiskGraph。數據訪問層所提供的數據都是由數據計算層提供

數據運算:主要包括風險畫像運算、RiskSession、設備指紋、以及實時流量、非實時運算。

數據運算所需的數據來源主要是:風控Event數據(訂單數據、支付數據),各個系統采集來的 UBT、設備指紋、日志數據等等。

除了這些,風控平臺還有非常完善的監控預警系統,人工審核平臺以及 報表系統。

Aegis系統架構

 

 

[[179034]]

 

 

圖2

規則引擎

規則引擎包含3大功能,首先是適配層。

由于攜程的業務種類非常多,而且每種業務都有其特性,在進入風控系統(Aegis)后,為了便于整個風控系統對數據進行處理,風控前端有一個適配器模塊,把各個業務的數據都按照風控內部標準化配置進行轉換,以適合風控系統使用。

在完成數據適配后。風控系統要進行數據的合并。

舉個例子,當有一筆支付風控校驗,支付BU只拋過來支付信息(支付金額、支付方式、訂單號等)。但是不包含訂單信息,這個時候就必須根據支付信息快速的查找到訂單信息,并把這兩個數據進行合并,以便規則、模型使用。大家知道,用戶從生成訂單到發起支付,其時間間隔從秒到天都有可能,當間隔時間短的時候,就會發生要合并的數據還沒有處理完,所以訂單數據從處理到落地要非常快。第二部就是要快速查找到訂單數據,我們為訂單信息根據生成 RiskGraph,可以快速精確定位到所需要的訂單明細數據。

預處理在完成數據合并后,就開始準備規則、模型所需要的變量、tag數據,在準備數據時,預處理模塊會依賴后面我們要講解的數據服務層。當然,為了提高性能,我們為變量、tag的數據合理安排,優先獲取關鍵規則、模型所需要的變量、tag的數據。

大家知道,欺詐分子的特點就是一波一波的,風控系統需要能夠及時響應,當發現欺詐行為后,能及時上規則防止后續類似的欺詐行為。所以,制定規則需要快速、準確,既然這樣,那么就需要我們的規則能夠快速上線,而且規則人員自己就可以制定規則并上線。還有就是規則與執行規則的引擎比較做到有效隔離,不能因為規則的不合理,影響到整個引擎。那么規則引擎就必須符合這些條件。

我們***選擇了開源 Drools,***它是開源,第二它可以使用Java語言,入門方便,第三功能夠用。 通過使用 規則引擎Drools,使其具有非常高的靈活性、可配置性,并且由于是java語法的,規則人員自己就可以制定規則并迅速上線。

由于每個風控Event請求,都需要執行數百個規則,以及模型,這時,風控引擎引入了規則執行路徑優化方法。建立起并行+串行,依賴關系+非依賴關系的規則執行優化方法,然后再引入短路機制,使上千個規則的運行時間控制在100ms。

 

 

 

 

圖3

規則的靈活性非常強,制定、上線非常快,但是單個規則的覆蓋率比較低,如果要增加覆蓋率就需要非常多的規則來進行覆蓋,這個時候規則的維護成本就會很高,那么這個時候就需要使用模型了,模型的特點就是覆蓋率覆蓋率可以做到比較高,其模型邏輯可以非常復雜,但是其需要對其進行線下訓練,所以攜程風控系統利用了規則、模型的各自特點進行互補。

在目前的風控系統中主要使用了:Logistic Regression、Random Forest。兩個算法使用下來,目前情況為:LR訓練變量區分度足夠好的情況下,加以特征工程效果比較好。RF當變量線性區分能力較弱的時候,效率比較高。所以使用RF的比例比較多。

數據服務層

數據服務層,主要功能就是提供數據服務,我們知道在風控引擎預處理需要獲取到非常多的變量和tag,這些變量和tag的數據都是由數據訪問層來提供的。該服務層的最重要的目的就是響應快。所以在數據服務層主要使用Redis作為數據緩存區,重要、高頻數據直接使用Redis作為持久層來使用。

數據服務層的核心思想就是充分利用內存(本地、Redis)

1、本地內存(大量固定數據,如ip所在地、城市信息等)

2、充分利用Redis高性能緩存

由于實時數據流量服務、風險畫像數據服務的數據是直接存儲在Redis中,其性能能夠滿足規則引擎的要求,我們這里重點介紹一下數據訪問代理服務。

數據訪問代理服務,其最重要的思想就是該數據被規則調用前先調用第三方的服務,把數據保存到Redis中,這樣當規則請求來請求的時候,就能夠直接從Redis中讀取,既然做到了預加載,那么其數據的新鮮度及***率就非常重要。我們以用戶相關維度的數據為例,風控系統通過對用戶日志的分析,可以偵測到哪些用戶有登陸、瀏覽、預定的動作,這樣就可以預先把這些用戶相關的外部服務數據加載到Redis中,當規則、模型讀取用戶維度的外部數據時,先直接在redis中讀取,如果不存在然后再訪問外部服務。

在某些場景下,我們還結合引入DB來做持久化,當用戶某些信息發生變化的時候,公共服務會發送一個Message到Hermes,我們就訂閱該信息,當知道該用戶的某些信息發生修改,我們就主動的去訪問外部服務獲取數據放入Redis中,由于風控系統能夠知道這些數據發生變化的Message,所以這些數據被持久化到DB中也是ok的,當然,這些數據也有一個TTL參數來保證其新鮮度。在這種場景下,系統在Redis沒有***的情況下,先到DB中查找,兩個地方都不存在滿足條件的數據時,才會訪問外部服務,這個時候,其性能、存儲空間就可以得到優化。

Chloro系統Chloro系統是數據分析服務也是整個風控系統的核心,數據服務層所使用到的數據,都是由Chloro系統計算后提供的。

主要分析維度主要包括:用戶風險畫像,用戶社交關系網絡,交易風險行為特性模型,供應商風險模型。

 

 

 

 

圖4

可以看到數據的來源主要有hermes、hadoop、以及前端拋過來的各種風控Event數據。Listener是用來接收各類數據,然后數據就會進入 CountServer 和 Real-Time Process系統,其中和RiskSession的數據就先進入Sessionizer ,該模塊可以快速進行歸約Session處理,根據不同的key歸約成一個session,然后再提交給 實時處理系統進行處理。

當Real Time Process 和 CountServer對數據處理好后,這個時候分成了兩部分數據,一部分是處理的結果,還有一份是原數據,都會提交給Data Dispatcher,由它進行Chloro系統內部的數據路由,結果會直接進入到RiskProfile提供給引擎和模型使用。而原始數據會寫入到Hadoop集群。

Batch Process就利用Hadoop集群的大數據處理能力,對離線數據進行處理,當Batch Process處理好后,也會把處理結果發送給Data Dispatcher,由它進行數據路由。

Batch Process還可以做跨Rsession之間的數據分析。

 

 

 

 

圖5

RiskSession的定義:量化、刻畫 用戶的行為,任何人通過任何設備訪問攜程的***個event開始,我們認為Rsession start了,到他離開的***一個event后30分鐘之內沒有任何痕跡留下,我們認為Rsession end。

風控系統通過比較用戶信息:Uid, 手機號, 郵箱,設備信息:Fp(Fingerprint), clientId, vid, v, deviceId來判斷其是否是同一個用戶,通過其行為信息:瀏覽軌跡, 歷史軌跡來判斷其行為相似度。

比如:用戶在PC端下單、然后在手機APP里完成支付,這個對于Chloro是一個會話,這個會話我們稱之為風控Session,通過Risksession的定義,風控系統使用戶的行為可以量化,也可以刻畫。這樣Risksession實際上可以作為用戶行為的一個 Container。使用RiskSession就可以做到跨平臺,更加有利于分析用戶特征。

 

 

 

 

圖6

Risk Graph 是根據攜程風控系統的特點開發出來的,Risk Graph是一個基于HBase進行為存儲介質的系統,比如,以用戶為節點其值就是HBase用戶表的key,其每個列就是特性,然后根據用戶的某個特性再創建一個hbase表,這樣就創建了一個基于HBase的類Graph的架構。

所以該系統的一個核心思想是先創建各個維度的數據索引,然后根據索引值再進行內容的查找。目前風控系統已經創建了十幾個維度的快速索引。

Aegis其它子系統

 

 

 

圖7

Aegis還有配置系統,用戶可以在上面進行各種配置,如規則、規則運行路徑,標準化、tag、變量定義、已經數據清洗業務羅輯等等,當然監控系統也是非常重要的,風控研發秉承著監控無處不在的設計理念,使其能夠在***時間發現系統的任何細小變化。

展望

攜程風控在3.0中通過引入規則引擎、在Chloro系統中大量使用開源的基于大數據處理的架構,配合模型取得了非常好的效果,在4.0中,將在機器學習、人工智能、行為特征等方向繼續發力,進一步提高風控系統識別能力,對于技術將繼續擁抱開源技術,下一步會引入Spark等提高風控系統的數據處理能力。

作者簡介

郁偉,攜程技術中心風險控制部高級開發經理。2010加入攜程,參與了攜程結算平臺、風控系統的開發,對系統架構、流式數據處理等有比較深入的研究。

責任編輯:龐桂玉 來源: 大數據雜談
相關推薦

2016-09-04 15:14:09

攜程實時數據數據平臺

2022-06-16 15:46:58

錢大媽云原生Flink

2022-08-02 08:15:11

數據平臺中原銀行銀行業務

2024-09-11 14:47:00

2023-06-06 11:49:24

2022-06-17 10:44:49

實體鏈接系統旅游AI知識圖譜攜程

2017-01-04 10:29:37

Spark運維技術

2022-08-12 08:34:32

攜程數據庫上云

2022-03-30 18:39:51

TiDBHTAPCDP

2017-08-31 16:36:26

2022-05-19 17:50:31

bookie集群延遲消息存儲服務

2023-09-21 07:52:55

Flink CEP復雜事件處理

2022-07-15 12:58:02

鴻蒙攜程華為

2022-11-29 20:32:07

2022-05-13 09:27:55

Widget機票業務App

2022-08-20 07:46:03

Dynamo攜程數據庫

2023-07-07 12:26:39

攜程開發

2014-08-20 09:40:56

大數據實踐項目

2013-04-23 14:36:54

2017-10-09 09:12:35

攜程運維架構
點贊
收藏

51CTO技術棧公眾號

青青国产在线视频| 九一精品久久久| 成人激情四射网| 日韩激情免费| 欧美日韩aaa| 影音先锋欧美在线| jlzzjlzz亚洲女人18| 欧美视频一区| 日韩大陆欧美高清视频区| 黄色片免费在线观看视频| 黄色一级大片在线免费看国产一 | 欧美日韩国产综合久久| 亚洲一区在线免费| 国产高潮流白浆喷水视频| 黑丝一区二区三区| 亚洲男人天堂九九视频| 不卡影院一区二区| 韩国中文字幕在线| 国产盗摄女厕一区二区三区| 国模私拍视频一区| 成年人在线免费看片| 小说区图片区亚洲| 国产精品全国免费观看高清 | 911精品美国片911久久久| 欧美日韩国产美| 青草网在线观看| 久久免费看视频| 精东粉嫩av免费一区二区三区| 九九热精品在线| 欧美图片第一页| 狂野欧美性猛交xxxx| 红桃av永久久久| 亚洲精品成人三区| 六月婷婷综合网| 青青青伊人色综合久久| 欧美激情2020午夜免费观看| 国产三级视频网站| 韩国一区二区三区视频| 色综合天天综合| 六月婷婷激情网| 久草在现在线| 成人免费看视频| 川上优av一区二区线观看| 波多野结衣毛片| 久久国产精品久久w女人spa| 97在线视频观看| 天堂资源在线播放| 国产精品theporn| 久久五月天色综合| 蜜桃av免费在线观看| 精品大片一区二区| 亚洲视频999| 国精产品一区一区三区免费视频| 国产精品流白浆在线观看| 欧美一区二区日韩| 欧洲美女亚洲激情| www.欧美| 91精品国产一区二区三区香蕉 | 久久久精品国产sm调教| 中文字幕一区二区三区久久网站 | 国产精品v欧美精品v日韩精品| 国产精品视频a| 韩日av一区二区| 成人久久一区二区| 99国产成人精品| 国模娜娜一区二区三区| 亚洲精品欧美日韩| www.久久综合| 成人av资源在线观看| 国产精品亚洲不卡a| 日本高清视频网站| 99久久免费精品| 欧美日韩精品一区| 成年人在线视频免费观看| 日本一二三不卡| 一本二本三本亚洲码| 天天色天天射天天综合网| 亚洲国产视频一区| av免费中文字幕| 日本一区二区中文字幕| 91精品国产综合久久精品| www.黄色网| 西野翔中文久久精品国产| 亚洲深夜福利视频| 欧美丰满熟妇bbbbbb| 欧美日韩精品免费观看视频完整| 777精品视频| 91丨九色丨海角社区| 精品在线播放免费| 99视频国产精品免费观看| 深夜福利视频网站| 国产精品区一区二区三区| 亚洲天堂第一区| а√天堂资源官网在线资源| 色国产精品一区在线观看| 91亚洲精品久久久蜜桃借种| 亚洲精品不卡在线观看| 亚洲精品aⅴ中文字幕乱码| 国产毛片久久久久久久| 亚洲va在线| 2019亚洲日韩新视频| 成人黄色片在线观看| 国产精品99久久久久久有的能看| 国产在线观看一区| 大乳在线免费观看| 亚洲一卡二卡三卡四卡无卡久久| aⅴ在线免费观看| 亚洲网站免费| 亚洲女人被黑人巨大进入| 爱爱视频免费在线观看| 狂野欧美性猛交xxxx巴西| 亚洲xxxx18| 国产黄在线看| 亚洲午夜免费视频| 亚洲涩涩在线观看| www.丝袜精品| 色偷偷av一区二区三区| 偷偷操不一样的久久| 国内精品在线播放| 青娱乐国产91| 美女网站在线看| 日韩一区二区三区视频在线观看| 亚洲精品国产熟女久久久| **女人18毛片一区二区| 国产精品久久久91| 三级视频在线播放| 一级女性全黄久久生活片免费| 最新中文字幕2018| 任你躁在线精品免费| 欧美成人中文字幕| 亚洲视频一区在线播放| 337p粉嫩大胆噜噜噜噜噜91av| 热久久最新网址| 国产精品蜜月aⅴ在线| 日韩精品视频中文在线观看 | 男操女在线观看| 亚洲国产精品精华液网站| 九九久久久久久| 久久亚洲影视| 国产精品日韩欧美大师| 免费在线视频一级不卡| 欧美日韩国产激情| 一边摸一边做爽的视频17国产 | 在线a欧美视频| 久久久久久久久久久久久av| 成人小视频在线| 国产精品8888| 999久久精品| 欧美精品videosex牲欧美| 精品久久久久久亚洲综合网站| 国产精品免费av| 777视频在线| 成人毛片免费看| 国产精品久久久久国产a级| 视频三区在线观看| 韩曰欧美视频免费观看| 日韩av一二区| 日韩一区精品视频| 日韩欧美三级一区二区| 精品亚洲美女网站| 中文字幕亚洲无线码在线一区| 国产女优在线播放| 中文一区二区在线观看| 天天操,天天操| 一个色综合网| 国产精品18毛片一区二区| 成人超碰在线| 日韩精品电影网| 日韩xxx视频| ...xxx性欧美| 亚洲精品无码一区二区| 亚洲理论在线| 日本不卡在线播放| 啪啪av大全导航福利综合导航| 久久久国产精品一区| 精品黑人一区二区三区在线观看| 亚洲午夜羞羞片| av中文字幕免费观看| 奇米精品一区二区三区在线观看一 | 最近中文字幕在线观看视频| 国产精品久久毛片| 久久久久无码精品| 一区二区日本视频| 欧美日韩一区二区三区在线视频| 成人在线黄色| 欧美风情在线观看| 青青久在线视频| 欧美喷潮久久久xxxxx| 欧美精品99久久久| 久久尤物电影视频在线观看| 国产精品区在线| 一区三区视频| 亚洲高清123| 亚洲一区电影| 国产精品吴梦梦| www中文字幕在线观看| 亚洲天堂开心观看| 国产成人毛毛毛片| 一本大道综合伊人精品热热| 永久免费看片直接| 91在线免费视频观看| 午夜av中文字幕| 亚洲女同同性videoxma| 不卡中文字幕在线| 任我爽精品视频在线播放| 国产色视频一区| 538在线视频| 久久久精品久久久| 青青视频在线观| 日韩精品一区二| 国产精品成人久久久| 亚洲午夜精品网| 美女100%露胸无遮挡| bt7086福利一区国产| 国产三级三级看三级| av成人激情| 精品久久免费观看| 蜜乳av综合| 国产精品xxxx| 日韩激情精品| 国产区亚洲区欧美区| 成人性教育av免费网址| 欧美高跟鞋交xxxxxhd| 日本在线视频网| 亚洲欧洲国产伦综合| 欧美一级特黄aaaaaa| 欧美美女一区二区在线观看| 日本中文字幕久久| 性久久久久久久| 九九热国产在线| 自拍偷拍欧美精品| 成人激情五月天| 国产欧美一二三区| 熟女高潮一区二区三区| 97aⅴ精品视频一二三区| 黄页网站在线看| 国产精品一区二区三区乱码| 午夜免费看毛片| 日韩av在线发布| 国产精品亚洲a| 国产欧美精品| 国产老熟妇精品观看| 欧美三区在线| 国产制服91一区二区三区制服| 欧美激情成人| 亚洲啪啪av| 91视频综合| 在线综合视频网站| 99re久久最新地址获取| 亚洲 国产 欧美一区| jiujiure精品视频播放| 欧洲精品久久| av在线不卡免费观看| 亚洲成色www久久网站| 第四色成人网| 一本色道久久综合亚洲精品婷婷| 色喇叭免费久久综合| 亚洲国产午夜伦理片大全在线观看网站 | 色婷婷国产精品综合在线观看| 日韩成人高清视频| 婷婷中文字幕一区三区| 国产精品久久久久久久久久久久久久久久久 | 欧美老年两性高潮| 97超视频在线观看| 91精品国产色综合久久ai换脸| 国产欧美一区二区三区国产幕精品| 欧美在线www| 伊人久久综合一区二区| 国产成人拍精品视频午夜网站| 亚洲承认视频| 国产精品青草久久久久福利99| 欧美一级在线| 亚洲一区二区免费| 国产精品17p| 欧美日韩精品免费观看| 91麻豆精品国产91久久久平台| 中文字幕中文字幕在线中一区高清| 91精品国产91久久久久久密臀| 欧美精品在欧美一区二区| 影音先锋久久资源网| 无码人妻丰满熟妇区毛片18| 麻豆成人综合网| 久久久久久无码精品人妻一区二区| 成人一级片在线观看| 中文字幕一二三四区| 国产精品每日更新在线播放网址 | 最近日韩中文字幕| 黄色一级视频在线观看| 欧美日韩激情视频8区| 久久这里只有精品9| 日韩精品一区二区三区中文不卡 | 成人avav在线| 日韩女同一区二区三区| 一区二区在线免费观看| 欧美特黄aaaaaa| 这里只有精品电影| 天堂a中文在线| 久久视频中文字幕| 蜜桃视频在线观看播放| 成人黄色短视频在线观看| 风间由美中文字幕在线看视频国产欧美 | 99精品欧美一区二区三区小说 | 丰满肉嫩西川结衣av| 亚洲午夜激情免费视频| 欧美xxxx黑人又粗又长| 日本久久91av| 一区二区三区四区高清视频 | 青青草成人在线| 成人在线啊v| 日本免费一区二区三区| 欧美日韩一区二区三区四区在线观看 | 黄色一区二区在线观看| 亚洲视频一区在线播放| 亚洲精品成人久久| av免费看在线| 国产精品盗摄久久久| 2023国产精华国产精品| 视频一区二区在线| 鲁大师成人一区二区三区| 在线观看网站黄| 国产精品麻豆99久久久久久| 国产综合精品视频| 亚洲精品一区二区三区香蕉| 久久久久久久久免费视频| 日本高清视频精品| 国产精品xxxav免费视频| 中文字幕日韩精品一区二区| 久久亚洲精选| 中国免费黄色片| 亚洲精品免费视频| 国产又粗又长视频| 国产亚洲视频在线观看| 亚洲精品福利电影| 国产视频一区二区三区四区| 综合天堂久久久久久久| 亚洲综合av在线播放| 欧美国产欧美综合| 中文字幕在线日本| 国产视频精品一区二区三区| 欧美激情成人动漫| 91日韩在线视频| 91精品国产福利在线观看麻豆| 深夜黄色小视频| 国产色婷婷亚洲99精品小说| 日韩在线视频不卡| 亚洲精品永久免费| 美女av在线免费看| 欧美日韩综合精品| 欧美综合二区| 97伦伦午夜电影理伦片| 欧美午夜久久久| 毛片免费在线| 国产脚交av在线一区二区| 久久99高清| 向日葵污视频在线观看| 亚洲国产电影在线观看| 最新中文字幕第一页| 色哟哟入口国产精品| 成人激情久久| 国产a级黄色大片| 成人激情小说乱人伦| 一级片免费网址| 精品一区二区三区三区| 玛雅亚洲电影| 亚洲精品国产精品国自产| 久久精品国产精品亚洲红杏| 小嫩苞一区二区三区| 337p亚洲精品色噜噜| 黄页网站大全在线免费观看| 国产精品国产亚洲精品看不卡15| 亚洲国产1区| 亚洲第一成人网站| 欧美性大战xxxxx久久久| 蜜桃视频网站在线| 99porn视频在线| 亚洲黄色一区| 欧美黄色一级生活片| 欧美日本视频在线| 青春草视频在线| 九九九九精品| 蜜臀av国产精品久久久久| 精品自拍偷拍视频| 亚洲国产精品久久久久久| 伊人久久在线| 国产系列第一页| 成人黄色在线网站| 欧美日韩 一区二区三区| 久久久精品美女| 国产精品99久久免费观看| 欧美伦理片在线看| 亚洲精品视频一区| 亚洲av毛片成人精品| 国产乱肥老妇国产一区二| 国产精品v亚洲精品v日韩精品| 一区二区三区四区免费| 91精品国产免费| 不卡一二三区| 免费看日b视频| 国产农村妇女毛片精品久久麻豆 | 国产这里有精品|