原标题:数据ETL:反作弊的应用与基础模型
文章对数据ETL中的反作弊应用进行了简单的梳理分析,希望通过此文能够加深你对数据ETL的认识。
一、反作弊作用于哪个阶段?
在做反作弊之前,我们要明确整个数据从底层到数据中台过程中流向是什么样的。这里,我梳理了一个模型,它可以反映这一过程。
数据从原始采集经过“清洗规范”,会形成“通用数据”,这里会过滤掉异常数据供上层使用。
通用数据会根据业务场景,聚合成符合业务指标计算的数据,即“应用数据”,比如说是“主题场景”的数据。“主题场景”的数据可以是基于大背景的场景(横向),如:推荐业务场景、搜索业务场景。也可以是垂直到业务线的场景(纵向),如:某项购物时的推荐场景、短视频搜索的业务场景。这一过程会产生“数据残渣”,这部分数据是暂时没有应用场景的数据。
比如,在推荐商品时,你只取了用户的年龄、性别等作为特征,剩下的用户姓名这个特征数据在这个场景应用不到,它就成了暂时的“数据残渣”。不过,你可能在信贷业务场景中使用到这个特征数据(用户姓名),那种应用场景下它就不是“数据残渣”。
应用数据只是一个基础可用的数据集市,还需要经过反作弊系统来过滤掉具体应用场景下的作弊用户或者设备,形成“业务数据”。
最终,跟进业务需求等制定数据指标、维度等计算逻辑,并在数据中台形成可视化数据。
综上,我们可以发现,反作弊是在“应用数据”与“业务数据”之间work的。
二、反作弊基础模型
1. 通用基础设备过滤规则
这里面可以是人为设定的一些规则(比如:设备中安装有淘宝APP版本号大于线上最新版本的用户都是作弊用户),也可以是基于经验总结的设备属性。举个例子:
2. 数据分析系统
这里面主要是根据业务场景,分析业务属性与用户属性在结合的过程中产生的作弊用户。当然,可以通过业务规则或者算法来找出这部分用户。举例,在投放广告时,可以根据用户的uid、ip等找出这些属性与某些广告是否存在强关联关系,试图找出用户有恶意刷广告的行为。下图给大家介绍几个算法以及其应用场景。
3. 评分系统
评分系统也是基于业务场景来制定的规则或算法,从而产生对应的黑名单。比如,在短视频领域中,可以根据用户行为画像和视频画像来给视频或者用户打分。其主要流程可以参考下图:
这里面关键是如何建立“过滤模型”,由于保密问题,这块需要大家根据业务场景自行建模。
4. 机器学习系统
这部分没有什么太多可以分享的,因为市面上机器学习的算法有很多,也很成熟,需要根据业务场景来选模、建模,甚至优化模型等等。
作者:软院猛哥 人人都是产品经理网“萌新一枚”
本文由 @软院猛哥 原创发布于人人都是产品经理。未经许可,禁止转载。
题图来自 Unsplash,基于 CC0 协议游戏网
-
4个步骤,用模型确定数据指标
3 02020-04-14 -
迷你世界怎么做人物模型-迷你世界人物模型制作方法_快吧手游
4 02020-04-11 -
迷你世界微缩模型怎么做-迷你世界微缩模型做法_快吧手游
7 02020-04-11 -
GeoAI-空间显式模型
6 02020-04-08 -
【欣赏】HG-GEO扎古2旧化方案_高达模型
0 02020-04-03 -
<风控必备>反欺诈策略与反欺诈模型比较分析
0 02020-03-24 -
“吃鸡”国际服玩家发现神秘生物,模型超大,遮蔽了g港整个天空
4 02020-03-21 -
用2D图像生成3D模型,微软新AI模型或成游戏业福音
5 02020-03-10 -
男人的浪漫就是穿高达!优衣库x高达模型40周年T恤
6 02020-02-10 -
实例解析:实体零售的单店模型和连锁模型_经营
4 02020-01-01 -
新时模型《合金弹头X》载具免胶拼装模型/俘虏搪胶人偶_cm
9 02019-12-31 -
宝可梦3D模型制作方Creatures被GameFreak除名
17 02019-12-10 -
万代PG机动战士高达SEED完美强袭高达模型开订!
13 02019-11-30 -
CSGO新人物模型遇冷:ECSS8将采用默认角色模型_地图
12 02019-11-22 -
CSGO新人物模型遇冷:ECS S8将采用默认角色模型
14 02019-11-22 -
模玩资讯:万代新模型发售信息_GaoGaiGar
6 02019-11-14 -
游戏《宝可梦剑盾》炎上!网友质疑并未重新制作模型_进行
5 02019-11-14 -
大神用模型拍《死亡搁浅》短片全部模型亲手制作
16 02019-11-14 -
网曝《宝可梦:剑/盾》众多模型未升级网友怒喷GF欺诈
22 02019-11-14 -
模玩秀:民用模型作品TAMIYA1/24GT-RR34_田宫
7 02019-11-02 -
LOL怎么符合被盗模型-LOL符合被盗模型说明
75 02019-10-28 -
帝国时代2决定版单位模型都一样吗兵种高清模型对比一览
139 02019-10-28 -
《帝国时代2决定版》单位模型都一样吗 兵种高清模型对比一览
166 02019-10-28 -
7Papers|2019安卓手机AI性能评测;谷歌T5预训练模型刷榜GLUE;自动驾驶论文综述
19 02019-10-27 -
AARRR模型拆解(二):Activation用户激活
7 02019-10-23 -
千值练《风之谷》竹谷隆之究极王虫可动模型
8 02019-10-21 -
万代《机动战士高达SEED》1/60完美强袭高达模型赏!
7 02019-10-15 -
除了电子游戏,我们还看到桌游模型,战锤模型公司确认参加CJ
23 02019-08-01 -
powerdesigner将概念模型和物理模型之间转换
17 02019-06-28 -
模型转代码:XGBoost等模型也能快速转纯C或Java代码
39 02019-06-23 -
迷你世界怎么修改生物模型 自定义生物模型玩法
36 02019-06-08 -
CSOL怎么取消掉人物模型统一
12 02019-04-17 -
求TERA模型查看器、、、有木有啊~有的传一个。谢谢...
13 02019-04-14 -
求魔兽世界WLK3.35版本模型修改器。注意:不是模型...
15 02019-04-13 -
DOTA2人物模型出问题了
4 02019-04-13 -
自走棋公布角色模型第6弹 实机画面曝光
9 02019-04-10 -
《自走棋》手游公布角色模型,实机画面曝光
9 02019-04-10 -
LOL最丑皮肤模型 巨魔上榜 图4原画和模型差的太多
8 02019-04-08 -
迷你世界怎么做家具模型
66 02019-03-29 -
《星际争霸2》模型制作工具游戏辅助下载
9 02019-03-28 -
《鬼泣5》各角色模型与背景资料
26 02019-03-12 -
《流浪地球》霸气拼装模型开售 1/3000宇宙空间站模型太震撼
4 02019-03-04 -
MENG模型将推出三款《流浪地球》各种载具拼装周边模型 10月上市
13 02019-03-04 -
模型般精致 蒸汽城堡机箱拆解/装机实测
4 02019-02-05 -
王者荣耀猪八戒模型修改后欢乐视频
6 02019-01-22 -
《迷你世界》模型工具台怎么制作
10 02019-01-05 -
《王者荣耀》孙尚香杀手不太冷模型曝光 杀手不太冷新模型欣赏
9 02019-01-04 -
《刀塔传奇》为例分析手游升级节奏模型
11 02019-01-02 -
wowhead统计2018最受欢迎 新护甲和新模型TOP10
2 02019-01-02 -
《王者荣耀》孙膑模型优化 孙膑优化模型欣赏
9 02018-12-27
234游戏网站地图
子站导航 |
|||