微信号:gh_287053a877e6

介绍:QQ音乐开发团队公众帐号.关注技术分享与交流

k歌自助安全系统

2016-08-05 16:15 derrydeng

一、背景

社交化的全民K歌app,在快速发展的同时,也面临着严重的安全威胁,包括骚扰、广告、刷粉、色情、政治等内容,对产品的健康运营造成了严重的威胁。虽然有自动审核和打击的策略,但是面对多样化的安全问题,以及快速出现的各种变种内容,还是处于被动,防不胜防。另一方面,效果最好的人工审核,受限于人力资源,无法全部处理每天的海量内容。

例如,一些广告专门针对高等级用户、家族/土豪玩家,内容隐蔽,广告数量又不大,所以一方面是部门员工难以发现广告内容,不能及时消除影响;另一方面却又是这些广告内容无法及时被反馈上来。以前的处理流程是,这些被骚扰的高级玩家或者选择忍气吞声,或者反馈了很晚才触达,又需要我们人工确认后再进行处理,效率很低,耗费大量人力。


二、原理

针对人力资源不足,处理效率低的问题,我们考虑到,可以让一部分外团用户帮助我们来审核。

首先,外团用户活跃度/贡献度/忠诚度非常高,是非常优质的用户;外团用户又是恶意行为的重点关注对象,同时也是恶意行为的受害者,对这类行为很反感又很敏感,容易发现问题。所以,有时间有精力有人脉有经验有兴趣的部分外团用户,可以帮助我们做一些非敏感的工作,我们也逐步下放了一些非敏感的管理权限,这样既弥补了我们人力不足的困扰,又提升了产品的体验和运营能力。

由外团高信任用户组建安全处理专门团队,目的是速度快、触达广地处理恶意/非法内容。一方面,内部用户(部门员工)/可信任的外部用户举报问题内容/恶意帐号时,后台系统对这些举报自动处理,例如删除图片、删除作品、封号等。同时,对举报后自动处理的权限进行精细化管理,内部用户高授信,可处理所有内容,外团用户授予处理低危但高频的问题内容的权限。另一方面,对举报内容进行分析,对高等级用户举报的内容,多人举报的内容,优先人工审核或者自动处理。并且,对大v用户、高等级用户、白名单用户进行保护,防止被误举报打击。

我们的用户自助安全体系,可以根据举报用户的权限,对高授信用户的举报内容自动处理。外团用户/外部高授信用户如果发现问题内容/恶意用户,通过举报系统上报后,就会自动进行处理,从而大大提高了对问题内容/安全问题的打击力度和范围。

三、实现

业内旧有的举报处理方案:

1、举报内容全部需要人工审核,信息从反馈到最后处理的环节多流程慢。

2、发现安全问题,需要在PC上使用专门的管理平台进行处理,响应速度慢。

3、人力资源不足,人工审核无法充分覆盖;又没有把外部力量利用起来作为补充。

优化后的技术方案:

复用现有的举报通道,通过精细化的权限管理,对内部用户/高可信的外部用户的举报内容,自动进行处理,既加快了对问题内容的处理速度,又扩大了人力审核的范围和力度,而且还充分利用起来了外部力量作为项目组人力不足的补充。

1、权限管理平台,授予指定用户对指定业务的自动处理权限,以及可自动处理的配额次数。高可信的外部用户,刚开始时仅授予部分业务(即便误操作也影响不大)的自动处理权限和1~3次的配额;后续经过我们评估,如果该外部用户的举报真实有效,我们就酌情提升处理权限和增加处理配额。内部用户完全控制权,对于各个渠道反馈的问题内容,确认后就通过app即时处理。

2、举报内容管理平台,记录所有的举报信息和内容,方便运营同事查询、筛选和确认;同时,也可以对已确认的问题内容进行处理。

3、对大v用户、高等级用户、白名单用户,进行保护,避免因为误操作等原因造成影响。完全可信的用户,不允许自动处理;高可信的用户,需要有多人举报(授予自动处理权限的用户举报)才进行自动处理。

4、对举报内容自动分析、排序,辅助人工审核。对于被多人举报的内容,或者是被高等级用户举报的内容,又或者被举报的是刚申请的号码,优先在前排展示,提醒运营同事及时处理。同时,结合我们的用户行为分析系统,对被举报的帐号进行重点分析监控,提升了打击效果。


四、效果

系统上线后,之前需要复杂的沟通、信息拉取、处理流程,现在只需要在手机客户端上点击即可。外网紧急/突发安全问题的平均处理时间,由之前的20分钟,降低到现在的秒级响应。之前每天平均有15条漏过的安全问题反馈,现在降低到每周只有几条。

五、小结

全民K歌,是一个重度社交类app,日活跃用户超过3500万,安全问题非常复杂:有文字、图片、音频、视频等各类ugc内容,有广告、诈骗、色情、政治等各种问题,有刷粉、刷播放、刷评论等恶意行为。但是我们的开发、运营人力却极为不足。另一方面,对于线上安全问题,如果在非工作时间,只能VPN登录管理平台页面进行处理,效率低、响应慢。

针对以上情况,我们研发了一套“自助安全系统”的解决方案,开发量小,适配性强,客户端无需任何改动,直接复用已有的“举报”通道,在后台对高授信用户的举报进行自动处理,发现安全问题即可实时在app上进行处理。同时,精细化管理权限,把低危高频的安全问题处理权限下放给外团成员,扩大人工审核的范围。这套系统上线后,外网基本无安全问题。


 
QQ音乐技术团队 更多文章 ContentProvider简介 Android App国际化 轻听变色之谜 WebAssembly Android动态布局入门及NinePatchChunk解密
猜您喜欢 错过就要多花300元,MDCC 2016移动开发者大会5折抢票倒计时! Uber底层存储从Postgres换到MySQL之后 Nebula倒了,OpenStack还有戏吗? 架构师之路:秒杀系统架构优化思路最佳实践 The Swift Programming Language--语言附注--类型