来源：刺猬公社

作者 | 石灿

2020年3月，抖音安全中心在后台审核内容时发现一条可疑的视频，视频涉及儿童，多次被拦截，一直没有被审核通过。

　　正常情况下，涉及儿童的一条正常视频不会被拦截，如果内容足够好，还会被机制推荐，获得更多流量曝光。

　　抖音安全团队经过分析，认定该条视频有猥亵儿童的嫌疑。经过溯源调查，上传该视频的账号来自四川遂宁。抖音平台随即向当地公安机关报案，告知他们知晓的相关信息。

　　遂宁市公安局高度重视这一报案线索，立即抽调精干警力组成专案组开展案件侦办工作。经过一番精密侦查，嫌疑人被锁定在遂宁市蓬溪县。3月29日，蓬溪县公安局网安大队将嫌疑人抓捕归案。

　　据嫌疑人交代，嫌疑人多次以“提供WIFI”等方式，诱惑同村男童到嫌疑人的住所进行猥亵，并拍摄淫秽视频，同步发送到多个视频社交平台。这次，嫌疑人马失前蹄，被抖音安全团队和当地公安部门联合惩治。

　　抖音安全中心背后是一套隐秘而强大的安全防御系统，时刻都在与抖音平台上的黑灰产业、色情恶势力做斗争。抖音安全中心负责人帅帅介绍说，抖音很早便成立了安全中心团队，设立产品、技术、运营、审核岗位，共计数千人与公司其他安全团队一同维系抖音的平台安全。

　　类似于假明星、儿童色情等内容均属违规，一旦触及安全防御系统的红线，它便会启动复杂且精密的预防惩戒机制，咬住猎物，攻防牵扯，甚至一击致命。在四个月里，抖音安全团队已经联合公安机关打击黑灰产团伙25个，刑事拘留87人。

　　黑产是整个行业和社会要面对的长久性难题。阿里巴巴、腾讯等超级平台公司均设立专门的部门机构在做这项工作。这个部门与商业化部门不同，它们通常内部自用，不直接产生经济效益；它们更像整个内容生态中的警卫员，起基础保障和安防保卫作用。

　　抖音安全中心亦如此。在一系列攻防操作背后，它要每天为6亿人兜底，抖音平台的内容安全、用户维护、商业保护和社会责任都聚焦在这套安全防御系统中。

　　抓住发布“看片加微，好看不贵”的人

　　一个抖音账号不断上传一些带有擦边色情的小姐姐视频到抖音内容审核系统，负责审核内容的同事发现这些视频后会心一笑——这个账号试图利用擦边色情视频从抖音导流至线下。

　　“我们比较有经验，很快把它们拦截。”帅帅说，对方上传的视频以女性内衣做背景，他们很快上线了内衣识别模型，审核并拦截该类型视频。

　　这个黑产团队知晓内容被拦截后，开始改变内容策略，背景改为一根黄瓜+两根手指，食指上写着微信号，中指写上写有文字：“看片加微，好看不贵”。

　　案件涉及到的图片

　　抖音安全团队马上针对这种新的性暗示元素训练识别模型，上线模型，打击该类型内容。黑产团伙换方案，用“花瓜+手指”。团队按图索骥，调查发现了“茄子”等外观类似的水果，主动上线香蕉类模型。

　　7月，抖音安全团队对拦截的数据进行样本分析，从评论、视频、导流渠道去向等维度做信息拆解。经过抽丝剥茧、寻踪觅源后，他们发现了黑产团队的一些违法违规线索。

　　抖音安全团队联合公安机关，锁定了湖南长沙一个色情犯罪团伙的窝点位置。但还不能实施抓捕，需要更多证据。

　　经过一番讨论，他们决定派人做实地勘察，寻找蛛丝马迹。

　　一位抖音反黑人员配合公安机关，在窝点位置进行了连续三天的摸排，以多种方式进入公司。潜伏人员在现场发现，他们就是通过抖音发布“黄瓜+文字”诱导性视频的团队，正是抖音安全团队要找的那个团队。

　　在获取他们违法违规的犯罪事实后，公安机关实施了抓捕，现场抓获嫌疑人11名，手机设备2000多个。这些人都被认定为“帮助信息网络犯罪活动罪”扣押。

　　抖音安全中心总监周冉说，通过公安机关对嫌疑人的审讯了解到，该团伙在营业期间，每天都通过接码平台注册新的抖音帐号，但并不是每个帐号都能使用，大部分账号都被抖音拦截封禁了，他们帐号使用率大概的为20%，也就是100个帐号能使用1~2个。这证明线上风控拦截已经发挥了很大的效力。

　　周冉还透露，根据犯罪嫌疑人交代，这只是他们这一个窝点，过去两个月，他们被抖音封禁的帐号就高达5000多个。

　　这类黑产团队通常配备先进的技术设备提升业务效率。

　　一个案例显示，一个黑产团队的人使用群控软件发送导流信息，效率是真人的100倍。如果该黑产团队通过真人方式发送，不断在视频、社交媒体上发送垃圾评论进行导流。

　　一个人一天工作八小时，发送的垃圾评论大概一万条，但是运用技术手段的黑产团队通过群控软件进行操作，可以控制上百台乃至几百台设备发送垃圾评论，不用休息，24小时不停运行，这样每天发送的垃圾信息可以轻松突破百万级。

　　“我个人看来，线下打击是提高作恶成本的最优实践，这些犯罪团伙有他们自己的沟通圈子，通过对这些作恶人的惩戒，我们可以对整个色情导流的黑灰产行业起到震慑作用。”周冉说。

　　自2020年1月份以来，抖音安全中心共封禁色情导流和色情招嫖帐号超过100万，仅9月份期间就封禁305248个帐号。

　　据刺猬公社（ID：ciweigongshe）调查发现，这并非只是抖音才会遇到的问题，而是整个内容行业都时刻面对黑产产业链带来的困扰。

　　中国通信院发布的《移动数字金融与电子商务反欺诈白皮书》显示，黑产从业人数超过500万，每年涉及金额达到千亿级别。数字金融和电子商务是欺诈行为高发“重灾区”，是形形色色的黑产主要攻击的对象。

　　平台经济是一种新型的复杂经济现象。《互联网平台治理研究报告（2019年）》指出，特别是那些规模很“大”的超级大型平台企业，甚至已经成为具备准公共产品属性的基础设施。

　　抖音本身是一个超级短视频平台，核心功能是匹配双边或多边市场。正是其特殊的多边或多边市场结构，决定了平台具备市场参与者和组织者的多重身份，扮演了信息壁垒打破者与重构者的双重角色。

　　上述报告称，超大型平台企业崛起已经在推动经济社会的资源重组和权力重构，从治理的角度看，那些对市场“具化”程度越高、占据信息优势越多、公共产品属性越强的平台，应该受到更多的治理关注，并在平台治理中发挥更加重要的作用。

　　“我们的安全风控能力目前已经接入了上百个业务线中。”抖音安全风控中心的专家张曦盛介绍说，利用风控模型、风控策略，在平台上日均拦截违规行为超过10亿次。

　　直播大火，盯住假明星做专项打击

　　“假靳东”事件爆发之后，抖音一时间被推上风口浪尖。

　　帅帅介绍，实际上，抖音从4月份就已经开始针对仿冒名人做专项打击了。不过那时候，抖音团队看到的仿冒名人主要集中在热点名人身上，比如韩红、钟南山等。此时主要的问题是犯明星名誉形象，为此，抖音研发、上线明星人脸识别模型。模型上线之后，回扫查杀的违规假冒账号数量也比较少，最后封禁了不到800个账号。

　　7月开始，抖音安全中心从后台打击模型的数据上发现，在经过前期的打击之后，仿冒名人账号的数据不降反增。他们分析发现，主要是因为明星直播热潮的出现，以快速涨粉和直播带货变现为目的的电商黑产进来了。

　　这是黑产的一个特点，什么火黑产就跟什么，哪个平台平台流量大就盯上哪个平台，像候鸟一个样迁移。抖音安全团队2019年打击黑产时，他们主要做刷粉刷量，2020年已经盯上直播。

　　在明星人脸识别模型的基础上，抖音安全中心又基于黑产的特征，搭建了专门的审核机制、标准和流程，研发、上线了新的风控策略模型进行打击，效果很明显，两个月时间，封禁了超过34000个违规账号。

　　这种对抗一直在持续，黑灰产不遗余力地对抖音平台进行攻击。

　　10月份，“假靳东事件”爆发。

　　针对靳东事件，抖音安全团队制定应急方案，紧急上线用户搜索提示，提醒用户注意区分异常账号。两天时间对靳东相关账号进行速清，清查5000多个疑似靳东仿冒账号。截止10月底，完成下架话题143个，并处理了195万个问题存量视频。

　　在“假靳东”的背后，是黑灰产团队不断绕过平台策略进行攻击，也因此，当“靳东”、“王祖蓝”这样的昵称被专项打击行动拦截之后，开始出现“勒东”、“王阻蓝”一类账号。

　　9-10月，只是仿冒名人专项中，抖音封禁了超过56000个违规账号。

　　抖音安全中心专门设立安全风险巡查团队，对色情、低俗、虚假信息、不良导向及其他违法违规内容以及有作弊、欺诈行为的用户进行每日站内巡查和清理。

　　故事并没有结束，仿冒名人专项打击也没有结束，因为迎来了双十一购物节。在双十一背景下，明星直播带货场次增多，黑产团伙也借此冒充明星客服，进行诈骗。

　　据抖音安全团队介绍，黑灰产诈骗团伙作案的基本模式是，从上游购买抖音账号，在明星直播带货的过程中，将账号昵称改为“XX客服”“XX助理”类似，然后在直播间内寻找受害者，私信沟通，引流到微信等第三方平台实施退款类诈骗。

　　明星陈赫是抖音里知名的带货主播。一次，陈赫在直播间卖货过程中，抖音安全团队监测到有黑产团伙试图冒充明星陈赫客服账号在直播间进行诈骗。

　　此前，抖音安全团队上线了多个针对仿冒明星客服的模型策略，对相关黑灰产账号进行拦截、处理。黑产团伙发现这部分账号无法使用后，开始注册一些变种账号，比如“XX销后”等具有联想空间的账号昵称。

　　发现这种情况后，抖音安全中心实时更新模型策略进行对抗，在平台上与黑产团队对抗跟线下常见的扫黄打黑形式不一样。线下打击行动侧重“一次性打击”，把人抓了就完了，即便下次再次进行打击，黄赌毒、黑恶势力的行为特点变化不会太多。

　　但平台方与黑灰产团伙之间的对抗是长期持续的，黑产团队在网络另一端，很难寻踪踪迹，安全团队要实时制定拦截策略，甚至每时每刻都在研究对方下一步棋要怎么走，相互攻防。

　　这迫使安全团队要实时在线对抗黑产。

　　由于是实时对抗，期间还出现一个小插曲，他们曾在一起专项行动中，将陈赫本人的账号“误杀”，导致陈赫抖音的资料被重置。当时陈赫正在直播卖货，评论区有观众发言调侃：赫哥，你家账号都没了，你怎么还在这里直播？

　　正因为抖音安全团队对仿冒明星客服类黑灰产账号进行实时打击，尤其是在知名明星直播的过程中。这才有了对明星陈赫账号的误伤。事后，抖音安全团队对陈赫直播团队做了解释，也对系统做了优化。

　　安全团队的功能和作用在用常规使用抖音时难以被察觉到，在涉及平台的公序良俗、实时热点、内容品质格调等方面，他们是前线最敏锐的部队，也是最后一道防线。

　　1分钟内给60个视频点赞，正常人显然做不到

　　一条视频想要在抖音上展示出来，第一道关卡是机器审核系统。这里面有机器策略与模型。当视频播放量超过一定阈值后，会进入新的审核环节。

　　首先是初审，主要判断内容是否有违规风险，视频再次进入机器审核，根据策略和模型判断，进入人工初审环节。

　　对于超过一定播放量的内容会直接进入人工复审环节。帅帅透露，以此确保内容安全，不给用户带来负面影响。如果视频播放量继续增加，还有三审、四审环节，整个流程准确高效。

　　抖音平台做内容审核时有一个特色机制叫“背对背审核”。面对同一个视频，安全团队会安排两个审核员同时审查，如果结果一致，该视频会正常出现在抖音平台；如果不一样，该视频进入下一个环节，三、四个审核员同时进行再次审查、判断。

　　“每一个审核员都是不一样的个体，大家对审核标准的理解或多或少有差异。”帅帅说，为了防止风险遗漏，根据内容的重要性，他们会启动“背对背审核”机制。

　　内容审核与安全风控像一对双胞胎一样共生共处。抖音安全风控的发展也经历了很多过程和转变。

　　对抗初期，风控团队试用名单频控策略与黑产对抗。这份名单来自风控团队每次对抗后，对黑产的名单记录，以备下次再遇到时做应对。

　　而频控指频率防控，“一个人如果1分钟内给60个视频点赞，正常人显然是做不到的，在这个阶段我们对作弊者做了初步的限制。”张曦盛说。

　　第一阶段相对初级，靠人力资源顶上去，在第二阶段，风控团队制定决策引擎和工具平台，通过平台化工具帮助安全风控人员提高对抗效率。这一阶段也就实现了实施打击压制的效果。

　　与黑产对抗时，风控团队获取的信息往往不对称，黑产会从各个维度发起攻击，尝试绕过安全防线。单一维度的防御很容易被突破。

　　在第三阶段，风控团队运营一些技术构建起了一个立体的防御体系，全面识别风险。风控团队处于被动防御和主动出击的过渡阶段。

　　第四阶段时，风控团队展开安全运营与风控研究工作，主动了解对手是如何攻击抖音安全系统的，内部组建了相应的攻防团队，模拟黑产对业务的攻击，并反复研究黑产作恶路径。

　　在于黑产对抗过程中，风控团队研发了很多智能风控系统用于反欺诈、色情打击、谣言打击，如今构建了一个比较全面的防御体系，对各个环节的风险进行判断。

　　用户注册抖音账号时，会有系统识别它是不是批量机器注册，登陆环节检查是否有账号盗用的风险，在电商场景分析账号是否为羊毛党，社区环境中判断账号的头像和昵称有没有内容风险。

　　这背后是一套模型和策略识别体系做支撑，在抖音安全中心内部叫鲨鱼反欺诈系统。每一个账号注册请求都会有数据输入到该系统，系统根据注册信息打一个风险分数出来。

　　如果分数风险值较高被判断为机器人注册，该账号会被直接封禁；如果某账号有盗用风险，系统会向手机号码主人发一个验证信息，提醒号码持有人的风险存在。

　　抖音上的黑产团队早期以文本形式发送广告，在评论中添加导流信息，比如美女配料、添加微信号等等。风控团队使用文本模型和敏感词打击。

　　黑产团队逐步渗透到账号头像、简介等资料信息中，近期出现了一个新型的色情导流形式。黑产团队上传的视频画质正常，没有性感暴露的地方，但语音说了一些色情和淫秽内容。魔高一尺道高一丈，“我们又引入了一种新技术，通过语音转文字的技术进行识别打击。”

　　这是一项停不下来的工作。

　　在与黑产对抗过程中，张曦盛发现：“坏人总是相似的，而好人则各有各种各样的不同”，“这是因为灰黑产团伙在作恶的时候追求规模化效益，他们用许多设备自动化操作，很多时候避免不了相似性。”

　　张曦盛展示了五个抖音账号。这五个账号表面上看起来没什么问题，但实际上，五个账号在同一天注册，系统版本号都是安卓手机的某个版本，账号昵称数字连号，安装抖音、注册抖音账号的时间是同一天。

　　“正常用户很难有如此高的相似度。”张曦盛说，普通用户肯定会追求各种多样性，而这也是一个生态所追求的多元生态。