快手如何一步步积累人工智能？机器心采访了快手多个事业部的资深人士，希望将快手人工智能的全流程从0还原到1。
我在CVPR上看到的快手和我记忆中的不一样。
CVPR，全称IEEE计算机视觉与模式识别国际会议，是计算机视觉领域的三大顶级会议，与ICCV和ECCV并列。今年的CVPR于6月16日在美国加利福尼亚州长滩开幕，吸引了9，000多名与会者，284家赞助商和104家参展商。
这是快手第一次参加CVPR。在约40平方米的展区，快手展示了一个基于面部特征识别的演示，可以在海量视频库中找到与参与者长相相似的用户。这个有趣的演示很快引起了与会者的注意，人群挤在展位周围，一睹他们的“双胞胎”到底是什么样子。
什么
给我印象最深的是一位黑袖短发留胡子的大叔，因为搭配结果太相似，惹得围观者哄堂大笑。
这种新奇的经历让我对快手的人工智能产生了兴趣。我曾经刷过快手和“变黑”，也知道“记录世界纪录你”“老铁双击666”这些快手流行语，这个短视频APP给我的生活带来了很多乐趣。只是快手的人工智能似乎从未在桌面上被认真讨论过，至少与其他活跃在闪电灯下的中国科技公司相比——BAT、TMD，或商汤科技、旷视科技和依图。
想想看，快手应该比大多数中国科技公司更依赖人工智能。成立8年来现在都流行什么特效快手，快手日活跃用户超过2亿，公司业务涉及生产、审核、分发、消费，需要处理海量数据，以及快手自身业务的特点，没有机器学习的支持，很难走到今天。
快手如何一步步积累人工智能？带着这样的问题，我采访了快手多个业务部门的资深人士，希望将快手人工智能的全流程从0还原到1。
第一个深度学习团队
2015年12月
，彭博社发表了一篇题为“为什么2015年是AI突破之年”的文章。
今年，人工智能遍地开花结果。谷歌开源了其机器学习平台TensorFlow，成为全球最大的机器学习平台;此前看涨前景不佳的亚马逊智能音箱Echo，已经占据了整个音箱市场销量的25%;十月份，一家名为AlphaGo的经纪人首次击败了职业围棋选手。谁也不会想到，这个特工会在不久的将来掀起一股巨大的科技浪潮。
从1月到12月，全球有超过300笔投资涉及AI领域，几乎每天都有AI创业公司获得融资的消息;人工智能也正受到中国资本的追逐。德勤报告显示，2015年，中国智能化总投资达到450.7亿元，同比增长306%。
在此背景下，快手在2015年底迈出了深度学习的第一步。创始人兼CEO苏华找到李岩，希望他能组建一个深度学习部门（DL组），用算法打击盗版和非法内容。当时快手已经拥有超过1亿的Android和iOS用户，分布在北京、上海、广州等一二线城市，以及许多三四线城市。
苏华
确保内容安全性和原创性是几乎所有视频应用程序的必要条件。太多的违规内容会挤压内容生产者的流量，进而导致整个平台瘫痪。也就是说，这关系到快手生不死存亡的底线。苏
华委托的李岩，毕业于中科院计算技术研究所，是快手的老员工，工作号75人，早期在视频安防方面取得了可观的成绩。2015年11月，李岩组建了不到十人的团队，旨在删除二级内的非法内容，包括色情、暴力等;以及识别非原创的盗版视频内容。
为了招人，李岩尝试了各种方法，甚至在知乎里寻找人才。当时，一些研发人员并不认识快手，一些工程师前来面试只是因为快手离家很近，但面试结束后，他们被快手的所作所为所吸引，于是毅然选择了加入快手。在
技术积累的过程中，快手产生了更多的视频内容理解需求：视频里的人在说什么？现场在哪里？你想说什么？深度学习部门不再局限于解决视频安全或版权问题，而是希望帮助快手“老铁”更快地找到自己喜欢的内容。
当时深度学习部门只有图像和音频两个单模态内容理解团队，但出身视频理解背景的李岩坚信，多模态内容理解对于快手这样的短视频公司来说极为重要。在2018年的一次公开演讲中，他举了一个例子，“在一个男人表演口技的视频中，如果关闭声音，根据图片信息，我们不知道他在做什么，我们可能会觉得他在唱歌或唱歌。这表明，如果只是视觉，你可能无法获得真实的信息。
“视频是视觉、听觉、文本多种模态的综合信息形式，用户行为也是另一种模态数据，所以视频本身就是一个多模态问题，加上用户行为是一个更复杂的多模态问题。”因此，多模态研究对快手来说是一个非常重要的课题。
2016年，深度学习部门开始涉足语音、文字、音乐等各种媒体形式。李决定将团队的名称从深度学习组改为多媒体理解组（MMU）。
今年当时被称为短视频元年，资本涌入这个风口，65%的市场投资于短视频内容创作者，76%的短视频内容投资于垂直细分市场。
随后的2017年初，完成3.5亿美元融资的快手率先从短视频领域的“战斗”中脱颖而出，分别拥有总用户数和4000万日活跃用户。到年底，这两组数据分别增长到7亿和1亿，平均每天上传的视频数量超过1000万。快手也从200多家发展到800多家。
也正是从这个时候开始，MMU集团迅速扩张，每个单模组都引进了行业顶尖人才做算法优化和工程落地。起初，不同模式的业务组单独开发，到2018年，每个组的算法开始收敛。
多模态理解的挑战
作为快手的第一个深度学习团队，MMU团队面临着巨大的挑战。
过去几年，单模态内容理解能力在学术界还不够成熟，学术界对视频理解的研究需求不强，导致缺乏一套视频理解的解决方案。在业内，即使是全球最大的视频平台YouTube，也可以在某种程度上绕过视频理解，因为它的视频包含丰富的文本信息——标题、描述、标签。
但快手不同。快手作为移动互联网时代兴起的短视频应用，为用户提供了轻巧新颖的视频拍摄体验，用户喜欢拍摄后上传，不爱文字编辑，描述视频的文字信息严重缺失。快手还需要看懂内容才能做推荐算法，视频理解成了绕不开的障碍。李岩表示，快手是一家早期的公司，对视频内容分析的需求很大。
复杂的应用场景和多样化的用户分布给MMU带来了另一个维度的挑战。负责视频理解方向的徐超是MMU组的老手，他举了个机器心的例子：快手上风景的视频内容很多，一些美丽励志的图片就像“仙境”，所以快手的标签需要把这样的风景描述为“仙境”;但在学术数据集中，你不会看到这个“奇怪”的标签。
“这不再是特定的分类算法的问题，而是你如何定义一个合理的标签系统。
语音组最直观的问题是方言口音。民联之声集团的岳朗表示，快手用户的地理分布结构与中国移动互联网的人口分布结构基本一致：一线城市人口仅占7%左右，另外93%生活在非一线城市，尤其是很多小镇青年，或者三四线以下人群， 他们都带着浓重的口音说话，这就需要快手收集特定方言区域的语音和文字数据。
音乐集团面临的挑战之一是对用户唱歌进行评分。传统的歌唱分数是将用户演唱的歌曲与原始音频进行比较，匹配越高，分数越高。但在快手，很多用户都是偏远地区的少数民族，他们唱的民歌在快手的搜索库中是找不到的。
“我们现在要求的不是1+1等于2的问题，而是当你计算1+1时，你会发现你甚至没有纸和笔，”赵小兰说。
经过两年的探索，MMU集团逐步形成了基于多模式技术的两大业务系统：信息分发和人机交互。前者利用多模态实现对视频内容的准确理解，后者利用多模态帮助人们更好地记录生活。
为了更好地理解这两个方向，我们举个例子：冷启动项目属于内容分发，这意味着当用户第一次打开快手应用时，算法除了内容和视频中的人物之外，无法获取任何行为数据，因为用户打开快手页面是为了“发现”而不是“关注”， 所以快手必须在冷启动阶段提供个性化的内容推荐。MMU小组参与了2018年优化冷启动的项目。
在人机交互方面，视频配乐是典型的多模态理解场景。MMU音乐组的水汉告诉机器心，快手首先需要理解视频，包括人脸识别、年龄性别、动作时间和地点场景识别，然后对音乐的风格情感、节奏、主题、适用性等进行场景理解，这涉及到多个部门的协作，包括视频理解、视频理解、 人脸识别、自然语言处理、视频检索、音乐检索，最后是推荐算法。
这
算法优化带来的红利是显著的。2018年第二季度，快手App月活跃用户数达到2.4亿，日活跃用户数突破1亿。同年4月，腾讯为快手追加融资4亿美元，使快手估值接近200亿美元。
但是，多模式研究给MMU团队带来的挑战并没有减少。李岩表示，多模态研究还存在三大难点：单模态的语义差距会因为样本空间变大，多模态融合后的语义差距会进一步增大;对不同模式之间的数据进行全面建模会造成数据异构差距;多模态数据集难以构建，并且存在数据缺失的问题。
MMU的下一个目标是从低级感知过渡到高层次语义理解，这也是李岩认为的“目前行业最难的问题”。MMU目前正在开发一个视频分级系统，为了更好地保护使用快手的未成年人，这就需要算法对视频内容有更深入的理解：视频表达什么样的概念？流露出什么样的情绪？
“我认为视频内容理解是引领未来现实生活中AI大规模爆发的关键技术，快手在这方面既有战场，也有数据。我们MMU应该是未来AI行业的关键力量，“李岩说。
快手的《谷歌X》在
MMU发展的同时，快手也在大力发展其他部门，如负责音视频传输和质量保证的音视频技术团队，负责推荐的社会科学团队。与MMU一样，这些部门以业务为导向，专注于产品开发和技术实施。
随着快手在视频理解技术在推荐和内容安全方面的应用日趋成熟，苏华希望建立一个专注于前沿算法的实验室，在用户的内容制作中加入好莱坞等特效内容，让用户通过人工智能获得新颖的体验。
所以，在
2016年，苏华找到了清华大学的老同学、美国斯坦福大学计算机科学博士郑文。在斯坦福大学期间，文正的研究重点是计算机图形学和电影特效，他的导师获得了两项奥斯卡科学技术奖。毕业后，文正继续在美国从事机器学习和计算机视觉相关研究。
郑文
2016年9月，在苏华的催促下，郑文回国加入快手，成立了Y-Lab实验室。 郑文当时对国内媒体说，“我觉得他想做的事情很有意思，很符合我的经历，我也对自己感兴趣，所以我回来了。苏华不设具体的考核标准，只要好玩就行。
孟松是Y-Lab的早期员工，现在是增强现实（AR）技术的负责人，他回忆起与苏华对MachineHeart的对话。他表示，苏华希望成立一个类似Google X的技术部门，从事AI和AR领域的前沿技术研究和探索，并布局未来。
谷歌
X是谷歌最神秘的部门，汇集了开发谷歌第一个神经网络系统谷歌眼镜和自动驾驶汽车（后来独立孵化的Waymo）的世界顶级专家。据国内媒体报道，Y-Lab中的Y代表Young，Y是X的下一个字母，所以也代表超越X。
“我们现在在5G和图像3D捕获技术研究方面的初衷是在AI和AR方面处于世界领先地位，”Mengsong说。
在接下来的两年里，Y-Lab开发了各种有趣新颖的演示，涵盖AR特效、人脸关键点、手势识别、语义分割、人体关键点检测等领域。
去年，Y-Lab的“AR面部移植特效”受到网友好评，允许用户选择相册中的照片，并将相册中的人脸转移到AR 3D模型上，生成具有人脸的3D虚拟角色。同样在
去年上线的魔幻表情符号“快手时光机”，可以预测用户60年后会是什么样子，并随着这一年展现出整个变化过程，引发了不少网友的情感共鸣。这款魔术表的背后，其实涵盖了快手的动态抓脸、基于时间的人脸变形和化妆、头发分割和染色、动态控制衰老等技术。
快手时光机
为了让AI算法在不同的移动设备上运行，Y-Lab自主研发了深度学习推理引擎YCNN。负责人脸关键点研发的秀虎告诉机器心，YCNN可以在手机上进行低级神经网络操作（比如卷积操作）;建立一组定量流程，在不损失准确性的情况下加快移动代码的推理速度。团队在制作算法时，也会根据YCNN的特点，有意识地设计匹配的网络结构。
然而，Y-Lab在许多企业实验室中存在一个共同的问题：优秀的尖端算法在转化为产品价值方面很弱。由于Y-Lab本身定位为前沿探索，预计业务产出不会很高。然而，作为企业实验室，Y-Lab不能像学术机构那样做“阳春白雪”研究，需要为业务做出贡献。
2018年，Y-Lab为魔术表达部门设计了多项新的底层算法，如3D照片、天空图像、人脸按键等。但由于Y-Lab和下游特效团队分属两个部门，整个魔术表情包流程之间的沟通问题并不如预期，用户数据也不理想。
究其原因，负责语义分割的晨星透露，该算法仍涉及多个部门，才能真正落在产品上。“我们（Y-Lab）只关注算法的层面，算法完成后如何实现，这不是一个部门能完成的。“这样就出现了一个问题，算法做出来之后现在都流行什么特效快手，落地后效果不错，如果不在一个部门，中间的沟通成本会比较高，算法的最终效果是不可控的。”
去年年底，部门为解决这个问题做了调整，将魔术表达部门的特效团队合并到Y-Lab，同时招募了几位计算机视觉相关的算法大师，增加了产品经理，增加了产品设计和工程能力。
为了增加团队内部的沟通，Y-Lab今年新增了一个名为“胜利会议”的部门，除了每周一开会，员工们聚在一起分享一周的进展和成果，大家可以开会吃点心和欢笑。
据几位老员工介绍，部门调整后，团队的沟通变得更加顺畅。合并后的第一个项目是做染发特效，晨星团队用深度学习做头发区域的语义分割算法，特效团队根据算法做染发特效，上线后用户数据表现更好，还获得了公司内部的“闪电奖”。
染发效果
作为此次重组的标志，快手正式将Y-Lab更名为Y-Tech。从实验室到技术，幕后是整个实验室定位的改变。
组织结构对团队产生了一些影响。晨星表示，过去团队的主要关注点主要是研发，但现在也要关注产品落地的业务，负责更多的事情。但是，他不相信整个部门的基因都发生了变化。“我们仍在跟踪尖端技术，并做一些非常愿意和有潜力的事情。
为了持续强化整个实验室的前沿探索能力，快手在这次重组中为Y-Tech增加了一支新力量——来自西雅图和硅谷的海外实验室。
算法背后的包容性价值
刘骥和王花燕在去年下半年加盟快手，说到为什么加盟快手，两人都异口同声地提到了价值观。
2018年初，刘霁在北京国贸大酒店的宴会厅与苏华相识，两人均入选当年麻省理工科技评论中国科技青年英雄榜。刘霁曾任腾讯AI实验室专家研究员、罗切斯特大学助理教授，因“让机器学习算法更精准高效，探索人工智能潜能边界”获得发明人称号;苏华因在快手取得巨大成功而获得“企业家”称号。
两人以前从未见过面，但在与苏华交流后，刘骥对加入快手产生了兴趣。“我们（指他和苏华）做事时更合乎逻辑。中国很多企业还是习惯于抄袭粘贴，但我觉得他从问题本身和原则做事，和我的方法论是一致的。
去年11月，刘霁加入快手，担任西雅图人工智能实验室和FeDA商业化实验室负责人。
王华岩拥有斯坦福大学博士学位，师从Coursera创始人兼斯坦福大学教授Daphne Koller。毕业后，他加入了人工智能独角兽Vicarious Valley的创始团队，在那里呆了四年。
王华燕在2019年CVPR快手展台
为了招募王花岩，郑文专程飞到硅谷与他交流。王华岩表示，他能感觉到快手提升AI算法效率的需求非常迫切。“快手想在手机上使用最先进的算法，这个需求和我的研究兴趣是一样的，比如如何让人工智能算法和人类一样高效。”去年7月，王健林加入快手，担任硅谷实验室负责人。
虽然在海外，但两个实验室的研究方向和定位不同：硅谷实验室的重点是数据效率和计算效率，并且针对Y-Tech的产品业务。据王华岩介绍，硅谷实验室即将推出一个项目，可以在Android上的模型版中达到与iOS相同的效果，“比如，即使是快手老铁的千元机器也能呈现出和苹果手机一样的美容效果。
Lady Chart AI 实验室目前专注于模型压缩的尖端算法。今年，由刘霁教授领导的快手研究团队与罗切斯特大学合作发表了两篇基于能耗建模的模型压缩论文，分别发表在ICLR 2019和CVPR 2019上。这两种方法都是基于硬件的个性化模型压缩——这样人工智能也能惠及大量的低端用户，第一篇 ICLR 2019 论文主要通过权重级细粒度修剪获得稀疏性，第二篇 CVPR 2019 论文主要通过通道级粗粒度修剪获得稀疏性。
与学术界探索未知可能性不同，刘霁的研究围绕着快手平等包容的价值观展开，即每个人都有平等记录的权利。“我们与当今许多学术论文的最大区别在于，它们实际上是离线完成的，而不管实际硬件的限制如何。我们现在所做的一切都必须在手机上，数据是实时的。而且，很多快手用户的手机都是千元机器，我们的很多AI功能都需要在这些低端配置上运行，这对我们的技术提出了更高的要求，“刘霁说。
刘骥教授负责的另一个部门是FeDA智能决策实验室。这是与商业化团队在西雅图和北京建立的联合实验室，主要专注于利用前沿搜索技术高效准确地连接用户价值和商业价值。这也是快手在2018年10月成立，当时快手正式宣布开启“商业化元年”。换一种说法，Fe指的是快手的特殊名词——“朋友经济”，这也是化学元素符号中铁原子的缩写。
据刘霁介绍，目前整个西雅图实验室大约有十个人，但“一个人支持一个项目”。近日，FeDA重新设计了广告推荐的基础计算设施，从主流CPU处理方式改为GPU方案，单机效率提升600倍以上;将强化学习应用于广告竞价后，收入增加了 5 个百分点。
刘霁在2019年CVPR快手展台
“极端”的含义
在2019年快手年会上，苏华和另一位创始人程一笑说了20次“追求极致”。苏华在年会上强调，“希望每个同学都能有追求极致的精神”，“不追求极致就赢不了”。
如果想起快手最近曝光的一封内部信，就不难看出，一向稳重佛气的苏华，为何在年会上如此情绪化。
6月18日，快手两位创始人的内部信被曝光，罕见而激烈地警告公司员工，快手将“改变组织，优化结构，在2020年春节前实现3亿DAU的目标”。
在这封内部信件发布之前，快手还在快速增长。2018年全年，快手日活跃量增长6000万，DAU达到1.6亿。不久前，快手副总裁王强宣布，快手日活跃用户超过2亿。自八年前成立以来，快手拥有8000多名员工。但快手的竞争对手也在发挥作用。截至2019年1月初，抖音日活跃度已超快手，突破2.5亿，月活跃度突破5亿。
创始人在一封内部信中说，“在看起来不错的数字背后，我们看到了一个深刻的隐患：我们不再是跑得最快的团队，随着我们的成长，我们的肌肉开始变得无力，我们的反应变得迟钝，我们与用户的联系感被削弱。
“是的，我们对现状、松散的组织、佛教的态度非常不满，'慢公司'正在成为我们的标签。这使我们难以入睡。从去年年底开始，快手管理层从我们两个人开始，进行了深刻的反省和反思。据快手
内部员工告诉心机，快手各部门已经开始进入战斗状态，很多员工周六自发来到公司加班，甚至有些部门都出现了“996”状态，这在过去快手是比较少见的。
技术部门因为3亿DAU的“大KPI”没有做出明显的调整，能做的就是像苏桦说的那样“追求极致”。
Y-Tech的孟松举例说，“我们同时在研究很多前沿的新技术，项目要求至少要比竞品提前三个月到半年，这些技术还没有成熟的解决方案可供参考，甚至行业内很少有人在尝试，但大家都非常愿意和有动力朝着这些方向努力。例如，在混合现实领域，快手正在探索适合快手用户的产品形态，致力于在用户的手机平台上实现先进技术，用算法为用户带来新颖的体验。这是一个具有挑战性的项目，但即便如此，快手仍然要走这条路。快手
圣地亚哥实验室负责人王祥林告诉《机器之心》，他的音视频团队目前的一些工作可能不为大多数内部员工所知：快手正在参与新一代视频压缩标准的开发。快手与世界各地的大公司、大学和研究机构一起，努力将自主研发的技术融入国际标准，掌握下一代视频压缩标准的话语权。
追求极端可能听起来像是一个抽象的概念，但对快手来说却具有战略意义。
在快手中，用户行为随时随地影响内容推荐，如点击视频、添加心形、评论、观看视频长度等，用户下拉页面时内容实时变化。快手的生产者比例非常高，这就要求快手加工的UGC是竞争产品的几倍。快手是一家强调算法的技术驱动型公司。即使是百分之一的算法提升也可以转化为巨大的商业价值。迈向极致的一小步，对快手来说，就是一大步。
结论：人工智能提高幸福感
这些快手大部分
受访的老兵都是快手平台的忠实“老铁杆”。
有了孩子，晨星已经拍了两三百个自己孩子的视频。他说自己属于极简主义学派，不会用魔术表情之类的，但是老婆喜欢用，比如用魔术表情把孩子弄得丑，然后做视频，特别好玩。
“因为我们了解算法逻辑，所以我们认为这个东西可能没有那么神奇;然后他们认为这非常神奇，他们喜欢拍摄它。看到家里人都在玩这块魔术表，都非常惊讶，我其实觉得挺有成就感的。
晁旭说，自己是极其沉重的快手老铁，“我平时刷快手一个小时左右，这还不包括看后台数据的时间。与一般的老铁不同，晁旭刷快手会看他不认识的东西。“例如，我没有添加这个标签，也没有准确地识别它。
由于在硅谷的岁月，王花燕给快手增添了一丝怀旧。“我看过一个农村场景的视频。老太太走在路上，这时一个邻居走过来，要求带老太太去她家吃饭。在中国农村，你知道人情味很浓，然后老太太舍不愿意走，然后人要拉，他们两个就像打架一样，在路上那样拉。
“如果是在中国农村，有这种经历的人认为这是一个非常普遍的场景，但它没有出现在任何官方记录中。如果没有快手这样的平台，这种中国民俗文化可能再过50年就没有了。
在去年的图灵大会上，苏华曾说：“人工智能应该用什么样的问题来解决，这不是数学问题，而是社会和人类应该解决什么问题，我思考了很久才有了答案。在多年的实践领域，我逐渐明白，无论我们制造什么样的技术，它最终都应该用于提高人类的幸福感，或者实现幸福感。
这就是这种幸福的意义。
（注：超旭、水汉、月浪、秀湖、晨星、梦松为文中化名）。
市北·GMIS 2019全球数据智能峰会于7月19-20日在上海市静安区举行。本次峰会以“数据智能”为主题，聚焦最前沿的研究方向，更加关注数据智能经济的发展及其产业生态，为技术从研究到落地提供参考。
峰会设置了主题演讲，
主题演讲、AI艺术展、“AI00”数据智能榜单发布、闭门晚宴等环节，已确认嘉宾如下：
