小红书CTO郄小虎：云计算与大数据打通社区与电商

从社区到平台，从0到超2000万注册用户，小红书与成长背后的技术架构如何变迁？日前，小红书CTO郄小虎（Tiger）接受《腾讯云会客厅》及CSDN记者专访，介绍小红书在转型发展中遇到的技术挑战，和如何通过云计算来实现系统的扩容、安全，以及基于大数据和机器学习的个性化推荐应用。

小红书技术架构变迁及挑战

郄小虎介绍，小红技术架构的发展经历了三个阶段：

1. 2013年创立初期，小红书是一个纯社区平台，主要的应用场景是用户分享他们的购物体验，这个阶段系统主要面临的挑战是从产品快速迭代，技术选型上更加偏重于灵活性和高效性，对事务性和一致性的要求不高。

2. 引入了电商业务之后，事务性和一致性需求的解决成为迫在眉睫的问题。这个阶段的主要工作是在现有技术架构的基础上实现事务性、一致性的需求。这也是小红书后台技术经历的最重大的一次变化。

3. 社区电商业务的飞速发展，带来了系统性能的瓶颈。这个阶段，小红书开始从存储层到逻辑层到服务层去对系统进行扩容，从一开始的集中式架构，慢慢地改造成服务化、模块化的分布式架构，整个技术体系能够变得更加独立、灵活，而且易于扩容。

系统可能面临的最大的挑战来自于规模和经验：

1. 业务逻辑的完善。去年的“6.6周年庆”，在流量上并不是特别大的问题，但那是小红书第一次做大规模促销，支持电商业务的功能上有很多不到位的地方，比如秒杀系统最开始的在逻辑上是存在缺陷的。

2. 高并发流量。到去年红五（红色星期五）的时候，小红书在业务逻辑的层面已经积累了相当多的经验，最大的考验转移到流量上。小红书历史上的最高峰值是在红五时候出现的，已经真正挑战到了系统的一些极限。

 云计算实践

应对互联网业务挑战的关键，是架构的云化，小红书也选择了云计算服务。

选择云服务的考量

小红书在选择云计算技术时主要从以下三个层面来考量：

1. 硬件资源。云平台作为一个基础的计算和存储的平台，当小红书需要更多的计算能力或者更多的存储容量时，这个平台能够很快地满足扩容的需求。

2. 基础软件。业务系统的实现需要技术团队搭建很多的功能模块，可以在云基础架构平台上自己搭建，也可以去选用平台提供的一些现成服务，如数据库服务、Redis缓存、数据计算系统。

3. 增值服务，包括了图象处理、CDN和安全相关的防DDoS攻击、防刷单、防恶意用户等等。

 腾讯云的应用

基于上述理念，小红书尝试了不同的云服务组合，目前较为核心的业务系统部署在腾讯云上，硬件基础架构和增值服务依赖于腾讯云。基于支撑腾讯社交业务的技术打造的腾讯云，对满足小红书这两方面的需求没有压力；第二部分则是一个混合的模式——比如，数据库和Spark是自己搭建的。

存储系统

小红书现在采用的数据库技术是NoSQL，是初期打造社区应用时候做出的选择，因为NoSQL更适合大规模、高并发的社区场景，同时社区应用对事务性、数据一致性的要求没有那么强，NoSQL完全可以满足，而如果采用传统关系统数据库，开发成本也会变得比较高。

安全

小红书遇到的攻击，最常见的是简单粗暴的流量攻击，目的就是为了把网络带宽耗尽、阻塞，让其他有正常需求的用户没有办法访问小红书的服务，大型企业一般要投入很大的人力物力，才能把这类攻击化解掉。郄小虎表示，对于成长型公司，需要云服务平台能够在这些流量到达服务之前尽早地把它们过滤掉。这方面，腾讯云提供的大禹系统可以满足小红书的需求。他认为，大禹系统是一个立体的系统，在CDN层面上把攻击流量化解，小红书发现的一些比较执着的攻击也能被挡住。

实战心得

迁移到腾讯云使得小红书业务的开发和上线速度得到提升。尤其是对于突发性的一些需求，可以提高上线的速度。之如直播可以减少很多的开发工作量，前可能需要一个月的时间，现在一周就可以搞定了。

和腾讯云合作的另一个好处，是可以借助腾讯云技术团队共同进步。去年第二次大促销的时候，小红书系统面临很大的流量压力，已经做了数据分片，并且做了封测，对想得到的购物入口做了充分的准备，但开场时候系统仍然卡了一下，后来小红书和腾讯团队一起排查，才发现是出现了大量用户刷心愿单的情况（用户提前把物品加入到心愿单里），然后很快地扩容。

命脉：基于大数据的个性化推荐

无论是社区还是电商，个性化的分析和推荐，都是很重要的一个维度，并且要借助大数据、机器学习来实现。郗小虎认为这些技术小红书的生命线。但与纯粹的电商平台不同，小红书首先是一个信息发现和分享的平台，所以不仅要分析用户购物行为，还要处理数量远超商品数量的社区信息。

社区的激励机制，就是让优质的笔记得到更多的曝光、更多的用户点赞和收藏，并且是通过技术手段而非人工力量来实现。当用户发了一篇帖子之后，系统会对这篇笔记进行多个维度的分析。

1. 根据历史数据建立的模型所提取出一些特征，来判断一篇笔记的质量。

2. 根据笔记的内容推荐出一些标签，简化用户的操作的复杂度，同时避免UGC信息非常零乱的情况，让UGC的信息更加结构化，能够和后台系统对齐。

推荐背后的用户画像，依赖的是用户的基本属性和用户行为，郄小虎认为用户画像技术本身已经比较成熟，真正的难点在于如何去应用这个画像，怎么判断用户处在某个特定的场景下的意愿——即便对用户有360度的全方位了解，如何从丰富的信息中提取出对这个时间点、这个场景有价值的信息，仍然是一个难点。小红书会根据平台上大量的笔记信息和用户浏览的行为，从中提炼出哪一些信息对于于某个特定场景下的用户来说是有价值的，从而实现和传统的电商购物明显差异化的体验。

郄小虎介绍了小红书上个性化推荐的三重境界：

1. 最基础的基于人口统计学的推荐，根据性别、年龄等基础信息，把一些和用户不相关的、不感兴趣的信息过滤掉，让用户能够看到更相关的推荐信息。例如男士可能不太会对这个化妆品感兴趣，推荐运动、健身、旅行等分类源的一些信息更加合适。

2. 基于协同过滤的推荐。根据多维度的用户画像，把相似用户喜欢/已消费的一些信息作为推荐的来源。

3. （编辑：应用网_丽江站长网）

   【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!