微信号:ArchSummit

介绍:ArchSummit全球架构师峰会是InfoQ中国团队推出的面向高端技术管理者、架构师的技术大会.2018年深圳站大会演讲时间为7月6-7日,深度培训时间为:7月8-9日,敬请关注.

知乎 Feed 流架构演进

2018-05-01 10:46 姚钢强
背景:知乎首页信息流根据业务类型(实时性,资源节省,算法排序)选择了 PULL 类型的架构,而且系统中存在大量过滤,会产生反复到底层 feed source 拉取的问题。响应时间受到了比较大的影响达到了 1.6s。
  方案选型

尽量使计算接近存储,节省网络和序列化开销。使用最新的 Redis module 技术,定义针对首页业务逻辑的 Redis 接口。

  方案介绍

将一部分计算逻辑迁移到 Redis 内部,使数据(使用 protobuf 压缩)和计算完全在内存中进行,减少无效网络传输,大大提高计算效率,降低了响应时间。而且 Redis 内部的计算逻辑改变时,不需要重新编译 Redis,只需要动态记载计算逻辑部分即可。

  实施后效果说明

响应时间 p95 1.6s - 700ms,节省内存 1T,CPU 500 个,减少首页依赖服务 1/2 的 qps。

  大纲


  1. 知乎 feed 流业务应用场景和需求介绍;

  2. Redis module (计算接近存储)的技术方案介绍:

    1. 为什么选择 Redis module 技术(计算接近存储),介绍优势和劣势;

    2. Redis 内部的存储 schema 设计;

    3. Redis module 的基本原理和实践经验。

  3. 未来的规划与挑战:

    1. Redis 单线程,CPU 过高问题的解决;

    2. Redis module 部署问题的稳定性。

  视频

本视频来自知乎首页组 & 技术负责人姚钢强在 ArchSummit 的分享 。公众号后台回复关键词「知乎」下载完整演讲 PPT。

  节选 PPT

公众号后台回复关键词「知乎」下载完整PPT。
  作者介绍

姚钢强,知乎首页组 & 技术负责人

2013 年加入知乎,担任首页 feed 流技术负责人。专注于改进 feed 流的稳定性和性能,有丰富的编码和工程攻坚经验。在负责 feed 流项目期间,通过构架优化使响应时间 p95 从 1.6s 降低到 700ms,通过开发规范使稳定性由 99.9% 提升到 99.99%。


ArchSummit 2018 深圳站
  日程出炉 & 8 折报名仅剩 5 天!

ArchSummit 全球架构师峰会技术专家邀约已接近尾声,部分演讲嘉宾如下:

  • Apple:机器学习专家

  • Google:推荐系统负责人

  • Facebook : Tech Lead

  • Pinterest:大数据及机器学习平台负责人

  • Netflix:首席软件工程师

  • IBM:高级技术委员会成员

  • 手机 QQ:运维负责人

  • 微信:流量实验 X 平台负责人

  • 天猫:智慧门店架构师

  • 微博:算法总监

  • 余额宝:移动首席架构师

  • 微众银行:区块链首席架构师

  • 特斯拉 视觉深度学习负责人

  • ...

目前 ArchSummit 8 折报名仅剩最后 5 天,识别二维码或点击 阅读原文 可了解大会日程。

PS:联系 小助手豆包 可获取更多优惠(微信:aschina666,或致电 010-84780850)。


 
ArchSummit 更多文章 摩拜首席架构师:国际化架构如何演进? 滴滴:如何实现海量数据下的智能监控与故障定位? 双11服务绝对主力:阿里小蜜机器阅读理解技术揭秘 微信存储系统如何应对每分钟百亿级的挑战? 罗辑思维首席架构师:Go微服务改造实践
猜您喜欢 微信小程序--不是你想的那样 从破译外星人文字谈自然语言处理基础 实时股票分析系统的架构与算法。 2017年11月编程语言排行榜:C#被Python超越 Swift中下划线和"#"的妙用