匡锡斌-B站稿件生产架构演进:从单体到微服务的挑战与实践.pdf

匡锡斌-B站稿件生产架构演进:从单体到微服务的挑战与实践.pdf

  1. 1、本文档共36页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
查看更多

演讲人:匡锡斌

目录

01微服务化演进

02多活与弹性混合云

03总结与展望

微服务化演进

你感兴趣的视频都在站

1亿日活3亿月活

日均使用时长增长至99分钟

数十亿海量视频内容

日均视频播放量超48亿次

既然有消费当然就需要生产,稿件生产是B站的核心功

能之一,后端系统伴随业务发展也在不断地进行着微服

务演进。

•要做一个社区

•要支持UP视频投稿

•要批量投稿

•一个稿件多个视频

•多人联合投稿

•互动视频

•PUGC投稿

•轻剪辑/专业剪辑/一键投稿

•换源编辑

•知识付费,课堂稿件

•商业化,带货稿件、广告视频、充电视频

•...

业务模式在迭代,音视频流媒体能力在发展,体验要求

在不断提高。

创作工具

发布上传

稿件生产

数据开放

独立

完备

内聚自治

横向,站在服务视角看角色定位

纵向,站在业务权责视角看边界

与面向C端用户的高读场景(feed流、进房、视频详情/商详页)、高写场景(抢单、刷礼物、发弹幕)

不太一样的技术架构体系。

两种数据

1.业务数据(稿件元信息、视频元信息)

2.视频文件(存储、计算、传输)

成本

网络资源物理硬件

稳定效能

存储资源云上资源

计算资源调度策略寻求成本vs稳定vs效能不可得三角的解法

稿件是生产过程中的逻辑实体,视频是生产

过程中的物理对象,一个稿件对应多个视频。

Tip:越是底层的数据模型,改动成本越大。

生产流程的输入输出是围绕稿件业

务实体展开的一系列标准环节。

类比到制造业的生产过程,非常类

似制造业的MES系统

(ManufacturingExecution

System)。

-在生产过程中执行操作、捕获数据、

追踪流程、记录状态

多个业务都有“生产加工”的诉求,

需要这样一套工作流,串联不同的原

子能力,要求生产流程可被调度、异

步化。

由业务共性抽象一套

,支持业务编排、在线

处理流程、离线处理流程、流程检索。

Tip:定制化需求vs平台化能力

CQRS将生产消费关注点分离、权责分离,

让架构与组织形态相匹配。

Tips:

表字段共享,数据模型有交集但不匹配

消息驱动模式中不要暴露元数据binlog

CQRS模式数据异步传输,数据一致性问题

消息丢失•可回溯,可对账,最终一致性

•partition有序,不依赖绝对有序,消息顺序标识

消息乱序

seq

一站式异步事件治理平台

消息堆积•异常突增,lag感知,水平垂直扩容,分组并发,Railgun

IO聚合,热点隔离

MQ故障•异步消费兜底转同步Notify

下钻生产效率指标,将大盘指标转化为归一化的单位指标:

这个公式可以理解为:每一秒可以生产X秒的视频内容,我们希望通过各种技术手段优化这个

效率越高越好(但是会有体验上的权衡),直至前资源能做到的边际效应边界。

Total(Duration)=sum(A+B+C+...)

-Duration下钻:品类/时长/清晰度/活动

Total(Cost)=sum(CostX+CostY+CostZ+

文档评论(0)

150****8957 + 关注
实名认证
内容提供者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档