斗鱼的降本增效,从大数据的"存算分离"开始
时间:2022-12-28 00:00:00来自:第一财经字号:T  T

长着圆圆的脑袋、永远上扬的嘴角,江豚被称为“微笑天使”,但由于长期生活在水中,其天然的隐蔽性,导致人们对它知之甚少。

在今年7月,全球首次江豚分娩的直播,不仅让众网友得以近距离窥见江豚之貌,还能共同见证“国宝添丁”的神圣时刻,这场科普公益行动的直播通过斗鱼等平台进行分发,引起逾千万网友围观。

除了为期三天的直播外,斗鱼还联合华为云等共同上线了“数字江豚”计划,作为江豚保护的重要文创项目,推动全民参与江豚保护。据悉,斗鱼设计了6款憨态可掬的“数字江豚”供网友“认养”,在限免期内用户登陆斗鱼,在页面搜索“数字江豚”后即可领取一只独一无二的江豚。

“数字江豚”生成背后,依托的是华为云的区块链技术,以及强大的系统性能和高达百亿的存储能力,这助力了江豚数字凭证的极速生成、快速上链、存证及流转。

江豚直播以及“数字江豚”的创意吸引了更多人关注保护长江的公益事业,这是斗鱼和华为云合作的冰山一角。从2019年底正式对外公布战略合作以来,三年间华为云和斗鱼的合作越来越广泛,在数据、云原生、视频直播等方面都展开了全面的合作。

“存算分离”助力降本增效

斗鱼成立于2014年,以游戏直播为主,也涵盖体育、综艺、娱乐等多种直播内容,目前是国内领先的电竞娱乐一站式直播分享平台。据斗鱼2022年最新财报显示,其第三季度平均移动端月活跃用户数达到了5710万。

每月千万级的用户活跃下,斗鱼平台的弹幕数更是达到上亿级别。斗鱼2021年公布的数据显示,平台2021年发送弹幕的总数足足达到了117亿条,比2020年多了近8亿条。庞大的用户数和活跃度,催生的数据量也是PB级的。

“随着业务规模越来越大,斗鱼面临数据量大、计算量大,维护成本高的困难。”在HUAWEICONNECT2019大会期间,斗鱼风控代表李瑞表示,斗鱼数据分析平台是自建集群基于开源CDH,需要寻求稳定高性价比的解决方案。

此外,随着用户对内容质量的提高,1080FHD的清晰度也已经成为最基本的要求,4K120帧的超高清内容也已经进入观众的视野,这对斗鱼在内容制作、转码传输、播放性能、成本优化方面都带来极大的挑战。

斗鱼与华为云的战略合作由此展开。斗鱼相关负责人表示,通过严格的业务模拟、比拼测试后,华为云“存算分离+鲲鹏”数据解决方案适用斗鱼数据数据增速快于计算的业务场景。其在读写性能、复杂计算、简单计算、数据倾斜等方面均优于IDC本地数据计算集群,整体性能得到大幅提升。

传统数据平台主要基于本地HDFS作为数据存储,存算一体耦合在同一集群。随着存储量的增长,这种存算一体的数据技术架构,计算成本也随之线性增长。

“传统的数据平台都是在物理机上插很多存储盘,由于数据增长很快,经常需要扩磁盘,而由于计算和存储的磁盘是绑在一起的,因此哪怕计算资源要不了那么多,但因为存储不够,往往需要把计算和存储一起扩大,就会造成大量计算资源的浪费。”华为云相关业务负责人介绍。

华为在GIV2025报告中指出,预计到2025年,全球每年新增数据存储量为180ZB,企业的数据利用率将会达到86%。在互联网快速发展的当下,数据存储计算的需求与日俱增。存储和算力的需求不一,迫切需要通过数据计算存储分离方案来解决,否则无法灵活配置存储及算力,也难以满足企业基于海量数据分析追求性价比的典型场景。

在这种趋势下,几乎所有厂商都在存算分离上布局,但作为国内最早做存算分离的厂商,华为云在这个方向上是做得较为成熟、商业化落地较成功的一个。

“将存储和计算分开会造成两个问题,一是计算和存储之间的时延增大,其次是两边交互会有非常大的带宽。”华为云相关负责人表示,通过obs的方案华为云有能力解决这两个问题,在业界做到了真正的存算分离。

在华为云上,数据客户的存储和计算是分开的,计算不够只需要扩计算,存储不够只需要扩存储,实现了计算、存储各自独立的扩缩容,从而减少故障风险,也将资源的利用率达到最优,最大限度降低企业使用成本。

此外,相比IDC,华为云存算分离解决方案的效率大概是两倍,“同样的一个计算任务跑的时间,华为云大概是IDC的一半,另外也不用再去维护IDC,扩个盘、插个卡都是很麻烦的,而且容易出问题。”华为云负责人介绍。

数据显示,基于华为云的数据存算分离解决方案,TCO可以降低30%。与华为云的合作,让斗鱼不仅降低了成本,还能够轻松应对海量数据分析,提高业务分析效率。

云原生赋能文娱行业

除了数据存储分离业务上的合作,在2019年底公布的战略合作中,斗鱼和华为云还表示,双方将在AI、视频云服务、5G+Cloud+直播创新等领域为用户打造更好的使用体验。

就在今年三季度,斗鱼举办了90场自有品牌电竞赛事,包括《斗鱼王者荣耀大师赛》《2022斗鱼和平精英秋名山杯第五季》等专业化赛事,还有牵头头部主播发起的赛事,如英雄联盟主播Doinb发起的《2022LBL秋季赛》等。

为保证这些赛事直播的稳定,华为云在背后提供CDN服务,做了不少保障。CDN本

本站郑重声明:所载数据、文章仅供参考,使用前请核实,风险自负。
© 2008 北京济安金信科技有限公司 北京合富永道财经文化传媒有限公司
京ICP备12044478号 版权所有 复制必究
本站由 北京济安金信科技有限公司 提供技术支持