美柚：最懂女性App背后的混合云架构及大数据服务.docx

美柚：最懂女性App背后的混合云架构与大数据服务本文章来自于阿里云云栖社区本次美柚带来的分享包括如何充分利用现有机房服务器资源与阿里云产品组建混合云架构，实现快速部署与大数据的处理与计算服务。同时也详细介绍了美柚在多维度用户数据分析处理和大数据智能挖掘技术的实践经验。3月25日云栖社区在线实时分享顺利结束，本次美柚带来的分享包括如何充分利用现有机房服务器资源与阿里云产品组建混合云架构，实现快速部署与大数据的处理与计算服务。同时也详细介绍了美柚在多维度用户数据分析处理和大数据智能挖掘技术的实践经验。本次视频直播的整理文章、视频、幻灯片整理完毕，如下内容。混合云图一美柚混合云在2013年美柚成立之初，行业内云生态圈并不是十分完善。因此，最初的架构采用自建机房的传统开发方式，至今为止，托管机房内服务器数量达300台之多；同时，为了迎合大数据发展的趋势，美柚也搭建了自己的Hadoop、Spark、Storm、Kylin等对应的大数据处理平台；在数据库方面，采用MySQL、MogoDB、Redis、CounchBase等主流数据库。在2014年，接触阿里云之后，逐渐采用阿里云的产品，从最开始接触公测的ADS到现在使用的云服务器、MaxCompute、云数据库、分析型数据库、TAE、阿里云云盾等等，目前美柚形成了混合云的模式，既有一定规模的托管机房，也积极的使用阿里云的产品。图二服务分布云上设施和云下设施分工各不相同。因为最初的架构是在托管机房上建立的，所以现在主要的App接口、社区、广告系统、用户中心、柚币中心以及包括App和社区的运营后台都部署在托管机房；同时有哪些信誉好的足球投注网站、推送、实时监控、反垃圾等最初建立起的基础服务也是部署在托管机房里面的；此外，托管机房内也有一些如Spark、Hadoop等大数据处理平台，但集群规模相对较小。美柚的整个官网全部部署在阿里云上，同时美柚电商柚子街也是基于阿里云建立的，包括整个电商平台和运营后台、招商系统。此外，还基于阿里云搭建了BI系统。最后，为了缓解自建大数据集群的规模较小的情况，积极采用阿里云大数据平台对数据进行分析和处理计算。混合云之间的数据交互图三混合云之间的数据交互上图是托管机房和阿里云之间的数据流通情况，可以看到每天会有一部分数据包括业务日志、数据库的增量数据会从托管机房流向阿里云。数据流向阿里云的大数据计算服务后，在大数据计算服务内进行一些数据计算和算法模型的训练。然后再将计算的结果导入ADS和云数据库中，其中导入的ADS支持BI系统，并且ADS能够多值列查询和毫秒级的实时响应，有利于生成BI报表；另一部分数据存入云数据库中，不仅降低了存储成本，同时也提高了数据的安全性。经阿里云计算和处理后，部分数据还需要回流到托管机房的数据库和数仓内，回流的目的是因为现在还有一些比较重要的服务还在托管机房内部署，并且从机房调用可以极好的缩短调用的延迟。每日从自建机房流向阿里云的数据量相当大，对于一些重要的数据如用户数据，在自有机房和阿里云上进行了双活，首先从业务数据库先同步到自建机房的HBase集群中做一个备份，然后在阿里云上也做了一个备份，这些数据以一小时为间隔进行同步，以此确保重要数据的安全。从机房到阿里云上采用逐类更新的方式，准实时的数据依旧在托管机房处理；对一些大数据计算和实时性要求不是很高的数据将其流向阿里云，借助阿里云超强的计算能力和超大的集群规模进行计算处理，同时这些数据会在T+1日进行更新。API实时监控图四 API实时监控随着美柚不断发展，系统逐渐受到一些恶意攻击，包括恶意抓取、DDoS攻击等，因此API实时监控显得不可或缺。目前通过使用阿里云盾DDoS高防IP，有效地抵御部分网络攻击，并可以进行流量清洗和分析。在此基础上，美柚还自主研发了API实时监控系统，监控系统的数据是来自托管机房的实时处理计算平台，通过监控系统可以实时观察服务端响应时间、处理数目以及各个接口的调用分布。通过全链路实时监控服务质量，保障用户极致体验。同时作为一个移动互联网公司，美柚将API实时监控从传统的服务部署转向移动化，在移动端Android/IOS进行实时业务监控与预警，使得开发和运维在任一地点任意时间都能对实时业务了如指掌，可以第一时间发现问题所在。大数据智能挖掘图五大数据助力社区电商生态上图是美柚大数据智能挖掘的大致框架，作为一个社区电商一体化的公司，美柚利用大数据挖掘打通整个生态系统。以用户为中心，通过对用户的深入分析，形成用户画像，深入理解用户需求，个性化的改造社区使其更有温度、更具黏性。同时基于对用户的理解，使得社群电商能够进行精准化的推荐，深入了解用户的需求。基于对女性用户的理解，对用户做了多维度的划分，品牌商和广告主精准的投放广告，可得到更高的收益。美柚采用两套系统存储用户数据，在阿里云上，用户数据