架构中的消息与任务系统.docxVIP

又拍网架构中的消息/任务系统

赵钟秋belltoy

又拍网程序员

2011.10

又拍网简介

·照片分享社区

·2005年建站

·500万用户

·超过3亿张照片

ruPoo首页T解又柏是严a

又拍网，为你生活添色彩

◆上传展示分享

多平台客户端支持

立即注

立即注册

/

又拍图片管家简介

·面向企业用户

·图片存储、外链、展示服务ruPoo又拍图片营家

专业的图片云计算服务商

·2010年上线存储·外链·展示服务促进增长易于管理

降低成本

·超过10亿张图片免费注册试用

存储外链◎展示

·图片日访问量超过2亿次

支持独立罐名

展示及营销OruOoo又拍图片管家

展示及营销

O

/

又拍云简介

·通用大规模存储服务·文件云存储

拍云存储高度可扩展的API·

拍云存储

高度可扩展的API·防盗链

·存储+CDN

·类似AmazonS3+CloudFront

/

花瓣网简介

·2011年11月上线·收集、发现网络上你

喜欢的事物

·Node.js+又拍云

花瓣

/

后台任务

邮件发送

数据索引/聚合

WebServer(PHP)

WebServer

(PHP)

Antispam

定时任务

后台任务

·由用户或者定时触发耗时

·异步执行

系统架构

Web(PHP)

PublishMessage

SearchingDataAccessingUploading

Searching

DataAccessing

SolrRabbitMQ

Solr

Task

Indexing

Indexing

Worker

Worker

TaskWorkerManager

RedisMemcached

Latte

MySQL

任务系统的组成

·消息分发·进程管理·工作进程

RabbitMQ

·开源

·Erlang实现

·高级消息队列协议(AMQP)实现·分布式

RabbitMQ组件

·交换器(Exchange)

topic·headers

topic

·headers

··fanout队列(Queue)

··fanout

RabbitMQ工作方式

·WorkQueues

·Publish/Subscribe

Routing

Topics

·RPC

RabbitMQ工作方式

C1Queue1

C1

PX

P

C2Queue2

C2

cueue

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

Worker接收消息

#!/usr/bin/evnpython

defconsume(cfg):

routing_key=indexingn_meig_exchange

routing_key=indexing

consumer_tag=

consumer_tag=indexing_msg_consumer

chan.access_request(vhost)chan=get_amqp_channel()

chan.access_request(vhost)

chan.queue_declare(queue_name)

chan.queue_declare(queue_name)

chan.exchange_declare(exchange_name,type=direct)

chan.queue_bind(queue_name,exchange_name,routing_key)

chan.basic_consume(queue_name,callback_func,consumer_tag)

whilechan.callbacks:

chan.wait()chan.close()

defcallback_func(msg):

doconsume

23pass

PHP发送消息

?php

?php

$mq_conn=amqp_connection_open(shost,$port);

$res=amqp_login($mq_conn,$user,$