二零二三年 优质公开课scribe架构原理.pptx

Scribe架构原理;了解scribe的架构;一、scribe的系统架构二、日志服务器三、中心和存储服务器;scribe的总体结构分为三部分，日志服务器、中心服务器和存储服务器。 ;Agent: 读文件末尾的方式读取本地目录下的日志文件， 并将数据写到本地的local_server。 local_server: local_server通过zookeeper定位到center_server， 并将数据发送给远端的center_server。 ;中心服务器： center_server其实和local_server是同一套程序，只是配置文件不一样，它们通过thrift进行通信。center_server收到数据后，根据配置将各个category的数据发向不同的方向，比如写到HDFS、发到Kafka集群等等。 存储服务器： 日志被收集到存储服务器以后，就可以进行离线/实时的统计分析了。比如，HDFS是用来永久存储日志，并给MapReduce提供离线数据的；Kafka则是给Storm集群提供实时数据流，以实时的统计分析。 ;scribe的总体结构分为三部分：日志服务器、中心服务器和存储服务器。;