【智能路由器】ndpi深度报文源码框架讲义.doc

【智能路由器】ndpi深度报文分析源码框架 某些需求可能会要求路由能精确的分析出流经路由的流量是属于什么类型，比如qq，facebook，支付宝、京东…… 正好，有这么一个基于opendpi框架的深度报文分析的工具——ndpi ndpi是在opendpi的基础上编写而来的协议分析工具。源代码编译后生成两个部分，一个是内核层的xt_ndpi.ko模块，用来实时分析流量，另一个是应用层的lib库，给ndpiReader这个工具提供库，用来分析抓包工具提供的文件或者底层网卡提供的数据包。 开发者必须为其想要分析的app的流量 对应开发一个 协议分析器，ndpi已经提供了不少现成的协议分析器，如http，QQ，twitter，vmware，yahoo，mysql，pplive等等。 本篇博客中作者arvik只叙述ndpi源码中形成 内核层的xt_ndpi.ko模块 的源码部分。 之后可能会写一篇介绍ndpi中已有的QQ协议分析器是怎么分析出OICQ协议以识别流量类型 和一篇实战型依葫芦画瓢编写 微信协议分析器的博客。 ndpi的分析过程： 当底层一帧数据被送入ndpi钩子的时候，流经结构大致如下： 1. 打包该数据帧，搜集l3、l4层报头信息 2. 查询链接跟踪（如果已被标识，则直接获取到该数据帧所属协议类型） 3. 从链接跟踪中未获取流量所属协议类型，则进入深度报文分析过程 4. 率先进行协议猜测，调用相应的协议分析器分析 5. 猜测协议错误、此时ndpi会分类遍历相关类型的协议分析器进行分析，直至分析出结果或遍历完所有相关的协议分析器 6. 将分析出的协议类型标记到链接跟踪中，以便下次可直接从连接跟踪中拿到协议类型 先来看内核模块代码： 几个重要结构 ndpi_detection_module_struct：各种协议分析器都将自己的信息都保存在该结构中 struct ndpi_detection_module_struct { NDPI_PROTOCOL_BITMASK detection_bitmask; //等价于 struct xxx { uint32_t fds_bits[8]}; struct xxx dection; 其中fds_bits[8]每一位可代表一种协议，最多可代表256中协议 NDPI_PROTOCOL_BITMASK generic_http_packet_bitmask; u_int32_t current_ts; u_int32_t ticks_per_second; #ifdef NDPI_ENABLE_DEBUG_MESSAGES void *user_data; #endif /* 各种类型回调函数数组，每个协议都会对应一个回调函数 */ struct ndpi_call_function_struct callback_buffer[NDPI_MAX_SUPPORTED_PROTOCOLS + 1]; u_int32_t callback_buffer_size; struct ndpi_call_function_struct callback_buffer_tcp_no_payload[NDPI_MAX_SUPPORTED_PROTOCOLS + 1]; u_int32_t callback_buffer_size_tcp_no_payload; struct ndpi_call_function_struct callback_buffer_tcp_payload[NDPI_MAX_SUPPORTED_PROTOCOLS + 1]; u_int32_t callback_buffer_size_tcp_payload; struct ndpi_call_function_struct callback_buffer_udp[NDPI_MAX_SUPPORTED_PROTOCOLS + 1]; u_int32_t callback_buffer_size_udp; struct ndpi_call_function_struct callback_buffer_non_tcp_udp[NDPI_MAX_SUPPORTED_PROTOCOLS + 1]; u_int32_t callback_buffer_size_non_tcp_udp; ndpi_default_ports_tree_node_t *tcpRoot, *udpRoot; #ifdef NDPI_ENABLE_DEBUG_MESSAGES /* 调试信息相关回