让iptables轻松处理千万级的巨量IP.docx

让iptables轻松处理千万级的巨量IP目录前言1一、环境准备：21 千万级IP列表22 硬件信息23 软件信息24 软件包3二、安装31 安装内核32安装依赖33 解压编译安装3三、测试31 启动httpd32导入IP列表43编辑iptables44 动态修改防火墙规则55 测试结果5四、结论6前言领导给了个任务:保护我们的服务器，禁止爬虫抓数据。并且还知道对方使用了代理，IP数量以万计。本着能在底层处理绝不在上层处理的思想，应该把这些“坏”请求在到达应用服务器之前就处理掉，这样可以节省服务器资源，让服务器干该干的事情。所以在应用服务器前增加一道防火墙成了首选。硬件防火墙？想都别想！退而求其次，弄个BSD装PF总应该可以吧？不行！可CentOS自带的iptables处理以万计的IP真的会爆表啊！可任务摆在那里，总要解决。在网上搜资料，国内的文章并没有找到iptables处理巨量IP的相关方案；用谷歌以“iptables mass”为关键词有哪些信誉好的足球投注网站，终于找到一篇老外的文章：/781/mass-blocking-ip-addresses-with-ipset//781/mass-blocking-ip-addresses-with-ipset/看他的测试，处理5万IP很easy，相对iptables直接处理性能有很大提升。毕竟他只有5万IP，我的IP规模是千万级。所以需要亲测。一、环境准备：1 千万级IP列表还真没有。用for循环，随手抄了一个网络上现成的脚本。类似：for ((a=1;a254;a++))dofor ((b=0;b254;b++))dofor ((c=0;c254;c++))dofor ((d=1;d254;d++))doecho $a.$b.$c.$d iplist.txtdonedonedonedone这个循环不知道要多久才能跑完。根据生成的IP数量，差不多就终止了吧。2 硬件信息单核CPU、1G内存的虚拟机:3 软件信息最小化安装64位CentOS 6.54 软件包kernel-devel-2.6.32-431.el6.x86_64.rpm、ipset-6.29.tar.bz2二、安装1 安装内核rpm –ivh kernel-devel-2.6.32-431.el6.x86_64.rpm2安装依赖顺便把httpd安装上，便于以后测试yum install libmnl-devel gcc httpd –y3 解压编译安装tar xvf ipset-6.29.tar.bz2cd ipset-6.29./configuremakemake install三、测试1 启动httpdvi /var/www/html/index.html就一行内容“It works!”。没有使用样式什么的，简单明了，避免花里胡哨。service httpd startchkconfig httpd on在其他机器上可以正常访问：2导入IP列表可以根据一、1章节准备好的IP列表，然后用脚本逐条读取iplist.txt逐条写入，但这样太慢，直接修改脚本改成：#!/bin/bash/usr/local/sbin/ipset destroy blacklist/usr/local/sbin/ipset create blacklist hash:ip maxelem 100000000 timeout 2592000 for ((a=1;a254;a++))dofor ((b=0;b254;b++))dofor ((c=0;c254;c++))dofor ((d=1;d254;d++))do/usr/local/sbin/ipset add blacklist $a.$b.$c.$ddonedonedonedone这种方式比生成再导入快很多，在虚拟机上产一千零四十七万）IP共跑了四、五个小时。所以没必要等完全跑完，产生足够的IP后可以终止。ipset save –file black.txt3编辑iptablesiptables -Fiptables -Xiptables -Ziptables -A INPUT -s -d -j ACCEPTiptables -A INPUT -p tcp --dport 22 -j ACCEPTiptables -A INPUT -p tcp --dport 80 -j ACCEPTiptables -P INPUT DROPiptables -P FORWARD DROPiptables -P OUTPUT ACCEPTiptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT/etc/rc.d/init.d