关于生产环境服务器被黑的处理.docx

关于生产环境服务器被黑的情况报告一、起因背景3月9日晚上八点半，我收到公司监控平台zabbix频繁告警22服务器cpu资源耗尽，因为没带电脑回家然后我立即返回公司查看，在返回公司的路上接到了符经理的电话。随后在22上面查询到有一个.yam进程，如下图所示；随后我查询到这台服务器是被黑客恶意扫描种植了木马。.yam是比特币挖矿的进程。这个程序执行的时候一旦服务器联网就会调用系统的wget命令自动连接9地址，去下载黑客攻击之前所需要的木马。紧接着我查询了服务器22上的/目录，发现有几个今天下午6点39新建的可疑几个执行文件，查看了一下权限，三个用户都拥有777权限。先将几个文件拥有权限全部归零。然后将该文件下载到本地电脑再进行查看，随后查看到这些文件都是一堆乱码。随后我用杀毒软件进行扫描，杀毒软件立即报警为黑客攻击的木马。之后我查询了这两天的系统日志，发现Samba与zabbix用户访问量比之前都要高，随后查询Samba与zabbix 也网上也都报有漏洞。之后后在网上符经理也发现了strust2 漏洞。之后我将这些病毒文件进行了权限归零并删除，随后按照符经理进行了进一步的检查与删除。周五（3月10日）将服务器重新做raid10,并将Linux操作系统进行了备份。至周五晚上两点，服务器备份及恢复正常。二、中毒现象1、开始在90.22服务器上发现可以进程.yam,占用整个服务器的资源，2、目录下有几个木马文件，这些都是从服务器上下载下来分析用的木马文件。这些木马很顽强，删除马上会自动恢复。3、系统瘫痪，因为4 、（1）系统文件/bin 目录下ps ，netstat文件 ，/usr/sbin目录下ss、lsof命令被替换为1.2 m的文件（2）usr/bin/bsd-port/getty，正常系统目录下没有getty这个文件夹。进程中有个getty进程是伪装的远程登录进程。需要杀死。（3）/tmp 目录下出现/moni.lock, getty.lock conf.n ( 4 ) /etc/rc.d/init.d/出现selinux、DbSecuritySpt、rc.local/etc/rc.d/rc0-5.d/S77.zl/etc/rc.d/rc0-5.d/S97DbSecuritySpt/etc/rc.d/rc0-5.d/S99selinux5、/目录下的木马执行文件不断的变化，有/xiaomamaa,/wancchunfeiand /helloworld /taifeng /cmd 6、 计划任务crontab 全部被删除，替换成木马的执行任务7、防护墙被恶意关闭。三、危害程度 极其严重CPU资源被完全消耗，系统奔溃。系统文件丢失。无法正常运行。因为服务器上配有nginx做负载均衡，这一台服务器奔溃，导致公司的命脉网站,无法访问。四、主要现象及处理过程周日早晨九点接到符经理电话，学校群里反应 网站访问不了，后来远程ssh也都登录不上，当时我回复符经理说，可能是服务器系统瘫痪了，现在我只能立刻跑一趟萧山查看具体情况，然后我来到萧山机房，查看服务器，此时服务器硬盘灯也不闪，与预想的一致，服务器死机。接着我立即硬重启，网站恢复正常，但不到20分钟，网站又访问不了了，后来我用显示器查看，系统几千个报错。如上图所示，一直闪屏，接着我打电话与符经理做了汇报，符经理让我先判断是硬件还是软件问题，我说是软件问题，还是服务器中了黑客植入的攻击木马程序。接着我向他汇报了近期我们的服务samba和zabbix 访问量异常,然后他安排我紧急恢复系统，并将网线拔掉，系统查杀完毕后查杀病毒，关闭Samba服务。一小时后，中午十二点，系统恢复正常。接着进行了病毒中毒查杀，查杀完毕后。插上网线，系统恢复正常。重新安装了杀毒软件，并写好了定时脚本，对系统定期每日两次进行排杀，然后对25进行了重点排查，中午十二点半，确认病毒查杀完毕。下午三点半，25病毒再次发作，以下是查看系统执行文件被病毒替换随后我按同样方法处理好了25.下午五点半22系统再次遭受病毒袭击，系统再次奔溃，随后查看情况与上午中毒一致，紧接着25也中毒，进程中top进程异常我紧急批量结束了top 进程。 隐藏在/tmp中的.lz1489318307 开始发作.而且进程名称后三位全部都不一样，接着我批量结束了.lz1489**所有进程，刚杀完 .lz1489318307.接着.z1又出现了，如下图所示。同样方法先杀死.z1隐藏进程，CPU开始迅速往下降，接着赶紧查询可疑文件，删除隐藏文件。系统恢复正常。晚上七点，符经理也来到萧山机房。我们一起查杀了服务器上所有的可疑文件。然后找出了最近三天新建的所有文件。符经理先在25上有哪些信誉好的足球投注网站了一个自动启动下载病毒的.jsp脚本。如下图所示。接着我在22上也找到了一