兴业银行独立节点重启方案及实施.doc

WebLogic独立节点重启方案及实施 方案背景 在兴业生产环境，fedataprocess节点因一些不确定原因发生jvm内存泄露，导致节点挂起，进而导致weblogic控制台挂起，若weblogic控制台挂起将不能通过weblogic控制台对feengine和fedataprocess服务节点及部署之上的工程做任何操作，包括工程重启或服务器节点的重启或关闭操作。 根据项目实施经验，一旦jvm发生了内存泄露，将不会对外部请求进行响应，目前的处理方式只有jvm重启，使jvm可以重新进行内存空间分配且提供服务。 因此需要提供一种方案，在fedataprocess节点jvm内存泄露时可以对节点进行关闭或启动操作。 方案确定 2.1 方案介绍： Weblogic节点重启常用方案有三种： 方案一、将weblogic节点配置到节点管理器中，通过weblogic控制台的服务器页面的控制选项卡进行启动或关闭节点，若使用此方案前提需启动节点管理器。 方案二、通过命令行调用startManagedWebLogic.cmd或stopManagedWebLogic.cmd进行启动或停止节点操作。 方案三、通过taskkill 终止Weblogic节点进程（以下简称pid），然后通过weblogic控制台或者命令行调用startManagedWebLogic.cmd启动节点。 方案一和方案二是weblogic提供的标准解决方案，这两种方案可运行的前提是要操作的节点可以相应请求，但是jvm内存泄露后，将不会对任何操作进行响应，则方案一与方案二不能解决兴业现场现有问题。 方案三依赖于操作系统提供的强大进程操作相关api，直接对weblogic节点所创建的进程进行操作，只要操作系统能提供服务就能对weblogic进行控制，此方案可以解决兴业现场问题，但仍需进一步论证。 2.2 方案论证： 通过以上2.1的方案介绍，目前只能使用方案三进行weblogic节点的重启。 兴业现场使用的操作系统为winows 2003 server，此操作系统提供的进程相关api为： Tasklist 列出所有正在运行的进程； Findstr 在文件中寻找字符串,此命令与tasklist 结合使用，可以缩小进程查询范围； Netstat 显示协议统计和当前 TCP/IP 网络连接，用此命令与Findstr 结合使用，可以查询到某个端口相关进程ID (PID) ； Taskkill 使用该工具按照进程 ID (PID) 或映像名称终止任务。 使用以上命令可以查询到weblogic某个节点进程ID (PID) ，且可以kill掉，以下为示例： tasklist|findstr java.exe //查询全部java进程 netstat -aon|findstr 7003 // 查询端口7003进程ID (PID) taskkill /f /pid 584 // 终止pid为584的进程 2.3 方案测试： 以上示例脚本直接结果如上图所示： 首先，查询出所有java进程； 然后，从上一步查询的进程中，列出相关端口对应的pid； 最后，终止对应pid。 在公司测试环境，此方案连续运行三天，每小时运行一次，且测试环境存在weblogic管理进程、节点管理器进程、tomcat、websphere等相关java进程，此方案只会将配置端口的java进程ID（PID）给终止且配置的启动命令可以顺利启动终止的java进程，启动完毕后，再次发布手动或定时任务可以正常运行。 通过以上分析及论证，认为方案三可行。 重启服务影响 自动任务： 若有自动任务在运行，重启时自动任务会停止运行，但重启后系统在下一次运行自动任务时会将重启时没有运行完毕的计算重新运行，对数据准确性没有影响。 手动任务： 若有手动任务在运行，重启时手动任务会停止运行，重启完毕后，手动任务会自动从停止运行时刻再次启动，若服务器启动顺序正确，对数据准确性没有影响。 已登陆用户： 若有用户登录系统，重启时，在操作需要调用计算引擎功能（如交易日维护、自定义指数设置等）时会出现异常。 为尽可能降低重启对已登陆用户及自动或手动任务的影响，建议重启时刻在每周六中午12：00左右，建议将周六12：00-14点设置为系统维护时刻，此时禁止任何用户或任务运行。重启之前需清理相关表数据 4.2 重启节点 4.2.1 简述 因jndi建立在feengine所在的节点上，节点端口为7001，而fedataprocess所在的节点7002共享7001的jndi配置，准备重启时，若端口为7001的服务停止后，fedataprocess服务将无法启动，若首先将7001服务器重启，执行中的手动任务可能因为调用不到fedataprocess服务而