一种基于银行家算法的网络爬虫资源配置策略智能系统学报.pdf

第 １０卷第３期　 　 　 　 　 　 　 　 　 　 　 　 　 　 智　 能　 系　 统　 学　 报　 　 　 　 　 　 　 　 　 　 　 　 　 Ｖｏｌ．１０ №．３ ２０１５年６月　 　 　 　 　 　 　 　 　 　 　 　 　 ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ　 　 　 　 　 　 　 　 　 　 　 Ｊｕｎ． ２０１５ ＤＯＩ：１０．３９６９／ ｊ．ｉｓｓｎ．１６７３⁃４７８５．２０１４０９０２１ 网络出版地址：ｈｔｔｐ：／ ／ ｗｗｗ．ｃｎｋｉ．ｎｅｔ／ ｋｃｍｓ／ ｄｅｔａｉｌ／ ２３．１５３８．ｔｐ１４３２．００１．ｈｔｍｌ 一种基于银行家算法的网络爬虫资源配置策略 王庆红，李广凯，周育忠，韦嵘晖 （南方电网科学研究院有限责任公司技术情报所，广东广州５１００８０） 摘　 要：死锁是多用户操作系统正常运行的一个重要问题，系统资源不足会导致爬虫算法进入不安全状态，进而引 发死锁等问题。 引入被广泛用于操作系统的银行家算法，调度多个网络爬虫进程并发运行，并且为每个进程合理分 配系统资源，当进程无法获取系统资源时，则等待其他进程分配完成后释放系统资源，从而完成资源分配，有效降低 ＋＋ 死锁率。 采用Ｃ 编程，设计并实现基于银行家算法的网络爬虫配置策略。 通过２ ｈ ２１ｍｉｎ ３５ ｓ工程测试，ｕｒｌｌｉｂ２ 算法死锁率为３０％，新算法死锁率仅为２％，测试证明该策略能够有效降低死锁率，能高效完成多个任务进程的资源 分配。 关键词：操作系统；资源配置；死锁；系统安全；银行家算法；网络爬虫 中图分类号：ＴＰ３６１；ＴＭ７５　 文献标志码：Ａ　 文章编号：１６７３⁃４７８５（２０１５）０３⁃０４９４⁃０５ 中文引用格式：王庆红，李广凯，周育忠，等． 一种基于银行家算法的网络爬虫资源配置策略［Ｊ］． 智能系统学报，２０１５，１０（３）：４９４⁃４９８． 英文引用格式：ＷＡＮＧ Ｑｉｎｇｈｏｎｇ，ＬＩ Ｇｕａｎｇｋａｉ，ＺＨＯＵ Ｙｕｚｈｏｎｇ，ｅｔ ａｌ． Ａ ｗｅｂ ｃｒａｗｌｅｒ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｓｔｒａｔｅｇｙ ｂａｓｅｄ ｏｎ ｔｈｅ Ｂａｎｋｅｒ＇ｓ ａｌｇｏｒｉｔｈｍ［Ｊ］． ＣＡＡＩ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｓｙｓｔｅｍｓ，２０１５，１０（３）：４９４⁃４９８． Ａ ｗｅｂ ｃｒａｗｌｅｒ ｒｅｓｏｕｒｃｅ ａｌｌｏｃａｔｉｏｎ ｓｔｒａｔｅｇｙ ｂａｓｅｄ ｏｎ ｔｈｅ Ｂａｎｋｅｒ＇ｓ ａｌｇｏｒｉｔｈｍ ＷＡＮＧ Ｑｉｎｇｈｏｎｇ，ＬＩ Ｇｕａｎｇｋａｉ，ＺＨＯＵ Ｙｕｚｈｏｎｇ，ＷＥＩ Ｒｏｎｇｈｕｉ （Ｔｅｃｈｎｏｌｏｇｙ Ｉｎｆｏｒｍａｔｉｏｎ Ｄｅｐａｒｔｍｅｎｔ，Ｅｌｅｃｔｒｉｃ Ｐｏｗｅｒ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｈｉｎａ Ｓｏｕｔｈｅｒｎ Ｐｏｗｅｒ Ｇｒｉｄ，Ｇｕａｎｇｚｈｏｕ ５１００８０，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｄｅａｄｌｏｃｋ ｉｓ ａ ｍａｊｏｒ ｉｓｓｕｅ ｆｏｒ ｔｈｅ ｎｏｒｍａｌ ｏｐｅｒａｔｉｏｎ ｏｆ ａ ｍｕｌｔｉ⁃ｕｓｅｒ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ． Ｉｎｓｕｆｆｉｃｉｅｎｔ ｓｙｓ⁃ ｔｅｍ ｒｅｓｏｕｒｃｅ ｗｉｌｌ ｍａｋｅ ｔｈｅ ｃｒａｗｌｅｒ ａｌｇｏｒｉｔｈｍ ｇｏ ｉｎｔｏ ｔｈｅ ｕｎｓａｆｅ ｓｔａｔｅ，ｗｈｉｃｈ ｗｉｌｌ ｆｕｒｔｈｅｒ ｃａｕｓｅ ｐｒｏｂｌｅｍｓ ｓｕｃｈ ａｓ ｄｅａｄｌｏｃｋ． Ｔｈｅ ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｆ ｔｈｅ Ｂａｎｋｅｒ＇ｓ ａｌｇｏｒｉｔｈｍ，ｗｈｉｃｈ ｉｓ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ ｔｈｅ ｏｐｅｒａｔｉｎｇ ｓｙｓｔｅｍ ｃａｎ ｓｃｈｅｄｕｌｅ ｍｕｌｔｉｐｌｅ ｗｅｂ ｃｒａｗｌｅｒ ｐｒｏｃｅｓｓｅｓ ｒｕｎｎｉｎｇ ｃｏｎｃｕｒｒｅｎｔｌｙ ａｎｄ ａｌｌｏｃａｔｅ ｓｙｓｔｅｍ ｒｅｓｏｕｒｃｅｓ ｒａｔｉｏｎａｌｌｙ ｆｏｒ ｅａｃｈ ｐｒｏｃｅｓｓ． Ｗｈｅｎ ｔｈｅ ｐｒｏｃｅｓｓ ｉｓ ｕｎａｂｌｅ ｔｏ ｇｅｔ ｔｈｅ ｓｙｓｔｅｍ ｒｅｓｏｕｒｃｅｓ，ｔｈｅ ｏｔｈｅｒ ｐｒｏｃｅｓｓｅｓ ｎｅｅｄ ｔｏ ｒｅｌｅａｓｅ ｒｅｓｏｕｒｃｅｓ ｔｏ ｃｏｍｐｌ