爬虫程序.rar

SpiderService.py服务入口模块用以处理Windows服务Article SpiderService的安装卸载启动停止与重启SpiderTask.py任务管理模块负责加载控制规则配置安排爬虫任务计划组合爬虫任务子逻辑ArticleStorer.py文章转存模块包含数据库访问图片转存与切图队列消息发送功能RuleReader.py规则读取模块用于读取爬虫规则辅助IOC机制Spider爬虫逻辑模块核心模块群可根据需要添加新爬虫模板爬虫模板可继承基模块为Spider.py多个相似爬虫可根据规则设置复用同一个爬虫模板Model数据模型模块维护爬虫相关ORM数据模型由上下文管理层数据模型层与事务逻辑层组成Message消息处理模块主要负责封装与发送队列消息SpiderRule.xml爬虫规则配置XML格式元数据Temp缓存目录用以缓存转存完成前的中间文件如下载图片Log日志目录用以保存日志采用循环日志模式ServiceCommand.txt服务入口命令用于参考的爬虫服