基于自动化测试的反爬虫技术研究_以天猫平台为例_曹文斌

随着大数据、云计算、移动互联网等新兴信息技术地快速兴起，人们工作生活对互联网的依赖逐步加强，越来越多用户行为数据、发表意见评论数据分散在互联网上。如何有效地采集这些数据，是分析、挖掘数据的前提。传统爬虫方式通常是从一个节点开始，盲目地、发散式地扩张遍历网页来获取数据，这种方式一方面近年来受到反爬虫技术的限制，另一方面获取数据的效率和质量偏低。在深入研究天猫平台网站结构的基础上，采用自动化测试技术模拟人浏览网页的方式，结合电商平台的搜索引擎有效地避开反爬虫技术地限制，采集到的数据准确率达到96%以上，能够满足实际科研、工业中数据采集分析的要求。