一种新的网络爬虫带宽控制策略

网络爬虫如何在限定带宽的条件下进行爬行是一个有巨大应用价值的问题，但是目前对这个方面的研究较少，本文提出了一种基于对站点礼貌爬行的爬虫带宽控制策略，通过对不同站点下载速度的建模分析和基于礼貌爬行的访问频率控制，得到了面向站点的爬行控制算法，最后实验证明这种方法能够充分利用所限定的带宽。