C#编写的网络爬虫

高度灵活的配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。优先级设置：用户可以设置优先级MIME类型（高，上面的，正常的，下面，低）。防陷阱：10+URL规范化规则，履带式的陷阱避免规则。