.net 解决spider多次和重复抓取的方案

原因: 早期由于搜索引擎蜘蛛的不完善,蜘蛛在爬行动态的url的时候很容易由于网站程序的不合理等原因造成蜘蛛迷路死循环。 所以蜘蛛为了避免之前现象就不读取动态的url,特别是带?的url 解决方案: 1):配置路由 代码如下: routes.MapRoute(“RentofficeList”, “rentofficelist/{AredId}-{PriceId}-{AcreageId}-{SortId}-{SortNum}.html”, new { controller = “Home”, action = “RentOfficeLi