最正规的赌场网站scrapy 重复抓取没抓取成功的链

  • 新闻中心 2019-01-20
<返回列表

  你所谓的没抓取成功是指什么?由于网络状况因素造成的超时、连接失败还是指单纯的没抓到数据?那么前者的话,也不必你操心,scrapy对于连接失败的Request不会加入到filter,并且会重复这个请求。而settings中有一项RETRY_TIMES可以指定失败后重复尝试的次数。超过这个设置的值,Request就会被丢弃。还有,最正规的赌场网站DOWNLOAD_TIME可以指定超时时间,网络不够通畅时可以把它设置大点。

Copyright © 2002-2018 最正规的赌场网站 版权所有 备案号:苏ICP备16035770号