标签：scrapy

通常有以下几种方法 使用user agent池，轮流选择之一来作为user agent。池中包含常见的浏览器的user agent(google一下一大堆) 禁止cookies(参考 COOKIES_ENABLED)，有些站点会使用cookies来发现爬虫的轨迹。 设置…

简介 scrapy是一个基于python的爬虫框架，提供了一套比较完整的爬虫解决方案，包括模拟cookie，referer，ajax等，并且支持代理，失败重试等爬虫攻防操作。可以让你专注于数据本身而不需要处理太多底层的东西。 今天整理一部分操作要点在这里以供速查和快速入门。 项目…