H5W3
当前位置:H5W3 > 其他技术问题 > 正文

Python:使用scrapy下载网站数据

问题描述

我想使用scrapy下载网站数据,并且以原目录结构进行保存,以便可以直接在本地访问,
请问有类似的代码可以参考吗?
注:刚接触scrapy,很多资源不知道在哪里找

回答:

觉得scrapy的文档不错,可能开始不怎么习惯回调。

http://doc.scrapy.org/en/latest/intro/tutorial.html

有人写了几个例子,不过没看过,不知道如何。

https://github.com/geekan/scrapy-examples

个人觉得先给文档过一遍,最起码上面的tutorial那个简单的例子先看遍,之后会顺手很多。

回答:

有个博客里面讲了很多scrapy的技术,建议去看看,http://tech.my-coffees.com/

本文地址:H5W3 » Python:使用scrapy下载网站数据

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址