H5W3
当前位置:H5W3 > 其他技术问题 > 正文

python 爬虫速度比打开网页慢?

url="https://www.zhihu.com/api/v4/members/"+userid+"?include=locations,business,voteup_count,thanked_count,follower_count,favorited_count"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36',
    'Accept-Encoding':'gzip'      }     
r=requests.get(url,headers=headers)

用网页打开这个url只需要100-600ms,而在spyder里执行要4-6秒,为什么时间差距这么大呢?

回答:

你应该先清空浏览器的所有缓存,然后再打开看最长花费时间
不应该拿网站原来访问过重复访问,很多东西被缓存了当然快

回答:

不出意料你用的是selenium, 如果你做个性能分析就知道了 这个对webdrive的初始化就得好几秒 然后打开网页很快 但是你是看不到初始化过程的 你会觉得很慢

回答:

我目前使用 chrome 的 headless 模式编写爬虫。他也可以和 PhantomJS 一样执行JS(喂,人家就是浏览器啊)。
requests访问,只能获取静态页面。但是使用 webdriver 需要考虑页面的css,js,图片等资源。

举个例子:

clipboard.png

本文地址:H5W3 » python 爬虫速度比打开网页慢?

评论 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址