R语言 RSelenium+Chrome爬取网页太慢

[复制链接]
51data 发表于 2020-9-9 16:01:17 | 显示全部楼层 |阅读模式
利用R语言的RSelenium+rvest+chrome爬取网页时,因为是真的用浏览器打开网页,所以爬取速度受网页加载速度营销比较大。
加载速度慢的原因:网速慢或者目标网站图片过多。
解决方案:
如果不需要网页图片,可以设置禁止加载图片,以提高网页加载速度。
Python+Selenium通过代码设置禁止加载图片,而Rselenium+Chrome需要通过浏览器设置禁止加载图片。
具体方法:
1.打开Chrome浏览器的设置
1.jpg
2.选择网站设置
2.jpg
3.选择图片选项
3.jpg
4.添加需要禁止显示图片的网站
4.jpg
设置完成,重新打开目标网站时发现图片已被全部屏蔽,提升了网页加载速度。
第4步也可以将“显示全部”按钮关闭,但一般不建议这么做,不然打开其他网站也看不到图片了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

51data

管理员

  • 主题20
  • 帖子20
  • 积分194
发布新帖 立即签到

最新主题

主题排行

快速回复 返回顶部 返回列表