Tag: Crawler

0

selenium爬虫问题总结

在运行上一篇文章中的爬虫程序的过程中遇到了几个问题,在这里总结一下 1. 不能定位到元素,报错selenium.common.exceptions.NoSuchElementException 网上查了资料又仔细查看了一下网页结构,发现是网页中包含了iframe。frame实际上是嵌入了另一个页面,而webdriver每次只能在一个页面识别,因此需要先定位到相应的frame,对那个页面里的元素进行

0

News Collector

在工作过程中经常需要关注几个政府网站的通知,随时关注项目信息的更新。否则错过了最新的通知可能会错过申报的机会。 每天需要关注的网站是固定的几个,更新的频率不是很高,每天点开一到两次就可以,所以决定写一段代码免去每天点开几个网页的麻烦,也避免忘记看错过重要信息。 用到了selenium + chrome + Chromedriver,环境是好久之前配置好的就不写了,过程比较简单。首先Webdrive