python爬取数据时遭遇动态滚动条
```python from selenium import webdriver from selenium.webdriver.chrome.options import Options import time
创建chrome浏览器驱动，无头模式
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument("--start-maximized"); driver = webdriver.Chrome("D://googleDever//chromedriver.exe",chrome_options=chrome_options)
加载界面
driver.get("https://wenku.baidu.com/search?lm=0&od=0&ie=utf-8&word=csdn") time.sleep(3)
获取页面初始高度
js = "return action=document.body.scrollHeight" height = driver.execute_script(js)
将滚动条调整至页面底部
driver.execute_script('window.scrollTo(0, document.body.scrollHeight)') time.sleep(5)
定义初始时间戳（秒）
t1 = int(time.time())
定义循环标识，用于终止while循环
status = True
重试次数
num=0
while status: # 获取当前时间戳（秒） t2 = int(time.time()) # 判断时间初始时间戳和当前时间戳相差是否大于30秒，小于30秒则下拉滚动条 if t2-t1 < 30: new_height = driver.execute_script(js) if new_height > height : time.sleep(1) driver.execute_script('window.scrollTo(0, document.body.scrollHeight)') # 重置初始页面高度 height = new_height # 重置初始时间戳，重新计时 t1 = int(time.time()) elif num < 3: # 当超过30秒页面高度仍然没有更新时，进入重试逻辑，重试3次，每次等待30秒 time.sleep(3) num = num+1 else: # 超时并超过重试次数，程序结束跳出循环，并认为页面已经加载完毕！ print("滚动条已经处于页面最下方！") status = False # 滚动条调整至页面顶部 driver.execute_script('window.scrollTo(0, 0)') break
打印页面源码
content = driver.page_source print(content) ```
参考文献
- 分布式网络爬虫系统设计与实现（沈阳理工大学·洪伟）
- 过滤型网络爬虫的研究与设计（厦门大学·陈奋）
- 音视频数据获取与同源性分析关键技术研究（电子科技大学·范清宇）
- Ajax友好的网络爬虫设计与实现（暨南大学·张媚）
- 基于标记模板的分布式网络爬虫系统的设计与实现（华中科技大学·杨林）
- 支持动态页面的快速URL提取方法研究（哈尔滨工业大学·张洪庆）
- 分布式爬虫的动态负载均衡方法研究（哈尔滨工业大学·付志辉）
- 主题爬虫关键技术研究（哈尔滨工程大学·黄正德）
- 基于网络爬虫的数据采集系统设计与实现（东北大学·赵彦松）
- 搜索引擎中爬虫的若干问题研究（北京邮电大学·杨溥）
- 搜索引擎中爬虫的若干问题研究（北京邮电大学·杨溥）
- 分布式爬虫的动态负载均衡方法研究（哈尔滨工业大学·付志辉）
- Ajax友好的网络爬虫设计与实现（暨南大学·张媚）
- 面向主题的爬行搜索策略研究与实现（陕西师范大学·王敏翔）
- 支持动态页面的快速URL提取方法研究（哈尔滨工业大学·张洪庆）
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头网 ，原文地址：https://m.bishedaima.com/yuanma/35414.html
