背景
实现需求:批量下载联想某型号的全部驱动程序。
一般在做网络爬虫的时候,都是保存网页信息为主,或者下载单个文件。当涉及到多文件批量下载的时候,由于下载所需时间不定,下载的文件名不定,所以有一定的困难。
思路
参数配置
在涉及下载的时候,需要先对chromedriver
进行参数配置,设定默认下载目录:
global base_path profile = { 'download.default_directory': base_path } chrome_options = webdriver.ChromeOptions() chrome_options.add_experimental_option('prefs', profile) driver = webdriver.Chrome(executable_path='../common/chromedriver', options=chrome_options) driver.implicitly_wait(10)
页面分析
联想官网上每个型号的驱动下载页面如上图所示,虽然前面有一个登陆的遮罩,但是实际上并不影响点击。需要注意的是:
驱动列表,需要点击才可以显示具体的下载项目表格,否则可以找到对应元素但无法获取正确的信息
driver_list.find_element_by_class_name('download-center_list_t_icon').click()
每个下载列表的表头建议做跳过处理
if sub_list.find_element_by_class_name('download-center_usblist_td01').text == '驱动名称': continue
下载处理
在页面中,找到“普通下载”的元素,点击即可下载。最终实现结果是我们希望根据网页的列表进行重命名和重新归档到文件夹,但是我们会发现如下几个问题:
- 下载过来的文件名无法控制。
- 依次下载的话,我们无法确认需要下载多久。并行下载的话,无法有效的区分重命名。
在网上找了很久,也没找到在下载时直接重命名的方法,所以最终选择依次下载,当每次下载完成后进行重命名和归档,思路如下:
- 对每个驱动目录,先新建一个文件夹,如:主板
- 点击下载后开始下载文件
- 通过
os
模块,找到下载目录中所有文件,并按创建时间排序,找到最新创建的文件 - 由于未完成的文件后缀为
.crdownload
(chrome),那么根据后缀来判断是否已完成下载,未完成的话继续等待
待下载完成,将文件重命名并剪切到开始建立的归档目录。这里需要注意的是,有些文件名中不能存在/
符号,否则会导致重命名失败,需要做一下替换。
在后期测试的时候,发现还有几个坑需要注意:
在查找最新创建的文件时,需要注意.DS_Store
文件的处理。(Mac系统,Windows则需要考虑thumbs.db
)
需要判断一下最新创建的文件是否为文件夹,可以通过filter
函数来处理
最新文件的排序查找实现如下:
def sort_file(): # 排序文件 dir_link = base_path dir_lists = list(filter(check_file, os.listdir(dir_link))) if len(dir_lists) == 0: return '' else: dir_lists.sort(key=lambda fn: os.path.getmtime(dir_link + os.sep + fn)) return os.path.join(base_path, dir_lists[-1]) def check_file(filename): # 忽略系统文件 if filename == '.DS_Store' or filename == 'thumbs.db': return False global base_path # 排除文件夹 return os.path.isfile(os.path.join(base_path, filename))
总结
最终实现效果如下:
完整代码
import os import time import re from selenium import webdriver ''' 想要学习Python?Python学习交流群:984632579满足你的需求,资料都已经上传群文件,可以自行下载! ''' def sort_file(): # 排序文件 dir_link = base_path dir_lists = list(filter(check_file, os.listdir(dir_link))) if len(dir_lists) == 0: return '' else: dir_lists.sort(key=lambda fn: os.path.getmtime(dir_link + os.sep + fn)) return os.path.join(base_path, dir_lists[-1]) def check_file(filename): # 忽略系统文件 if filename == '.DS_Store' or filename == 'thumbs.db': return False global base_path # 排除文件夹 return os.path.isfile(os.path.join(base_path, filename)) def download_drivers(url): global base_path profile = { 'download.default_directory': base_path } chrome_options = webdriver.ChromeOptions() chrome_options.add_experimental_option('prefs', profile) driver = webdriver.Chrome(executable_path='../common/chromedriver', options=chrome_options) driver.implicitly_wait(10) driver.get(url) driver_lists = driver.find_elements_by_class_name('dlist-item') for driver_list in driver_lists: # 提取中文及英文字母 title = ''.join(re.findall(r'[\u4e00-\u9fa5a-zA-Z]+', driver_list.text)) temp_path = './drivers/' + title if not os.path.exists(temp_path): os.mkdir(temp_path) driver_list.find_element_by_class_name('download-center_list_t_icon').click() sub_lists = driver_list.find_elements_by_tag_name('tr') for sub_list in sub_lists: try: if sub_list.find_element_by_class_name('download-center_usblist_td01').text == '驱动名称': continue else: sub_title = sub_list.find_element_by_class_name('download-center_usblist_td01'). find_element_by_tag_name('a').get_attribute('title').replace('/', '_') print('开始下载:' + sub_title) sub_list.find_element_by_link_text('普通下载').click() # 等待开始下载 time.sleep(2) while True: oldname = sort_file() file_type = oldname.split('.')[-1] if oldname != '' and file_type != 'crdownload': print('下载已完成') break else: print("等待下载。。。") time.sleep(10) newnamne = temp_path + os.sep + sub_title + '.' + file_type os.rename(oldname, newnamne) print('归档成功') except Exception as e: print(e) continue print('下载结束') driver.quit() if __name__ == '__main__': base_path = './drivers' if not os.path.exists(base_path): os.mkdir(base_path) print('创建drivers文件夹') # T470s win10 64bit url = "https://think.lenovo.com.cn/support/driver/newdriversdownlist.aspx" # T470s win7 64bit #url = 'https://think.lenovo.com.cn/support/driver/newdriversdownlist.aspx"external nofollow" target="_blank" href="https://github.com/keejo125/web_scraping_and_data_analysis/tree/master/Lenovo">https://github.com/keejo125/web_scraping_and_data_analysis/tree/master/Lenovo以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
免责声明:本站文章均来自网站采集或用户投稿,网站不提供任何软件下载或自行开发的软件! 如有用户或公司发现本站内容信息存在侵权行为,请邮件告知! 858582#qq.com
RTX 5090要首发 性能要翻倍!三星展示GDDR7显存
三星在GTC上展示了专为下一代游戏GPU设计的GDDR7内存。
首次推出的GDDR7内存模块密度为16GB,每个模块容量为2GB。其速度预设为32 Gbps(PAM3),但也可以降至28 Gbps,以提高产量和初始阶段的整体性能和成本效益。
据三星表示,GDDR7内存的能效将提高20%,同时工作电压仅为1.1V,低于标准的1.2V。通过采用更新的封装材料和优化的电路设计,使得在高速运行时的发热量降低,GDDR7的热阻比GDDR6降低了70%。