1. 首页
  2. 编程语言
  3. Python
  4. Python3中的单线程带进度条和多线程下载文件代码及注意事项

Python3中的单线程带进度条和多线程下载文件代码及注意事项

上传者: 2020-07-29 00:14:19上传 ZIP文件 2.34KB 热度 8次
批量爬虫下载时,单线程下载文件有时慢有时快。写一个多线程分块下载文件工具。网上的一些代码可能会有些奇怪的问题,用的是类全局变量打开文件但在多线程中并未加锁,会导致文件有一定几率出现大小和源文件不同,即使文件大小相同,MD5值也不同,中间有一段是坏的,在图片和音频中可能只是其中一段损坏,exe,rar之类的就直接打不开了。此代码已调试无错直接可以拿来使用。代码备注很完整,也可做学习研究使用。同时附上单线程下载(带进度条显示功能)代码,单线程下载(带进度条显示)和多线程代码的时间比较,实测多线程能有效提升下载效率,效果还是比较不错的。
用户评论