webpage crawler 源码

Python网页搜寻器 此Python软件包对于为搜索引擎或解析已建立的页面创建map(sitemap.xml)是必需的 用法: python3 main.py -flag value 标志: -u / --url | Url to crawling. (required) -b / --base_url | ... -o / --output | Output filename to write | default: sitemap.xml -s / --simple | Simple mode formatting, usable to parsing site | default: False -t / --threads | Count threads of crawler workers | default: 1 -v / -vv / -vvv | logging level