wcrawler:简单的Web爬网程序CLI工具具有最小的依赖关系 源码

Wrawler WCrawler是一个简单的Web爬网程序CLI工具。 注意:此工具主要是出于练习目的而创建的,因此不依赖于任何有助于爬网的库。 用法 浏览网络: ❯ wcrawler explore --help Explore the web by following links up to a pre-determined depth Usage: wcrawler explore URL [flags] Flags: -d, --depth uint depth of recursion (default 10) -o, --output string file to save results (default "./web_graph.json") -s, --stats show live stats (def