Arale是一个开源的JAVA网络爬虫,可以从网络上下载整个网站或者特定资源,还可以把动态网址转换为静态页面。 Arale主要为个人使用而设计,与其它爬虫不同,不关注页面索引,适合于更高级的网络冲浪者和网络开发人员。该爬虫特点是: 1. 用户可以自己定制下载和浏览文件类型,可以只从一个网址下载图片,录像,MP3或者zip文件; 2. 可以对动态资源重命名,将查询字符串编码为文件名; 3. 可以设置同步连接数量,支持多线程,可以根据网络带宽提供最大可能快的下载速度; 4. 可以设置文件大小的最值; 5. 支持域名深度的设置。
