个C语言的爬虫程序

特别适合于构造蜘蛛程序，这是因为它已经内置了HTTP访问和多线程的能力，而这两种能力对于蜘 蛛程序来说都是非常关键的。下面是构造一个蜘蛛程序要解决的关键问题：　　（1）HTML分析：需要某种 HTML解析器来分析蜘蛛程序遇到的每一个页面。　　（2）页面处理：需要处理每一个得到的页面。得到的内 容可能要保存到磁盘或者进一步分析处理。　　（3）多线程：只有拥有多线程能力，蜘蛛程序才能真正做到高 效。　　（4）确定何时完成：不要小看这个问题，确定任务是否已经完成并不简单，尤其是在多线程环境下。