python数据抓取分析的示例代码（python + mongodb）

下面我们需要在mongodb中通过新id索引来获取我们的网址并进行访问，对产品进行数据分析并抓取，将数据更新进数据库内！其中用到最多的BeautifulSoup这个模块，但是对于存在于js的价值数据使用BeautifulSoup就用起来很吃力，所以对于js中的数据我推荐使用xpath，但是解析网页就需要用到HTML.document_fromstring方法来解析网页。对于xpath抓取价值数据的同时一定要细心！如果想了解xpath就在下面留言，我会尽快回答！