python利用xpath爬取网上数据并存储到django模型中

帮朋友制作一个网站，需要一些产品数据信息，因为是代理其他公司产品，直接爬取代理公司产品数据1.设计数据库2.脚本编写2.1编写获取网页源代码函数2.2根据base页面获取所有产品分类页面链接2.3根据产品分类页面链接获取对应所有产品链接两者结合起来就可以打印出所有产品链接2.2使用xpath解析函数返回产品链接的内容将三者结合在一起就可以获取所有产品信息3.存储到django模型最后自己手动处理出错url4.总结1.xpath 获取标签内容时，p标签中嵌套span标签，源码如下使用xpath获取p标签内容百度之后找到的解决办法，使用2.使用**string(.)**获取所有标签所有文本循环遍历所有p标签即可