爬虫 & 反爬虫 | \u 和 &#x 引起的一系列问题

目录 一、背景 1.1引出问题1 二、编码&解码区别 三、编码&解码测试 四、编码方向询问 五、解决问题 六、验证 参考文献: 一、背景 爬虫的朋友,也许或多或少都遇见过以下问题: 昨天晚上,一个朋友突然给我发上上面的截图,并询问: 1.1引出问题1 为什么解码不行? 在此引入一篇文章《字符串和编码》 浏览网页的时候,服务器会把动态生成的Unicode内容转换为UTF-8再传输到浏览器: Unicode是什么? Unicode不是编码格式,而是字符集。这个字符集包含了世界上目前所有的符号。 另外,在原来有些字符可以用一个字节即8位来表示的,在Unicode将所有字符的长度全部统一为