如何利用python生成MD5并去重

给每个文件生成一个MD5值，来对文件进行加密，是常用的文件校验方法，但是MD5的缺陷就是不能防止碰撞，所以不同文件生成的MD5可能是相同的，因此就需要进行去重操作。每个txt文件中有字符串，用于生成MD5值：然后用代码生成MD5值并输出为文件，打印了一下字符串的数量和MD5的数量，两者是相同的：生成的MD5文件内容就是128位的MD5值，每个值一行：接下来对这些MD5进行去重操作，运行程序，会自动生成一个txt文件并将去重后的MD5写入。