详解解决Python memory error的问题（四种解决方案）

基于这些缺点以及遗留问题，考虑第二种解决方案。pandas设计时应该是早就考虑到了这些可能存在的问题，所以在read功能中设计了块读取的功能，也就是不会一次性把所有的数据都放到内存中来，而是分块读到内存中，最后再将块合并到一起，形成一个完整的DataFrame。以上代码规定用迭代器分块读取，并规定了每一块的大小，即chunkSize，这是指定每个块包含的行数。如果你的Python用的是32位的，那么你的pandas和Numpy也只能是32位的，那么当你的内存使用超过2G时，就会自动终止内存。发现这个错误也是因为我察觉到报内存溢出的错误的时候，我的内存明明显示只用了40+%，然后错误提示是在pandas的core中，所以查了一下，发现原来还有这么个大坑。