python 多进程和协程配合使用写入数据

一、需求分析 有一批key已经写入到3个txt文件中,每一个txt文件有30万行记录。 现在需要读取这些txt文件,判断key是否在数据仓库中。(redis或者mysql) 为空的记录,需要写入到日志文件中! 任务分工 1. 使用多进程技术,每一个进程读取一个txt文件 2. 使用协程技术,批量读取txt文件记录。比如一次性读取 2000条记录 注意:打开文件操作,最好在一个进程中,重复打开文件,会造成系统资源浪费! 二、完整代码 #!/usr/bin/env python3 # coding: utf-8 """ 多线程和协程配合使用示例 """ import os import time