这篇主要记录一下如何实现对数据库的并行运算来节省代码运行时间。语言是Python,其他语言思路一样。 前言 一共23w条数据,是之前通过自然语言分析处理过的数据,附一张截图: 要实现对news主体的读取,并且找到其中含有的股票名称,只要发现,将这支股票和对应的日期、score写入数据库。 显然,几十万条数据要是一条条读写,然后在本机上操作,耗时太久,可行性极低。所以,如何有效并行的读取内容,并且进行操作,后再写入数据库呢? 并行读取和写入 并行读取:创建N*max_process个进程,对数据库进行读取。读取的时候应该注意: 每个进程需要分配不
