大文件流:使用流处理方法读取大文件的POC应用程序 源码

大文件流 POC应用程序以流处理方法读取大文件 实施细节 实施了两种方法: 流:具有背压的简单缓冲以及与akka actor的聚合 Kafka:使用Kafka分离阅读和处理 怎么跑 技术栈 Scala2.13 sbt 1.4.7 Java 11 码头工人撰写 1-以给定的格式生成一个大型的csv文件 1, "DE" 2, "NL" 1, "US" 3, "US" 您可以通过运行largecsvgenerator.go来创建10G文件。 警告名为largefile.csv的文件必须位于项目的根文件夹中。 1-运行流解决方案 > export SOLUTION="stream" > sbt run 2-运行kafka解决方案 使用docker-compose启动kafka > docker-compose up 然后 > export SOLUTION="kafka" > sbt