dask scaling dataframe:Python和Dask 源码

Python和Dask:扩展DataFrame 该存储库包含有关Python和Dask的幻灯片,练习和答案:缩放数据框。 本教程的目标是教给您一个在熊猫中处理表格数据方面经验丰富的人,以解决不适合在一台计算机上存储的问题。 为什么这门课程存在 Python最受欢迎的数据科学库(pandas,numpy和scikit-learn)被设计为在一台计算机上运行,​​并且在某些情况下使用单个处理器运行。 无论这台计算机是笔记本电脑还是具有96核的服务器,您的计算和内存都受到您可以访问的最大计算机大小的限制。 在本课程中,您将学习如何使用Dask(用于并行和分布式计算的Python库)通过跨多个内核扩展计算和内存来绕过此约束。 Dask提供了与pandas,numpy和scikit-learn之类的Python库的集成,因此您可以扩展计算量,而不必学习全新的库或大量重构代码。 先决条件: Wo