whylogs java:端到端剖析和监视您的ML数据管道 源码

WhyLogs Java库 这是WhyLogs的Java实现,并支持针对大型数据集的Apache Spark集成。可以在找到Python实现。 无论数据是为生产还是实验而构建,了解数据在应用程序中移动时的属性对于保持ML / AI管道稳定并改善用户体验都是至关重要的。 WhyLogs是一个开源统计日志记录库,它使数据科学和ML团队可以轻松地描述ML / AI管道和应用程序,并生成可用于监视,警报,分析和错误分析的日志文件。 WhyLogs可以为任何大小不超过TB规模的数据集计算近似统计信息,从而使用户易于识别模型输入或输出的统计属性的变化。使用近似统计信息可使程序包在最小的基础结构上运行并监视整个数据集,而不必仅通过使用数据样本来计算统计信息就可以错过异常值和其他异常情况。这些品质使WhyLogs成为分析生产ML / AI管道(基于TB规模数据和企业SLA)的出色解决方案。 主要特点 数