热门
导航
快讯
推荐文章
热门
导航
快讯
推荐文章
#数据概要
DataProfiler
DataProfiler是一个Python库,用于简化数据分析、监控与敏感数据检测。通过单一命令加载数据并自动格式化为DataFrame,支持模式识别、统计分析及实体识别(PII/NPI)。带有预训练的深度学习模型,可高效识别敏感数据,并允许用户添加新的实体识别管道。支持CSV、AVRO、Parquet等多种数据格式,提供便捷的数据处理解决方案。
whylogs
whylogs是一款开源数据日志库,可生成数据集摘要(whylogs profiles)。它能追踪数据变化、设置约束条件、快速可视化关键统计信息。whylogs profiles具有高效、可定制、可合并的特点,支持多种数据类型。该库集成了AWS S3、Apache Airflow等工具,可用于数据漂移检测、质量验证和探索性分析等任务,为数据科学家和工程师提供有力支持。
相关文章
whylogs: 开源数据日志库的全面介绍
2 个月前
使用协议
隐私政策
广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI
·
鲁ICP备2024100362号-6
·
鲁公网安备37021002001498号