Evidently AI

Evidently 是一个开源的 Python 库和在线平台，专为机器学习工程师、数据科学家和 MLOps 团队设计，用于在生产环境与实验阶段持续监控模型性能、数据质量和特征漂移。它由 EvidentlyAI 团队于 2021 年推出，代码托管在 GitHub，支持一键生成交互式 HTML 报告，并可与 Airflow、MLflow、Metaflow 等主流工作流无缝集成。官网提供详尽的文档、示例和 Colab 教程，社区活跃，用户遍布金融、电商、医疗、广告等行业。

1. 数据漂移检测：自动对比训练集与生产数据的统计分布，支持 Kolmogorov-Smirnov、Chi-square、Earth Mover’s Distance 等算法。
2. 模型性能监控：回归、二分类、多分类、排序模型均支持，输出 RMSE、MAE、LogLoss、AUC、Precision、Recall 等指标。
3. 目标漂移与概念漂移：检测目标变量和预测概率分布随时间的变化，提前发现模型失效风险。
4. 交互式报告：一键生成可离线浏览的 HTML 报告，含直方图、折线图、热力图等 30+ 可视化组件。
5. 自定义监控面板：通过 JSON/YAML 配置监控规则，支持阈值、告警、Webhook 推送。
6. CI/CD 集成：提供 Docker 镜像与 GitHub Action，可在 Pull Request 中自动运行漂移测试。
7. 数据质量检查：缺失值、重复值、特征类型、离群值一键扫描。
8. 对比实验：A/B 测试、模型版本对比、特征重要性差异分析。

• 上线前验证：将新模型与旧模型做离线对比，确认性能提升。
• 实时监控：定时任务每日拉取生产日志，自动生成漂移报告并邮件通知。
• 合规审计：金融风控团队定期导出报告，证明模型持续满足监管要求。
• 实验迭代：数据科学家在 Jupyter Notebook 中快速查看特征变化，决定是否需要重训。
• 多云部署：通过 REST API 把 Evidently 接入 AWS SageMaker、GCP Vertex AI、Azure ML。

• 零门槛：pip install 即可用，10 行代码生成报告。
• 开源透明：Apache 2.0 协议，可自由修改与二次分发。
• 高性能：Cython 加速统计计算，单核每秒可处理百万级样本。
• 可视化精美：基于 Plotly 的交互图表，支持缩放、悬停、导出 PNG/SVG。
• 社区生态：Slack 频道 4000+ 成员，官方每两周直播答疑。
• 企业级扩展：提供付费 SaaS，支持 RBAC、SSO、审计日志。