#Apache Airflow
TensorFlow Extended (TFX):构建端到端机器学习生产流水线的强大平台
3 个月前
相关项目
tfx
TFX是Google开发的基于TensorFlow的生产级机器学习平台，提供配置框架来搭建多个TFX组件的机器学习流水线。该流水线可以用Apache Airflow和Kubeflow Pipelines进行编排，组件和编排系统都可扩展，支持ML Metadata后端来实现实验追踪和模型热启动等高级功能。TFX适用于Python 3.9至3.10，兼容多种主要依赖库。
airflow
Apache Airflow是一个开源的工作流自动化平台,支持以Python代码定义工作流。它采用有向无环图(DAG)结构组织任务,提供了可视化界面和命令行工具来管理和监控工作流。Airflow具有动态生成管道、灵活扩展和处理复杂依赖关系的能力,适用于各类数据处理和批处理任务。该平台简化了工作流的版本控制、测试和协作,特别适合处理相对稳定的长期运行工作流。
awesome-apache-airflow
本项目汇集了Apache Airflow的综合资源，包括部署方案、教程、最佳实践和工具库等。内容涵盖重要链接、视频教程和商业服务，为Airflow用户提供全面指南。项目持续更新，致力于成为Airflow社区的权威参考。
Llama-3-8B-Instruct-GPTQ-4-Bit
Astronomer的4比特量化模型通过GPTQ技术减少VRAM占用至不足6GB，比原始模型节省近10GB。此优化提高了延迟和吞吐量，即便在较便宜的Nvidia T4、K80或RTX 4070 GPU上也能实现高效性能。量化过程基于AutoGPTQ，并按照最佳实践进行，使用wikitext数据集以减小精度损失。此外，针对vLLM和oobabooga平台提供详细配置指南，以有效解决加载问题。