Logo
Project Icon

xorbits

轻松扩展数据科学与机器学习工作负载的开源框架

Xorbits开源计算框架机器学习Python API大数据处理Github开源项目

Xorbits 是一款开源计算框架，旨在简化数据科学和机器学习任务的扩展。从数据预处理到模型部署，Xorbits 支持整个流程。它可以利用多核或GPU加速单机计算，或扩展至数千台机器，以处理TB级数据和大型模型的训练。Xorbits 提供兼容 pandas、NumPy、PyTorch 和 XGBoost 等库的 Python API，无需深入了解基础设施即可完成工作负载扩展。

访问官网访问官网GithubGithub文档文档论文论文
介绍相关项目
Jupyter - 开源算法学习与交互式实践环境
GithubJupyter开源项目数据科学算法贡献指南
Jupyter项目是一个开源的算法学习平台，提供多种算法实现和交互式演示。用户可在线运行和编辑算法，体验便捷的开发环境。该项目欢迎贡献新算法，包括源代码、数学解释和演示。平台支持数据集使用，并设有贡献指南和行为准则，致力于构建协作学习社区。
skypilot - 高效部署AI和批处理作业至全球云平台
GPUGithubLLMSkyPilot云计算开源项目成本节约热门
SkyPilot是一个为LLMs和AI提供的框架，支持在任意云平台运行，最大化GPU利用率和降低成本。该框架通过自动管理作业队列，简化了扩展操作，还提供了对象存储的简便接入。用户可以在全球任一区域的云中自动故障转移，使用管理型Spot实例以较低成本运行，同时自动选择成本最优的机型和区域。
lightning-bolts - PyTorch Lightning的深度学习组件扩展
BoltsDeepSparseGithubPyTorch LightningSparseMLTorch ORT开源项目
Lightning Bolts为PyTorch Lightning提供了多种扩展组件，包括回调和数据集，旨在加速训练和推理。它支持通过Torch ORT将模型转换为优化的ONNX图，以实现GPU加速训练；并通过SparseML在微调中引入稀疏性，提高推理性能。项目支持广泛的问题解决，并欢迎用户贡献通用组件。了解更多安装和使用信息，请访问官方文档和社区支持平台。
keops - 大规模矩阵运算与自动微分的高效GPU加速库
GPU计算GithubKeOps开源项目核方法符号矩阵自动微分
KeOps是一个开源库,专门用于高效计算大型数组的归约运算。它集成了高效C++程序和自动微分引擎,支持Python、Matlab和R等多种编程语言。KeOps尤其适合处理核矩阵向量乘积、K近邻查询和N体问题等计算,即使在核矩阵或距离矩阵超出内存容量的情况下也能高效运行。与PyTorch GPU基准相比,KeOps在多种几何应用中能实现10-100倍的性能提升,广泛应用于核方法和几何深度学习等领域。
xtreme1 - 开源多模态训练数据平台，专注于数据标注、管理和本体管理，支持计算机视觉和大模型项目
AI驱动工具GithubXtreme1多模式训练数据开源项目数据标注计算机视觉
Xtreme1是一款开源多模态训练数据平台，专注于数据标注、管理和本体管理，支持计算机视觉和大模型项目。凭借AI驱动工具，高效进行2D/3D物体检测、分割及LiDAR-摄像头融合，提升效率。平台具有强大的数据管理和质量监控功能，并提供模型结果可视化，辅助模型评估。Xtreme1云端版本长期免费，安装方便，兼容多种操作系统和硬件。
orb - 现代化分布式网络可观测性解决方案
GithubOpenTelemetryOrb分布式分析实时编排开源项目网络可观测性
Orb是一款开源的网络可观测性平台，专为复杂的分布式网络环境设计。通过边缘流量分析、合成网络探测和OpenTelemetry集成，Orb提供了高效的网络洞察能力。其独特优势在于将分析推至数据源附近，降低处理成本，并支持远程代理的实时配置。Orb集成了分布式网络监控、边缘计算、实时编排等先进功能，可无缝对接现代可观测性技术栈，为企业和IT团队提供全面的网络可视化解决方案，助力优化网络性能和故障排查。
ortex - Elixir实现的ONNX模型并发推理框架
ElixirGithubONNX RuntimeOrtex开源项目机器学习模型模型推理
Ortex是基于ONNX Runtime的Elixir封装库，通过Nx.Serving实现ONNX模型的并发和分布式部署。该框架支持CUDA、TensorRT和Core ML等多种后端，能够高效加载和推理主流机器学习库导出的ONNX模型。Ortex还提供了便捷的存储型张量实现，为开发者提供了灵活且高效的机器学习模型部署方案。
warp-drive - GPU驱动的高效多智能体强化学习框架
GPU加速GithubWarpDrive多智能体并行计算开源项目深度强化学习
WarpDrive是一款开源的强化学习框架，专为GPU环境优化。它支持单GPU或多GPU上的端到端多智能体强化学习，通过充分利用GPU并行计算能力，显著提升训练速度。WarpDrive通过减少CPU和GPU间的数据传输，并在多智能体和多环境副本间并行运行模拟，大幅提高了计算效率。这使得同时运行海量并发模拟成为可能，实现了比传统CPU方案高出百倍的训练吞吐量。
skorch - scikit-learn兼容的PyTorch神经网络库
GithubGridSearchCVPyTorchscikit-learnskorch开源项目神经网络
skorch 是一款与 scikit-learn 兼容的神经网络库，通过封装 PyTorch 简化深度学习模型的构建和训练。功能包括学习率调度、早停与参数冻结等，并支持 Hugging Face 和 GPyTorch 的集成。用户可通过 pip 或 conda 安装，并在 sklearn Pipeline 和网格搜索中使用其功能，提升深度学习模型的开发与优化效率。
pytorch - 能GPU加速的Python深度学习平台
GPU加速PyTorch深度学习神经网络
PyTorch是一个开源的提供强大GPU加速的张量计算和深度神经网络平台，基于动态autograd系统设计。它不仅支持广泛的科学计算需求，易于使用和扩展，还可以与Python的主流科学包如NumPy、SciPy无缝集成，是进行深度学习和AI研究的理想工具。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号