Project Icon

vidur

可扩展LLM推理模拟器,适用于容量规划和研究优化

Vidur是一款高保真且具扩展性的LLM推理模拟器,适用于容量规划和最佳部署配置测试。无需GPU即可研究不同工作负载下的系统性能,支持多种主流模型和配置,提供线路追踪和多种运行环境搭建指导,并记录详细的性能指标日志。该项目欢迎贡献并遵循微软开放源码行为准则。

MuseV - 开源虚拟人视频生成框架支持无限长度输出
GithubMuseV并行降噪开源项目扩散模型无限长度虚拟人视频生成
MuseV是一个基于扩散模型的开源虚拟人视频生成框架。该框架支持无限长度视频生成,采用视觉条件并行去噪方案,兼容Stable Diffusion生态系统。MuseV支持图像到视频、文本到视频、视频到视频等多种生成模式,并提供多参考图像技术。该项目还开源了训练代码,为研究人员和开发者提供了完整的虚拟人视频生成解决方案。
lobe-vidol - 创建虚拟偶像的新平台,精美UI与流畅互动
GithubLobe VidolMMD舞蹈支持UI设计Vroid模型预览开源项目虚拟偶像
Lobe Vidol让虚拟偶像创作变得简单,提供精美UI设计和流畅对话体验。支持MMD舞蹈和Vroid模型预览,全面支持Markdown渲染、代码高亮和LaTex公式。界面设计精良,提供明暗主题和PWA支持,实现接近原生的用户体验。无需安装或注册即可直接访问,通过Discord社区与其他用户和开发者互动,分享创作与改进建议。
PowerInfer - 消费级GPU上大型语言模型高效推理引擎
GPU加速GithubPowerInfer大语言模型局部性设计开源项目混合CPU/GPU使用
PowerInfer是一款在个人电脑上针对消费级GPU设计的高效大型语言模型(LLM)推理引擎。它结合激活局部性原理和CPU/GPU混合技术,通过优化热/冷激活神经元的处理方式,显著提高推理速度并降低资源消耗。软件还融入了适应性预测器和神经元感知技术,优化了推理效率和精度,支持快速、低延迟的本地模型部署。
llmperf - 开源工具评估大语言模型API性能
API测试GithubLLMLLMPerfRay开源项目性能评估
LLMPerf是一个评估大语言模型API性能的开源工具。它通过负载测试和正确性测试来衡量模型的响应延迟、生成吞吐量和输出准确性。该工具支持OpenAI、Anthropic、TogetherAI等主流LLM API,并可扩展适配新API。LLMPerf采用Ray框架处理并发请求,能够模拟实际负载环境。开发者和研究人员可利用LLMPerf便捷地评估和对比不同LLM API的性能表现。
model_server - 高性能AI模型部署系统 支持多框架和多设备
AI部署GithubOpenVINO Model Server开源项目微服务架构模型推理模型管理
OpenVINO Model Server是一个高性能AI模型部署系统,针对Intel架构优化。支持TensorFlow、PaddlePaddle和ONNX等多种框架,可在不同AI加速器上运行。系统通过gRPC和REST API提供服务,具备模型版本控制、动态输入和DAG调度等功能。适用于边缘计算和云环境,可提高资源利用率和推理效率。该系统还支持Python代码执行、gRPC流式传输和MediaPipe图形服务。OpenVINO Model Server适合微服务架构应用和Kubernetes环境部署,可实现水平和垂直推理扩展。
Openlayer - 机器学习模型评估与监控的一站式平台
AI工具LLM测试Openlayer开发者工具模型监控版本控制
Openlayer为机器学习模型开发提供全面解决方案。该平台集成了测试、评估和监控功能,尤其针对大型语言模型(LLMs)进行了优化。通过自动化测试、实时监控、版本控制和安全部署,Openlayer助力开发者打造高质量的AI模型。平台特色包括快速上手、类Git版本控制、多渠道通知和SOC 2 Type 2认证,满足AI团队高效开发需求。
envd - 简化AI/ML开发环境的容器化工具
AI/MLGithubPythonenvd容器技术开发环境开源项目
envd是一款简化AI/ML开发环境配置的命令行工具。它支持快速创建基于容器的开发环境,提供简洁的CLI和配置语言。envd实现了环境隔离,兼容OCI镜像,可在本地和云端部署。通过远程构建和软件缓存提高效率,支持从Git仓库导入配置以便团队共享。这些特性使envd成为提升AI/ML开发效率的有力工具。
Open-Sora-Plan - 视频生成与分析技术
3D注意力模型AI视频生成CausalVideoVAEGithubOpen-Sora Plan开源项目昇腾AI计算系统热门
Open-Sora-Plan 是由北大-兔展AIGC联合实验室发起的开源项目,旨在复刻并优化Sora模型,采用华为昇腾AI计算系统进行训练和推理。该项目通过3D全注意力架构,提升视频质量与处理速度,还支持视频压缩和文本到视频的生成。项目包含丰富的资源和版本,持续更新,欢迎社区贡献和Pull request。
ViT-Prisma - 视觉变换器和CLIP模型机制解析开源库
GithubVision Transformer图像处理开源库开源项目机器学习解释性神经网络可视化
ViT-Prisma是一个专注于Vision Transformer和CLIP模型的开源机制解析库。它提供logit归因、注意力可视化和激活修补等技术,用于深入分析模型内部机制。该库还包含ViT训练代码和预训练模型,支持ImageNet-1k和dSprites分类任务。ViT-Prisma为视觉模型可解释性研究提供了实用的工具集。
LLM4Decompile - 大型语言模型驱动的二进制代码反编译技术
GithubLLM4Decompile二进制代码反编译大语言模型开源项目源代码
LLM4Decompile是一款创新的开源大型语言模型,专注于二进制代码反编译。该模型能将Linux x86_64二进制文件转换为可读的C源代码,覆盖GCC的O0至O3优化级别。项目提供多个参数规模的模型版本,从1.3B到33B不等。其中,最新的22B-V2版本在HumanEval-Decompile基准测试中实现了63.6%的重新执行率。LLM4Decompile不仅可直接反编译二进制文件,还能优化Ghidra等工具生成的伪代码,为二进制分析和逆向工程领域提供了新的可能性。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号