#GGML
ctransformers入门学习资料 - Python实现的C/C++变压器模型绑定
2 个月前
CTransformers: 高性能Python绑定的Transformer模型实现
3 个月前
CTransformers: 高效的Python语言模型绑定库
3 个月前
相关项目
ctransformers
CTransformers提供Python接口，通过GGML库高效加载和运行C/C++实现的Transformer模型。支持多种模型类型，如GPT-2、GPT-J、LLaMA等，并可与Hugging Face和LangChain集成。提供CUDA、ROCm和Metal兼容的GPU加速选项，适合高性能自然语言处理任务。
Llama-2-Open-Source-LLM-CPU-Inference
详细介绍如何在本地CPU上使用Llama 2、C Transformers、GGML和LangChain运行量化开源LLM进行文档问答的指南。内容涵盖工具配置、模型下载和依赖管理，帮助团队实现自我管理或私有部署，满足数据隐私和合规要求，并节省GPU实例的高额费用。
encodec.cpp
encodec.cpp是Meta's Encodec深度学习音频编解码器模型的C/C++实现。该项目基于ggml库开发，无需其他依赖。支持24KHz模型、混合F16/F32精度，并可通过Metal和cuBLAS进行加速。项目提供C风格API和使用示例，正在开发4位和8位量化功能。encodec.cpp为音频编解码任务提供了高性能、易用的开源解决方案。