#嵌入向量
相关项目
examples
Towhee Examples 是一个用于分析非结构化数据的开源案例库,包括反向图像搜索、反向视频搜索、音频分类、问答系统和分子搜索等多种应用场景。通过 Towhee 的机器学习模型管道,用户可以轻松生成各种嵌入向量。示例内容多样,涵盖图像动画、图像去重、文字图像搜索、视频分类、深度伪造检测和音频分类等。所有示例均可在本地环境中轻松运行,帮助开发者简化数据处理任务。
open-metric-learning
open-metric-learning是一个基于PyTorch的开源度量学习框架,用于训练和验证高质量嵌入模型。它提供端到端流水线、实用案例和预训练模型库,支持图像和文本等多种模态。该框架具有统一的检索结果处理和评估方法,适用于人脸识别、商品搜索等嵌入学习任务。已被多家知名公司和机构采用,是一个功能丰富、易于上手的度量学习工具。
autofaiss
AutoFaiss是一个开源工具,用于自动创建高效的Faiss近邻搜索索引。该工具根据内存和查询速度限制,自动选择最佳索引参数,以获得最高召回率。AutoFaiss能处理大规模数据集,在有限内存下构建高效索引,实现毫秒级查询。它提供Python API和命令行接口,支持内存和磁盘上的嵌入向量,并可与PySpark集成进行分布式索引构建。
NEFTune
NEFTune是一种创新的语言模型指令微调技术,通过向嵌入向量添加随机噪声来提升模型性能。这种方法无需额外计算资源或数据,却能显著改善对话质量。在AlpacaEval评估中,NEFTune将LLaMA-2-7B模型的性能从29.8%提升至64.7%。作为一种高效的LLM微调方案,NEFTune为模型优化提供了低成本、高收益的解决方案。
awadb
AwaDB是一款为AI应用优化的向量数据库,无需复杂设置即可使用。它支持毫秒级实时搜索,基于多年生产经验打造,稳定可靠。AwaDB可本地运行或Docker部署,提供Python SDK和RESTful API,轻松处理文本、图像等非结构化数据的向量嵌入和检索。适用于各类AI应用场景,简化向量数据管理和检索流程。