Project Icon

Jlama

面向Java应用的大型语言模型推理引擎

Jlama是一款面向Java应用的大型语言模型推理引擎,提供对GPT-2、BERT等模型的支持,集成多种分词器。其功能包括闪电注意力、专家混合,同时支持多种数据类型处理。Jlama借助最新Vector API加速推理,可实现分布式处理,适合集成LLM推理的开发者使用。

Jlama 项目介绍

项目简介

Jlama 是一个现代化的 Java 推理引擎,专用于运行大型语言模型(LLM)。它的设计目的是直接将语言模型推理功能集成到 Java 应用程序中。这一项目以其强大的模型支持和出色的性能优化,为 Java 开发者提供了一种高效利用大型语言模型的途径。

支持的模型

Jlama 支持广泛的语言模型,包括:

  • Gemma 和 Gemma 2 模型
  • Llama、Llama2 和 Llama3 模型
  • Mistral 和 Mixtral 模型
  • Qwen2 模型
  • IBM Granite 模型
  • GPT-2 模型
  • BERT 模型

此外,Jlama 还支持 BPE 和 WordPiece 分词器。

功能亮点

Jlama 集成了多种先进的功能:

  • 分页注意力机制
  • 专家混合(Mixture of Experts)技术
  • 工具调用
  • 生成嵌入
  • 分类器支持
  • 支持 Huggingface 的 SafeTensors 模型和分词器格式
  • 支持 F32、F16 和 BF16 等数据类型
  • Q8 和 Q4 模型量化支持
  • 快速的 GEMM 操作
  • 分布式推理功能

Jlama 需要 Java 20 或更高版本,并利用新的 Vector API 提高推理速度。

使用场景

Jlama 可以直接在 Java 应用程序中添加 LLM 推理功能,为开发者提供了在应用中嵌入大型语言模型的便利途径。

快速入门

本地客户端使用

Jlama 提供了一个简单易用的命令行工具,借助 jbang,用户可以快速运行和测试模型。

首先,安装 jbang:

curl -Ls https://sh.jbang.dev | bash -s - app setup

然后,安装 Jlama CLI:

jbang app install --force jlama@tjake

安装完成后,可以下载模型并与之互动:

jlama restapi tjake/Llama-3.2-1B-Instruct-JQ4 --auto-download

打开浏览器访问 http://localhost:8080/ 即可查看界面。

Jlama 支持的命令包括模型推理、分布式推理等功能,用户可以根据需求选择合适的命令进行操作。

集成到 Java 项目中

将 Jlama 嵌入到 Java 项目中非常简单。用户可以通过 Maven 添加 Jlama 的依赖:

<dependency>
  <groupId>com.github.tjake</groupId>
  <artifactId>jlama-core</artifactId>
  <version>${jlama.version}</version>
</dependency>
<dependency>
  <groupId>com.github.tjake</groupId>
  <artifactId>jlama-native</artifactId>
  <classifier>${os.detected.name}-${os.detected.arch}</classifier>
  <version>${jlama.version}</version>
</dependency>

启用 Java 21 预览功能以支持 Jlama:

export JDK_JAVA_OPTIONS="--add-modules jdk.incubator.vector --enable-preview"

通过这些步骤,开发者可以在项目中使用 Jlama 提供的模型类来运行模型。

项目未来计划

Jlama 计划支持更多的模型和功能,例如 LoRA 和 GraalVM 支持,并持续优化分布式推理能力。

许可和引用

Jlama 的代码采用 Apache 许可证(Apache License)发布。如果在研究中使用了该项目,请进行引用:

@misc{jlama2024,
    title = {Jlama: A modern Java inference engine for large language models},
    url = {https://github.com/tjake/jlama},
    author = {T Jake Luciani},
    month = {January},
    year = {2024}
}
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

白日梦AI

白日梦AI提供专注于AI视频生成的多样化功能,包括文生视频、动态画面和形象生成等,帮助用户快速上手,创造专业级内容。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

讯飞绘镜

讯飞绘镜是一个支持从创意到完整视频创作的智能平台,用户可以快速生成视频素材并创作独特的音乐视频和故事。平台提供多样化的主题和精选作品,帮助用户探索创意灵感。

Project Cover

讯飞文书

讯飞文书依托讯飞星火大模型,为文书写作者提供从素材筹备到稿件撰写及审稿的全程支持。通过录音智记和以稿写稿等功能,满足事务性工作的高频需求,帮助撰稿人节省精力,提高效率,优化工作与生活。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号