llrt

为Serverless应用打造的高性能JavaScript运行时

LLRT JavaScript运行时 Serverless应用 AWS Lambda 性能优化 Github 开源项目

LLRT是专为Serverless应用设计的轻量级JavaScript运行时。基于QuickJS引擎，LLRT在AWS Lambda上实现了比其他JavaScript运行时高达10倍的启动速度和2倍的成本降低。它支持ES2023标准，集成多个AWS SDK客户端，为Serverless开发提供高性能和兼容性。

访问官网

Github

Huggingface

介绍相关项目

llm.js - JavaScript实现浏览器直接运行大语言模型

GithubJavaScriptLLM.jsWebAssembly大语言模型开源项目浏览器推理

llm.js是一个JavaScript库，实现了在浏览器中直接运行大语言模型。该项目支持TinyLLaMA、GPT-2和Qwen等多种模型，利用WebAssembly技术在浏览器端进行高效推理，可在智能手机等设备上运行。llm.js提供结构化响应、Web Worker支持和模型缓存等功能，方便开发者将AI能力整合到Web应用中。

lambda-api - 为 AWS Lambda 设计的轻量级 Serverless API 框架

API网关GithubLambda APINode.jsWeb框架serverless开源项目

Lambda API 是专为 AWS Lambda 和 API Gateway 开发的轻量级 Web 框架。它具备强大的路由、中间件和错误处理功能，同时保持零依赖，实现快速加载和高效执行。框架支持多种编程风格，包括异步/await、Promise 和回调。此外，它还提供全面的日志记录和 CORS 支持，适用于各种规模的 Serverless API 开发。

LlamaIndexTS - 轻量级TS/JS库，简化自定义数据与大型语言模型的整合

GithubLLMLlamaIndexNode.jsOpenAIReact开源项目

LlamaIndex.TS 提供简便的 TypeScript 和 JavaScript 库，帮助开发者将数据集成到大型语言模型中。支持 Node.js、Deno、Bun 和 React Server Components 等 JS 环境，尽量减少浏览器环境的限制。通过文档分割、嵌入和查询引擎，用户可以高效创建索引并执行查询。此外，LlamaIndex.TS 兼容多种大型语言模型，包括 OpenAI GPT、Anthropic Claude 和 Llama 系列，提供灵活工具构建高级应用程序。

web-llm - 浏览器语言模型推理引擎，完全支持OpenAI API

GithubOpenAI API兼容性WebGPUWebLLM大语言模型开源项目浏览器内推理

WebLLM是一款借助WebGPU技术，实现硬件加速的浏览器内语言模型推理引擎，无需服务器即可直接在浏览器内运行。完全兼容OpenAI API，并具备流式输出和JSON模式生成功能，支持广泛的模型集成。通过NPM或CDN可以快速集成到各类AI交互应用中，同时确保用户隐私安全，并享受高效的GPU加速体验。

openllmetry-js - 基于OpenTelemetry的LLM应用观测框架

GithubJavaScriptLLM应用OpenLLMetryOpenTelemetry开源项目观察性

OpenLLMetry-JS是一个开源项目，基于OpenTelemetry构建，为LLM应用提供全面观测能力。它支持多种LLM服务和向量数据库的标准instrumentation，并提供简易SDK快速集成。该框架可与Datadog、Honeycomb等主流可观测性平台无缝对接，使开发者能够全面监控和分析LLM应用性能。项目由Traceloop维护，遵循Apache 2.0许可。

just - 面向Linux系统编程的轻量级JavaScript运行时

GithubJavaScript运行时JustLinux开源项目性能优化系统编程

Just是一个为Linux设计的JavaScript运行时，以小巧、安全和高性能为特点。它提供系统调用和V8引擎的简单封装，采用CommonJS模块系统，支持非异步操作和JavaScript层面的事件循环。Just适合用于Linux系统编程，也是学习系统编程和V8原理的理想工具。

llm-ls - 基于LLMs的LSP服务器

GithubLSP服务器llm-ls功能特性多后端兼容开发效率开源项目

llm-ls是一个基于LLMs的LSP服务器，致力于提升开发效率。它提供一个通用平台供IDE扩展使用，负责与LLMs的交互，支持代码AST解析、遥测数据收集和多后端兼容。llm-ls兼容Hugging Face和OpenAI API，并支持llm.nvim、llm-vscode、llm-intellij等多种扩展，帮助开发者优化IDE工具。

ray-llm - 简化LLM部署，利用Ray Serve和vLLM实现高效性能

AnyscaleGithubLLMRay ServeRayLLMvLLM开源项目

RayLLM是一种简便的解决方案，用于部署和管理多种开源LLM，利用Ray Serve和vLLM的功能，包括自动扩展、多GPU和多节点支持。RayLLM支持连续批处理和量化，大幅提高吞吐量并降低推理成本。通过REST API轻松迁移和测试，并集成多种LLM后端，提供灵活高效的解决方案。

litellm - 简化管理多个LLM API，兼容多种部署平台

AzureGithubHuggingfaceLLM APIsLiteLLMOpenAI开源项目

使用OpenAI格式调用各大LLM API，如Bedrock、Huggingface、VertexAI等，支持统一输出、重试机制和预算管理。LiteLLM提供易用的代理服务器、企业级服务和丰富的日志功能，确保性能稳定可靠。支持异步和流式响应，适配众多LLM平台，为开发者提供高效便捷的集成方案。

quickjs - 轻量快速易嵌入的高性能JavaScript引擎

GithubHTMLJavaScript引擎PDFQuickJS开源项目文档

QuickJS是一个小型高效的JavaScript引擎，支持ES2020规范。它具有低内存占用、可配置内存限制和垃圾回收功能，适用于嵌入式系统。该项目提供命令行解释器和libc的JavaScript实现，便于独立执行脚本。项目文档完善，有助于开发者使用。项目主要文档可在doc目录下的PDF或HTML文件中找到，为用户提供了详细的使用说明。

相关项目

项目侧边栏1

项目侧边栏2

推荐项目

Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com

@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号