#gRPC

ppl.llm.serving: 高性能大语言模型推理服务框架

3 个月前
Cover of ppl.llm.serving: 高性能大语言模型推理服务框架

API 接口:应用程序间通信的桥梁

3 个月前
Cover of API 接口:应用程序间通信的桥梁

VectorDB: 一个你所需要的Python向量数据库

3 个月前
Cover of VectorDB: 一个你所需要的Python向量数据库

SimpleAI:一个易于部署的开源AI API替代方案

3 个月前
Cover of SimpleAI:一个易于部署的开源AI API替代方案
相关项目
Project Cover

simpleAI

SimpleAI项目提供自托管的AI API替代方案,可快速试验文本补全、聊天、编辑和嵌入等主要端点。支持多种响应模式,通过gRPC协议实现多语言的模型推理分离,降低对特定API提供商的依赖。项目包含多种示例和详细的安装使用指南,适合开发者构建、测试和优化自己的AI应用。

Project Cover

merlin

Merlin是用Go编写的跨平台后渗透指挥与控制(C2)服务器和代理。其主要功能包括通过gRPC连接服务器的命令行界面,多用户支持,多种Agent C2协议(如HTTP/1.1、HTTP/2、HTTP/3等),点对点通信,灵活的数据编码和加密转换,不同的身份验证方式,消息认证和可配置的消息数据填充技术。同时支持执行.NET程序集和Windows可执行文件的功能,多种shellcode执行技术,以及与Donut、sRDI、SharpGen的集成。Agent的JA3哈希值可以动态更改,并且支持Mythic框架。详细文档和快速入门指南请参考官方网站。

Project Cover

vectordb

`vectordb` 是一款轻量级的Python向量数据库,支持本地、内部和云端部署。它具有全面的CRUD操作和扩展选项,包括分片和复制,可适应各种环境。结合DocArray的检索能力和Jina的扩展性能,vectordb提供了简洁而强大的用户体验。同时,它支持gRPC、HTTP和WebSocket等通信协议,能在多种场景中灵活应用,极大地方便了开发人员。

Project Cover

awesome-grpc

这份精选的gRPC资源列表涵盖官方文档、社区资源、开发工具和多语言实现。包含CLI和GUI客户端、测试工具、代理服务器等实用组件,以及针对不同编程语言的库和框架。为开发者提供了全面探索和利用gRPC生态系统的参考指南。

Project Cover

api-interfaces

api-interfaces是一个开源项目,提供基于gRPC的协议定义和接口代码,用于AI服务之间的通信。项目支持Go、Python和TypeScript/JavaScript等多种编程语言,包含协议缓冲区文件和生成的接口代码。开发者可以利用这些接口实现稳定高效的AI服务通信,简化分布式AI系统的开发过程。

Project Cover

ppl.llm.serving

ppl.llm.serving是基于ppl.nn的大型语言模型服务框架,提供gRPC服务器支持LLaMA等模型推理。该项目支持多GPU、离线推理,并具备模型导出、服务部署和性能测试功能。适用于x86_64和arm64平台,可用于构建和部署大规模语言模型服务。

Project Cover

grpcurl

grpcurl是一个专为gRPC服务器设计的命令行工具,类似于传统的curl。它支持全面的RPC方法,包括流式通信,并可与加密和非加密服务器交互。这款工具不仅支持服务器反射,还可使用.proto源文件或protoset文件。通过提供列举服务、描述元素和执行RPC调用等功能,grpcurl显著提升了开发者与gRPC服务器交互和调试的效率。

Project Cover

grpcui

grpcui 是一款基于浏览器的 gRPC 服务交互工具,提供直观的 Web 界面用于浏览服务 schema、构造请求并与服务器通信。支持各类 RPC 方法(包括流式),适用于普通文本和 TLS 服务器。通过服务器反射、proto 源文件或 protoset 文件获取服务定义。同时提供 Go 语言库,方便在 HTTP 服务器中嵌入 gRPC Web 表单。作为命令行工具,grpcui 简化了 gRPC API 的调试和测试过程。

Project Cover

grpc

gRPC是一个开源的高性能远程过程调用(RPC)框架,支持多种编程语言。它实现了客户端和服务器应用程序的透明通信,简化了分布式系统的构建。gRPC具有高效、跨平台、多语言支持等特点,广泛应用于分布式系统和微服务架构。该框架提供丰富的文档和示例,便于开发者快速上手。gRPC的核心库采用C++实现,保证了优异的性能表现。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号