Logo

#gRPC

Logo of simpleAI
simpleAI
SimpleAI项目提供自托管的AI API替代方案,可快速试验文本补全、聊天、编辑和嵌入等主要端点。支持多种响应模式,通过gRPC协议实现多语言的模型推理分离,降低对特定API提供商的依赖。项目包含多种示例和详细的安装使用指南,适合开发者构建、测试和优化自己的AI应用。
Logo of api-interfaces
api-interfaces
api-interfaces是一个开源项目,提供基于gRPC的协议定义和接口代码,用于AI服务之间的通信。项目支持Go、Python和TypeScript/JavaScript等多种编程语言,包含协议缓冲区文件和生成的接口代码。开发者可以利用这些接口实现稳定高效的AI服务通信,简化分布式AI系统的开发过程。
Logo of grpc
grpc
gRPC是一个开源的高性能远程过程调用(RPC)框架,支持多种编程语言。它实现了客户端和服务器应用程序的透明通信,简化了分布式系统的构建。gRPC具有高效、跨平台、多语言支持等特点,广泛应用于分布式系统和微服务架构。该框架提供丰富的文档和示例,便于开发者快速上手。gRPC的核心库采用C++实现,保证了优异的性能表现。
Logo of merlin
merlin
Merlin是用Go编写的跨平台后渗透指挥与控制(C2)服务器和代理。其主要功能包括通过gRPC连接服务器的命令行界面,多用户支持,多种Agent C2协议(如HTTP/1.1、HTTP/2、HTTP/3等),点对点通信,灵活的数据编码和加密转换,不同的身份验证方式,消息认证和可配置的消息数据填充技术。同时支持执行.NET程序集和Windows可执行文件的功能,多种shellcode执行技术,以及与Donut、sRDI、SharpGen的集成。Agent的JA3哈希值可以动态更改,并且支持Mythic框架。详细文档和快速入门指南请参考官方网站。
Logo of ppl.llm.serving
ppl.llm.serving
ppl.llm.serving是基于ppl.nn的大型语言模型服务框架,提供gRPC服务器支持LLaMA等模型推理。该项目支持多GPU、离线推理,并具备模型导出、服务部署和性能测试功能。适用于x86_64和arm64平台,可用于构建和部署大规模语言模型服务。
Logo of vectordb
vectordb
`vectordb` 是一款轻量级的Python向量数据库,支持本地、内部和云端部署。它具有全面的CRUD操作和扩展选项,包括分片和复制,可适应各种环境。结合DocArray的检索能力和Jina的扩展性能,vectordb提供了简洁而强大的用户体验。同时,它支持gRPC、HTTP和WebSocket等通信协议,能在多种场景中灵活应用,极大地方便了开发人员。
Logo of grpcurl
grpcurl
grpcurl是一个专为gRPC服务器设计的命令行工具,类似于传统的curl。它支持全面的RPC方法,包括流式通信,并可与加密和非加密服务器交互。这款工具不仅支持服务器反射,还可使用.proto源文件或protoset文件。通过提供列举服务、描述元素和执行RPC调用等功能,grpcurl显著提升了开发者与gRPC服务器交互和调试的效率。