#gRPC
simpleAI
SimpleAI项目提供自托管的AI API替代方案,可快速试验文本补全、聊天、编辑和嵌入等主要端点。支持多种响应模式,通过gRPC协议实现多语言的模型推理分离,降低对特定API提供商的依赖。项目包含多种示例和详细的安装使用指南,适合开发者构建、测试和优化自己的AI应用。
merlin
Merlin是用Go编写的跨平台后渗透指挥与控制(C2)服务器和代理。其主要功能包括通过gRPC连接服务器的命令行界面,多用户支持,多种Agent C2协议(如HTTP/1.1、HTTP/2、HTTP/3等),点对点通信,灵活的数据编码和加密转换,不同的身份验证方式,消息认证和可配置的消息数据填充技术。同时支持执行.NET程序集和Windows可执行文件的功能,多种shellcode执行技术,以及与Donut、sRDI、SharpGen的集成。Agent的JA3哈希值可以动态更改,并且支持Mythic框架。详细文档和快速入门指南请参考官方网站。
vectordb
`vectordb` 是一款轻量级的Python向量数据库,支持本地、内部和云端部署。它具有全面的CRUD操作和扩展选项,包括分片和复制,可适应各种环境。结合DocArray的检索能力和Jina的扩展性能,vectordb提供了简洁而强大的用户体验。同时,它支持gRPC、HTTP和WebSocket等通信协议,能在多种场景中灵活应用,极大地方便了开发人员。
awesome-grpc
这份精选的gRPC资源列表涵盖官方文档、社区资源、开发工具和多语言实现。包含CLI和GUI客户端、测试工具、代理服务器等实用组件,以及针对不同编程语言的库和框架。为开发者提供了全面探索和利用gRPC生态系统的参考指南。
api-interfaces
api-interfaces是一个开源项目,提供基于gRPC的协议定义和接口代码,用于AI服务之间的通信。项目支持Go、Python和TypeScript/JavaScript等多种编程语言,包含协议缓冲区文件和生成的接口代码。开发者可以利用这些接口实现稳定高效的AI服务通信,简化分布式AI系统的开发过程。
ppl.llm.serving
ppl.llm.serving是基于ppl.nn的大型语言模型服务框架,提供gRPC服务器支持LLaMA等模型推理。该项目支持多GPU、离线推理,并具备模型导出、服务部署和性能测试功能。适用于x86_64和arm64平台,可用于构建和部署大规模语言模型服务。
grpcurl
grpcurl是一个专为gRPC服务器设计的命令行工具,类似于传统的curl。它支持全面的RPC方法,包括流式通信,并可与加密和非加密服务器交互。这款工具不仅支持服务器反射,还可使用.proto源文件或protoset文件。通过提供列举服务、描述元素和执行RPC调用等功能,grpcurl显著提升了开发者与gRPC服务器交互和调试的效率。
grpcui
grpcui 是一款基于浏览器的 gRPC 服务交互工具,提供直观的 Web 界面用于浏览服务 schema、构造请求并与服务器通信。支持各类 RPC 方法(包括流式),适用于普通文本和 TLS 服务器。通过服务器反射、proto 源文件或 protoset 文件获取服务定义。同时提供 Go 语言库,方便在 HTTP 服务器中嵌入 gRPC Web 表单。作为命令行工具,grpcui 简化了 gRPC API 的调试和测试过程。
grpc
gRPC是一个开源的高性能远程过程调用(RPC)框架,支持多种编程语言。它实现了客户端和服务器应用程序的透明通信,简化了分布式系统的构建。gRPC具有高效、跨平台、多语言支持等特点,广泛应用于分布式系统和微服务架构。该框架提供丰富的文档和示例,便于开发者快速上手。gRPC的核心库采用C++实现,保证了优异的性能表现。