LLamaSharp - 跨平台本地运行LLaMA和LLaVA模型的高效库

项目介绍：LLamaSharp

LLamaSharp 是一个跨平台的库，旨在在本地设备上运行诸如 LLaMA 和 LLaVA 等模型。它基于 llama.cpp 项目，使得在 CPU 和 GPU 上进行推理都能高效进行。通过其高级 API 和 RAG 支持，开发者可以十分方便地在应用程序中部署大型语言模型（LLM）。

主要功能

LLamaSharp 支持通过多种后端（例如 CPU、CUDA、Metal、Vulkan）在不同操作系统（Windows、Linux、Mac）上运行，无需用户自行编译 C++ 代码。此外，它提供了与 Microsoft 的 semantic-kernel 以及 kernel-memory 的集成，支持诸如检索增强的生成（RAG）、合成记忆和提示工程等高级功能。

基本安装

LLamaSharp 使用通过 C++ 编译的“后端”与原生库进行高性能交互，以下为安装步骤：

在 NuGet 上安装 LLamaSharp 包：
```
PM> Install-Package LLamaSharp
```
选择安装一个或多个后端包，或使用自编译的后端。
- LLamaSharp.Backend.Cpu: 适用于 Windows、Linux 和 Mac 的纯 CPU 后端。Mac 还支持 Metal（GPU）。
- LLamaSharp.Backend.Cuda11/12: 分别适用于 CUDA 11 和 CUDA 12 的 Windows 和 Linux 后端。
- LLamaSharp.Backend.Vulkan: 适用于 Windows 和 Linux 的 Vulkan 后端。
（可选）为 Microsoft semantic-kernel 安装 LLamaSharp.semantic-kernel 包。
（可选）如需启用 RAG 支持，安装基于 Microsoft kernel-memory 集成的 LLamaSharp.kernel-memory 包。

模型准备

LLamaSharp 使用 GGUF 格式的模型文件，可以通过以下方式获取：

在 Huggingface 上搜索模型名称加“gguf”关键词，以找到已经转换为 GGUF 格式的模型文件。
自己将 PyTorch 或 Huggingface 格式的模型文件转换为 GGUF 格式。可以遵循 llama.cpp 的说明使用 Python 脚本进行转换。

应用示例

以下是一个使用 LLamaSharp 进行简单聊天会话的例子：

using LLama.Common;
using LLama;

// 替换为自己的模型路径
string modelPath = @"<Your Model Path>";

var parameters = new ModelParams(modelPath)
{
    ContextSize = 1024,
    GpuLayerCount = 5 
};

using var model = LLamaWeights.LoadFromFile(parameters);
using var context = model.CreateContext(parameters);
var executor = new InteractiveExecutor(context);

var chatHistory = new ChatHistory();
chatHistory.AddMessage(AuthorRole.System, "这是一个用户与助手对话的记录，助手名叫 Bob。Bob 乐于助人，友好诚实，能迅速和精确地回应用户请求。");
chatHistory.AddMessage(AuthorRole.User, "你好，Bob。");
chatHistory.AddMessage(AuthorRole.Assistant, "你好，我能为您做些什么呢？");

ChatSession session = new(executor, chatHistory);

InferenceParams inferenceParams = new InferenceParams()
{
    MaxTokens = 256,
    AntiPrompts = new List<string> { "User:" }
};

Console.ForegroundColor = ConsoleColor.Yellow;
Console.Write("聊天会话已开始.\n用户: ");
Console.ForegroundColor = ConsoleColor.Green;
string userInput = Console.ReadLine() ?? "";

while (userInput != "exit")
{
    await foreach (var text in session.ChatAsync(new ChatHistory.Message(AuthorRole.User, userInput), inferenceParams))
    {
        Console.ForegroundColor = ConsoleColor.White;
        Console.Write(text);
    }
    Console.ForegroundColor = ConsoleColor.Green;
    userInput = Console.ReadLine() ?? "";
}