mlx-llm - 在Apple Silicon上实时运行的高级语言模型应用与工具

mlx-llm 项目介绍

mlx-llm 是一个专为 Apple Silicon 设计的工具和应用集，可以实时运行大型语言模型（LLMs）。该项目依托于 Apple MLX，为用户提供强大的机器学习功能。

示例动画

如果想了解实际应用演示，可以查看完整的Youtube视频。

如何安装 🔨

要安装 mlx-llm，只需在终端中运行以下命令：

pip install mlx-llm

支持的模型 🧠

mlx-llm 支持多种模型，用户可以根据需求选择不同的模型系列和版本：

系列	模型
LLaMA 2	llama_2_7b_chat_hf, llama_2_7b_hf
LLaMA 3	llama_3_8b, llama_3_8b_instruct, hermes_2_pro_llama_3_8b
Phi3	phi_3_mini_4k_instruct, phi_3_mini_128k_instruct, phi_3.5_mini_instruct
Mistral	mistral_7b_instruct_v0.2, openhermes_2.5_mistral_7b, starling_lm_7b_beta
TinyLLaMA	tiny_llama_1.1B_chat_v1.0
Gemma	gemma_1.1_2b_it, gemma_1.1_7b_it, gemma_2_2b_it, gemma_2_9b_it
OpenELM	openelm_270M_instruct, openelm_450M_instruct, openelm_1.1B_instruct, openelm_3B_instruct

用户可以使用 HuggingFace 提供的预训练权重创建模型，比如：

from mlx_llm.model import create_model

model = create_model("llama_3_8b_instruct")

也可以从 HuggingFace 加载特定版本的预训练权重，并使用自定义配置：

from mlx_llm.model import create_model

model = create_model(
    model_name="openelm_1.1B_instruct",
    weights="hf://apple/OpenELM-1.1B",
)

model = create_model(
    model_name="llama_3_8b_instruct",
    weights="hf://gradientai/Llama-3-8B-Instruct-262k",
    model_config={
        "rope_theta": 207112184.0
    }
)

模型量化 📉

用户可以对模型进行量化以优化性能：

from mlx_llm.model import create_model, quantize, get_weights
from mlx_llm.utils.weights import save_weights

model = create_model("llama_3_8b_instruct")
model = quantize(model, group_size=64, bits=4)
weights = get_weights(model)
save_weights(weights, "llama_3_8b_instruct-4bit.safetensors")

模型嵌入 ✴️

mlx-llm 中的模型可以从给定文本中提取嵌入：

import mlx.core as mx
from mlx_llm.model import create_model, create_tokenizer

model = create_model("llama_3_8b_instruct")
tokenizer = create_tokenizer('llama_3_8b_instruct')
text = ["I like to play basketball", "I like to play tennis"]
tokens = tokenizer(text)
x = mx.array(tokens["input_ids"])
embeds, _ = model.embed(x, norm=True)

应用场景 📁

mlx-llm 提供多种应用场景：

在 Apple Silicon 的命令行界面上与 LLM 进行对话
使用 LoRA 或 QLoRA 进行模型微调
用于问答的检索增强生成（RAG）

与 LLM 对话 📱

mlx-llm 提供了一些工具，使用户可以在 Apple Silicon 上轻松运行 LLM 对话。用户可以设置系统提示词以设定对话的整体语气，还可通过历史对话记录影响对话的氛围：

from mlx_llm.chat import ChatSetup, LLMChat
from mlx_llm.model import create_model, create_tokenizer
from mlx_llm.prompt import create_prompt

model_name = "tiny_llama_1.1B_chat_v1.0"

chat = LLMChat(
    model_name=model_name,
    prompt_family="tinyllama",
    chat_setup=ChatSetup(
        system="You are Michael Scott from The Office. Your goal is to answer like him, so be funny and inappropriate, but be brief.",
        history=[
            {"question": "What is your name?", "answer": "Michael Scott"},
            {"question": "What is your favorite episode of The Office?", "answer": "The Dinner Party"},
        ],
    ),
    quantized=False,
)

chat.start()

后续计划

完成 LoRA 和 QLoRA 的实现
完成 RAG 的实现

联系方式 📧

如果有任何问题，请发送电子邮件至 riccardomusmeci92@gmail.com。