StarWhisper - 语言、时序与多模态框架

星语StarWhisper项目介绍

项目背景

星语（StarWhisper）是在中国国家天文台和之江实验室的支持下开发的天文大模型系列。该系列包含语言模型、时序模型以及多模态模型，参数规模从7亿到72亿不等，专注于提升与天文相关的计算能力和研究效率。

版本更新

数据提升：基于经过清洗和纠正的科普与科研数据开展训练，不断改进模型的天文物理、代码处理及智能代理能力。
技术报告发布：
- 发布了《StarWhisper LC》，提出了一种基于大模型的光变曲线数据处理的最新方法 (SOTA)。
- 即将发布关于《StarWhisper Pulsar》的技术报告，介绍脉冲星检测的新方法。
多模态框架：通过Visual Agent实现多模态多任务框架，并与望远镜控制系统进行集成。

效果展示

以下是StarWhisper的一些模型效果图片展示：效果图片1 效果图片2

快速使用指南

对于想要快速体验StarWhisper模型的人，可以通过以下Python代码进行多轮对话交互的尝试：

from transformers import Qwen2VLForConditionalGeneration, AutoTokenizer, AutoProcessor
from qwen_vl_utils import process_vision_info
from modelscope import snapshot_download
model_dir = snapshot_download("AstroYuYang/StarWhisper4")

model = Qwen2VLForConditionalGeneration.from_pretrained(
    model_dir, torch_dtype="auto", device_map="auto"
)

processor = AutoProcessor.from_pretrained(model_dir)

messages = [
    {
        "role": "user",
        "content": [
            {
                "type": "image",
                "image": "https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/demo.jpeg",
            },
            {"type": "text", "text": "Describe this image."},
        ],
    }
]

text = processor.apply_chat_template(
    messages, tokenize=False, add_generation_prompt=True
)
image_inputs, video_inputs = process_vision_info(messages)
inputs = processor(
    text=[text],
    images=image_inputs,
    videos=video_inputs,
    padding=True,
    return_tensors="pt",
)
inputs = inputs.to("cuda")

generated_ids = model.generate(**inputs, max_new_tokens=128)
generated_ids_trimmed = [
    out_ids[len(in_ids) :] for in_ids, out_ids in zip(inputs.input_ids, generated_ids)
]
output_text = processor.batch_decode(
    generated_ids_trimmed, skip_special_tokens=True, clean_up_tokenization_spaces=False
)
print(output_text)

司天工程

司天工程，是中国天文学家为时域天文学提出的一项重点天文设施计划。其一期计划在国内安装54台1米级大视场望远镜，组成多波段观测网络，旨在突破现有技术限制，实现高精度巡天。司天工程的"大脑"需要支持天文数据处理的AI工具，星语作为备选方案之一，通过大模型技术探索多模态天文问题解决方案。

司天工程图片

许可证信息

星语的源码采用Apache-2.0许可协议进行开源分发。有关具体模型权重的使用，需要遵循相应的许可证要求。

项目展望

未来星语项目计划通过以下方向进一步改进与发展：

大语言模型：预训练扩充天文知识，调整数据比例并通过人工反馈优化模型性能。
专业多模态：开放多模态微调权重，探索其在天文图像生成与识别中的应用。
观测Agent：增强模型编程能力及其在天文环境中的互动能力，验证作为"司天大脑"可行性方案。

希望这篇介绍能帮助你更好地了解星语项目的价值及其广泛的应用前景。如果该项目对您有所帮助，请参阅如下引用信息：

@misc{li2024deeplearningllmbasedmethods,
      title={Deep Learning and LLM-based Methods Applied to Stellar Lightcurve Classification}, 
      author={Yu-Yang Li and Yu Bai and Cunshi Wang and Mengwei Qu and Ziteng Lu and Roberto Soria and Jifeng Liu},
      year={2024},
      eprint={2404.10757},
      archivePrefix={arXiv},
      primaryClass={astro-ph.IM},
      url={https://arxiv.org/abs/2404.10757}, 
}

通过Github上的Star History Chart可以追踪项目的受欢迎程度。