Update Logs

• 2024.05

  • GPU 서버 지원 종료로 웹앱 데모를 종료합니다.

• 2023.07.28

  • RTX3090(4090/A5000) 4대 사용한 TensorParallel 기반 학습 예제 코드 추가

• 2023.06.12

  • Kakao/Telegram 봇 안내 삭제

• 2023.06.08

  • Colab: QLoRA로 학습한 adapter weight 로드해서 Inference하기 추가
    • Colab Free(T4 GPU)에서 로드 가능합니다.
    • 예제로 🤗beomi/qlora-koalpaca-polyglot-12.8b-50step 레포(50step 학습한 예제)를 사용합니다.

• 2023.06.02

  • 🐧KoRWKV-6B🤗 28B tokens ckpt 기반 🐧KoAlpaca-KoRWKV-6B🤗 v1.1a버전 학습 및 모델 공개

    🐧KoAlpaca-KoRWKV-6B 허깅페이스 레포🤗에 몇가지 생성 결과 샘플이 있습니다.

  • RTX 3090/4090/A5000으로 Polyglot-ko 5.8b full finetune 가이드 추가

• 2023.05.30

  • 무료 Colab(T4 GPU)에서 동작하는 학습 예제 추가: QLoRA로 Polyglot-ko 12.8B 모델 KoAlpaca v1.1a 학습 with 4bit
    • Colab 무료 - T4에서는 50sample에 약 4분, 1epoch에 약 15시간(최대 사용시간 초과)
    • Colab Pro - A100에서는 50sample에 약 44초, 1epochs에 약 2-3시간

• 2023.05.03

  • 🤗Polyglot-ko 5.8B 기반 KoAlpaca-Polyglot-5.8B-v1.1b fp16 모델 및 🤗8bit 모델 공개

• 2023.04.28

  • Logo 업데이트 🎉

• 2023.04.26

  • 웹UI에 Hugging Face ChatUI 적용
    • 해당 ChatKoAlpaca GPU서버는 모두의연구소 K-디지털 플랫폼의 지원을 받아 서비스되었습니다.(2024.05 종료)

• 2023.04.20

  • KoAlpaca v1.1 데이터셋 공개
  • 🤗Polyglot-ko 12.8B 기반 KoAlpaca-Polyglot-12.8B-v1.1b fp16 모델 및 🤗8bit 모델 공개
  • ChatKoAlpaca Web UI(v1.1b) 공개

• 2023.03.26: 🤗LLAMA 30B 기반 KoAlpaca 모델을 공개합니다. (LoRA로 학습)

  • LLAMA 30B 학습은 GIST Sundong Kim 교수님의 A100 지원으로 학습되었습니다. 감사합니다 😄

• 2023.03.24: 🤗LLAMA 13B 기반 KoAlpaca 모델을 공개합니다. (LoRA로 학습)

• 2023.03.23: 🤗LLAMA 65B 기반 KoAlpaca 모델을 공개합니다. (LoRA로 학습)

• 2023.03.22: 카카오톡에 포팅된 KoAlpaca 봇이 추가되었습니다.

KoAlpaca: Korean Alpaca Model based on Stanford Alpaca (feat. LLAMA and Polyglot-ko)

Stanford Alpaca 모델을 학습한 방식과 동일한 방식으로 학습을 진행한, 한국어를 이해하는 Alpaca 모델입니다.

바로 써보기: 채팅형 웹 페이지(v1.1b-chat) 혹은 카카오톡 봇, Telegram Bot으로 만나보세요!

ChatKoAlpaca: 채팅형 KoAlpaca (Polyglot-ko-12.8b-v1.1b)

• 해당 데모는 모두연 KoAlpaca Lab에서 모두의연구소 K-디지털 플랫폼의 지원 받아 진행되었습니다. 감사합니다 😍
• 2024년 5월 기준 서버 지원 종료로 서비스를 종료합니다.

• 설치 없이 Web으로 곧바로 만날 수 있습니다.
• 이전 대화의 맥락을 기억해 답변을 생성합니다.
• 최대 512 토큰의 응답을 생성하며, 이전 맥락은 (신규 생성 답변을 포함해) 최대 1024 토큰을 기억합니다.
• 데모에서는 A5000 24G GPU 2대로 Tensor Parallel을 통해 서빙중이며, fp16 모델로 서비스중입니다.

완성된 모델: 한국어 기반 모델(Polyglot-ko) & 영한 모델(LLAMA)

KoAlpaca는 백본 모델로 한국어 모델은 Polyglot-ko(5.8B)모델을, 영문+한국어 기반 모델은 LLAMA를 사용하였습니다.

1. Polyglot-ko 12.8B 기반 [Full Finetune v1.1] -> 🤗 beomi/KoAlpaca-Polyglot-12.8B

• 해당 모델은 ChatKoAlpaca에서 사용되었습니다.
• 해당 모델은 🤗 8Bit quantized된 모델도 제공합니다.

2. Polyglot-ko 5.8B 기반 [Full Finetune] -> 🤗 beomi/KoAlpaca-Polyglot
3. Meta LLAMA 7B 기반 [Full Finetune] -> 🤗 beomi/KoAlpaca
4. Meta LLAMA 13B 기반 [LoRA] -> 🤗 KoAlpaca-13B-LoRA
5. Meta LLAMA 30B 기반 [LoRA] -> 🤗 KoAlpaca-30B-LoRA
6. Meta LLAMA 65B 기반 [LoRA] -> 🤗 KoAlpaca-65B-LoRA

참고: LLAMA 13B로는, 찬성님(@deep-diver)이 학습하신 🤗chansung/koalpaca-lora-13b가 추가적으로 공개되어있습니다.)

Meta의 LLAMA 모델은 한국어 데이터셋을 충분히 학습하지 않아서, 실제 Inference를 돌려보았을 때 한국어 성능이 낮게 나오는 이슈가 있습니다.

보다 한국어에 나은 퀄리티를 얻어보고자 Polyglot-ko 5.8B, 12.8B 모델을 백본으로 사용한 모델도 학습시켰습니다.

이후 v1.1 데이터와 함께, 이전 대화의 맥락과 사용자의 추가 입력의 맥락을 이해하는 모델인 KoAlpaca v1.1을 공개합니다.

KoAlpaca 모델 실행 예시 코드

Huggingface Pipeline으로 실행

• 최신버전 torch / HF 라이브러리 설치

pip install -U torch transformers tokenizers accelerate safetensors

아래 예제 코드로 실행해볼 수 있습니다.

import torch
from transformers import pipeline, AutoModelForCausalLM

MODEL = 'beomi/KoAlpaca-Polyglot-5.8B'

model = AutoModelForCausalLM.from_pretrained(
    MODEL,
    torch_dtype=torch.float16,