#Meta-Llama-3-8B-Instruct
CogVLM2 - 基于Llama3-8B的GPT4V级开源多模态模型
CogVLM2CogVLM2-VideoMeta-Llama-3-8B-Instruct视频理解图像理解Github开源项目
CogVLM2是基于Meta-Llama-3-8B-Instruct的下一代模型系列,在多项基准测试中表现优异,支持中英文内容和高分辨率图像处理。该系列模型适用于图像理解、多轮对话和视频理解,特别适合需要处理长文本和高分辨率图像的场景。CogVLM2系列还支持8K内容长度,并在TextVQA和DocVQA等任务中显著提升表现。体验更先进的CogVLM2和CogVLM2-Video模型,迎接未来视觉智能挑战。
Llama-3-8b-ita-ties-pro - 通过Mergekit实现的意大利语LLM模型合并及性能评价
Llama-3-8b-ita-ties-pro意大利LLM性能评估HuggingfaceGithub开源项目模型Meta-Llama-3-8B-Instruct模型合并
本项目结合Mergekit工具,采用TIES方法合并了意大利语的LLM模型,虽未超越现有最佳模型,但达到了满意的效果。详细性能请参阅意大利语言模型排行榜。合并过程涉及DeepMount00/Llama-3-8b-Ita和swap-uniba/LLaMAntino-3-ANITA-8B-Inst-DPO-ITA,基准模型为meta-llama/Meta-Llama-3-8B-Instruct。模型合并使用bfloat16数据类型,并对参数如密度和权重进行了优化。
Llama-3-8B-Instruct-GPTQ-4-Bit - 利用GPTQ量化优化模型性能的新方法
数据协调HuggingfaceGPTQ量化Meta-Llama-3-8B-InstructApache Airflow模型Github开源项目
Astronomer的4比特量化模型通过GPTQ技术减少VRAM占用至不足6GB,比原始模型节省近10GB。此优化提高了延迟和吞吐量,即便在较便宜的Nvidia T4、K80或RTX 4070 GPU上也能实现高效性能。量化过程基于AutoGPTQ,并按照最佳实践进行,使用wikitext数据集以减小精度损失。此外,针对vLLM和oobabooga平台提供详细配置指南,以有效解决加载问题。