#神经网络
tt-metal学习资料汇总-神经网络算子库和底层硬件编程模型
OpenOrca-Platypus2-13B
OpenOrca-Platypus2-13B融合了Platypus2-13B和OpenOrcaxOpenChat-Preview2-13B,采用LoRA技术进行微调,在MMLU、ARC、HellaSwag等基准测试中表现突出,相较初版模型,尤其在LSAT逻辑推理中有显著提升。用户可通过Nomic Atlas查阅完整数据集,并使用特定框架重现基准测试结果。建议开发者在应用之前进行安全测试与调整,以优化部署效果。
resnet18.a3_in1k
ResNet18的最新变体,在ImageNet-1k数据集上使用A3训练方法进行优化。模型具有ReLU激活函数、7x7卷积与池化、以及1x1卷积下采样设计,增强图像分类精度和特征提取能力,适合影像识别和深度学习项目应用。参数数量为11.7M,GMACs为0.9,适用于中小规模项目,易于集成部署。
eva02_large_patch14_448.mim_m38m_ft_in22k_in1k
EVA02_large_patch14_448是一个基于视觉Transformer架构的图像处理模型,通过在Merged-38M数据集预训练和ImageNet数据集微调,在图像分类任务中达到90.054%的准确率。模型整合了均值池化、位置编码等技术,支持图像分类和特征提取应用。
M7-7b
M7-7b项目通过mergekit工具和slerp方法实现多个语言模型的高效合并与优化。项目提供了丰富的技术细节,包括参数设置、数据类型和合并流程等,帮助开发者在模型性能提升和应用中获得实用指导。结合liminerity/merge等模型的实例解析,展示了开源项目在AI模型整合中的创新应用,适合对模型合并技术有兴趣的专业人士了解和研究。
deepseek-coder-6.7B-base-AWQ
deepseek-coder-6.7B-base是一个在2万亿token上训练的大规模代码语言模型。采用16K窗口大小和填空任务训练,支持项目级代码补全和填充。在多个编程语言基准测试中表现优异,擅长代码补全、生成和理解。模型由87%的代码和13%的中英文自然语言构成,可支持多语言编程任务。
sd-controlnet-scribble
ControlNet通过引入涂鸦图像等额外输入条件,为预训练的扩散模型提供条件控制,提升其生成能力。即使在训练数据集较少的情况下,该网络仍能保持良好的学习效果。模型支持在个人设备上训练,并可借助计算集群扩展到大规模数据集。此外,Stable Diffusion等扩散模型可与ControlNet结合,增强条件输入灵活性并拓展其应用领域。
mistral-7b-instruct-v0.3
这款通过Unsloth技术的Google Colab笔记本集合,简化了Mistral、Gemma和Llama等AI模型的finetune过程。简单操作即可提高模型速度超过两倍,并显著降低内存占用,同时允许将优化的模型导出为GGUF、vLLM,或上传至Hugging Face,适合初学者使用。
electra-small-generator
ELECTRA是一种自监督语言表示学习方法,用于优化Transformer网络的预训练。该模型在小规模下可用单GPU运行,并在大规模数据集如SQuAD 2.0上实现了优异表现。ELECTRA的训练方式借鉴了GAN中的判别器,通过区分真实与虚假输入令牌来学习。项目库提供了ELECTRA的预训练及下游任务精调代码,适用于分类、问答和序列标注等任务。
SmolLM-360M
SmolLM-360M是一款拥有3.6亿参数的高效语言模型,基于Cosmo-Corpus数据集训练而成。该模型利用Cosmopedia v2合成教材、Python-Edu教育样本和FineWeb-Edu网络教育资源等高质量数据,在常识推理和世界知识等多项基准测试中表现出色。SmolLM-360M支持CPU/GPU部署,并提供8位和4位量化版本以优化内存使用。这款模型主要面向英语内容生成和理解,可作为AI辅助工具在多种场景中应用。