Project Icon

bigcodebench

高难度代码生成基准测试评估LLM编程能力

BigCodeBench是一个具有挑战性的代码生成基准测试,用于评估大型语言模型的实际编程能力。它提供复杂指令和多样函数调用,包括数据集、生成和评估脚本。基于EvalPlus框架,BigCodeBench实现精确评估和排名,提供预生成样本以加速研究。支持多种评估环境,采用unittest进行代码测试,为研究人员提供全面工具。

CodeGeeX4 - 开源多语言代码生成模型的新突破
AI编程CodeGeeX4Github代码生成多语言模型开源开源项目
CodeGeeX4-ALL-9B是一个基于GLM-4-9B训练的多语言代码生成模型。它提供代码补全、生成、解释等多项功能,并支持网络搜索、函数调用和仓库级代码问答。作为参数量低于10B的代码生成模型中性能最佳的一款,CodeGeeX4-ALL-9B在多个公开基准测试中表现优异,在某些方面甚至超越了参数量更大的通用模型,体现了其在推理速度和模型性能之间的出色平衡。
leetcode-hard-gym - 用于评估代码生成智能体的LeetCode强化学习环境
GithubLeetcode-Hard Gym代码生成开源项目强化学习环境接口编程语言
leetcode-hard-gym是一个基于OpenAI gym的强化学习环境,连接LeetCode提交服务器,用于评估代码生成智能体。该项目支持多种编程语言,并提供脚本构建未污染的LeetCode困难题目数据集。研究人员可以通过此环境设置、提交代码并获取评估结果,为代码生成研究提供便利工具。项目还包含一个排行榜,展示了不同AI模型在LeetCode困难题目上的表现,如GPT-4和Codex等。环境支持包括Python、Java、JavaScript在内的18种编程语言,为研究人员提供了广泛的评估选择。
LLMBox - 全面的大型语言模型训练与评估框架
GithubLLMBox大语言模型开源项目模型评估训练管道高效推理
LLMBox是一个综合性大型语言模型(LLM)库,集成了统一的训练流程和全面的模型评估功能。该框架旨在提供LLM训练和应用的完整解决方案,其设计注重实用性,在训练和使用过程中体现出高度的灵活性和效率。LLMBox支持多样化的训练策略和数据集,提供丰富的评估方法,并具备高效的推理和量化能力,为LLM的研究和开发提供了强大支持。
codegen-350M-multi - 支持多种编程语言的程序合成模型
CodeGenGithubHuggingface多语言模型开源项目模型程序合成行业应用训练数据
CodeGen-Multi 350M是一种程序合成模型,旨在生成可执行代码。其预训练数据来自GitHub的多语言代码库,包括C、C++、Go、Java、JavaScript和Python等。模型具备350M个参数,可以高效生成和补全代码。适用于HumanEval和MTPB等基准测试,为程序合成任务提供了良好的支持。
codegen-2B-multi - 提供多语言程序合成的自回归语言模型
CodeGenGithubHuggingface多编程语言开源项目机器学习模型模型程序合成自动生成代码
CodeGen-Multi 2B模型是一种自回归语言模型,经过多个编程语言的大规模数据集预训练,能够合成可执行代码。模型以CodeGen-NL 2B为基础,并在多语言数据上进一步训练,能够从自然语言和编程语言中提取特征。模型在主要代码生成基准上经过评估,可用于从注释生成代码或完成部分代码。用户可借助AutoModelForCausalLM功能加载模型,适用于多种编程语言。
codebert-java - CodeBERT模型针对Java代码优化 助力代码生成评估
CodeBERTGitHub代码数据集GithubHuggingface代码生成评估开源项目机器学习模型模型自然语言处理
这是一个基于microsoft/codebert-base-mlm模型训练的CodeBERT变体,专注于Java代码处理。经过100万步的掩码语言建模训练,该模型主要应用于CodeBERTScore项目,用于评估代码生成质量。它利用codeparrot/github-code-clean数据集的Java代码,不仅可用于代码生成评估,还能支持其他代码分析任务,为相关研究和应用提供了有力支持。
promptbench - 大语言模型的评估与理解综合工具包
GithubPrompt EngineeringPromptBench大语言模型对抗性提示开源项目评估
基于Pytorch的Python包,提供评估和理解大语言模型的友好API。支持快速模型性能评估、提示工程、对抗性提示评估和动态评估框架。兼容多种模型(如GPT-4、Llama2、BLIP2)和数据集(如GLUE、SQuAD、VQAv2)。适合研究人员和开发者使用与扩展。
CodeLlama-7b-hf - 大规模预训练模型助力代码生成与解析
GithubHuggingfaceLLAMA 2Python代码合成使用政策开源项目模型模型参数
Code Llama是一套从7亿到340亿参数的生成文本模型,设计用于代码合成与理解。这些模型基于Hugging Face Transformers架构,提供7B基础版本,具备代码补全和填充功能。针对Python的特定变体也已开发,以便提供更佳的技术支持。探索Code Llama可以如何为项目提供技术支持,满足多样的商业与研究需求。
can-ai-code - 通过人类撰写的面试题测试AI的编程能力
AI codingDockerGithubLLMquantizationtesting suite开源项目
该项目通过人类撰写的面试题测试AI的编程能力,提供多种主流API提供商和CUDA支持的推理脚本,并在基于Docker的沙盒环境中验证Python和NodeJS代码的安全性。用户可以评估提示技巧和采样参数对大语言模型(LLM)编码性能的影响,以及量化对LLM编码性能的衰减影响。项目包括多语言测试套件和来自OpenAI的Python-only测试套件,支持对比分析,并提供了详尽的结果数据和评估脚本。
llm-compiler-7b - 一种用于增强代码优化的先进语言模型
GithubHuggingfaceLLVMMeta Large Language Model Compiler代码优化开源开源项目模型编译器优化
Meta的LLM Compiler是一款编译器优化语言模型,基于Code Llama构建,提升了对编译器中间表示与汇编语言的理解。LLM Compiler提供7B和13B两个版本,能够预测LLVM优化效果,在代码优化与反汇编任务中表现优异,实现了显著的代码优化和反汇编准确性。这一模型适用于研究与商业用途,助力开发者提高代码优化效率。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号