leetcode-hard-gym
leetcode-hard-gym是一个基于OpenAI gym的强化学习环境,连接LeetCode提交服务器,用于评估代码生成智能体。该项目支持多种编程语言,并提供脚本构建未污染的LeetCode困难题目数据集。研究人员可以通过此环境设置、提交代码并获取评估结果,为代码生成研究提供便利工具。项目还包含一个排行榜,展示了不同AI模型在LeetCode困难题目上的表现,如GPT-4和Codex等。环境支持包括Python、Java、JavaScript在内的18种编程语言,为研究人员提供了广泛的评估选择。