访问官网
Github
文档
论文项目介绍：codequestion
codequestion 是一个专为开发者设计的语义搜索应用。它帮助开发者在本地环境中寻找与输入问题相似的开发相关问题，从而减少对网络搜索的依赖。以下是该项目的详细介绍。
项目概述
开发人员在工作时经常需要在浏览器中查找问题，而 codequestion 让这一过程更为简单和本地化。通过执行相似度查询，codequestion 可以在本地查找与输入问题相似的问题，这样开发者不必每次都在网上搜索。
codequestion 的默认模型基于 Stack Exchange 在 archive.org 上的公开数据构建。一旦安装了模型，用户即可离线使用，不需要网络连接进行查询。
技术细节
codequestion 使用 Python 3.8+ 开发，并整合了 txtai 做为其底层技术。这一项目可以通过以下步骤轻松安装并开始使用。
安装指南
要安装 codequestion，最简单的方法是通过 pip 和 PyPI：
pip install codequestion
推荐使用 Python 虚拟环境，以保障不同项目之间的依赖隔离。
如需访问最新的、尚未发布的功能，可以直接从 GitHub 安装：
pip install git+https://github.com/neuml/codequestion
模型下载
安装完成后，需下载所需的模型：
python -m codequestion.download
下载的模型将存储在 ~/.codequestion/ 目录下。如果没有直接的网络连接，也可以手动安装模型，默认的模型可以从 GitHub 发布页面中获取。
搜索使用
启动 codequestion 后，可以在 shell 中键入查询。在控制台输入 help 来查看所有可用命令。
主题和路径遍历
最新版本的 codequestion 集成了 txtai 5.0，支持语义图。通过语义图，可以进行主题建模和路径遍历。例如，可以查看两个可能完全无关联的条目如何通过语义图连接起来。
在 VS Code 中使用
在 Visual Studio Code 中，用户可以启动 codequestion 的提示框，直接从 IDE 中提出编程问题。按下 Ctrl+` 可以开启一个新的终端并输入 codequestion 启动搜索。
API 服务
codequestion 构建了一个标准的 txtai 嵌入索引，因此支持通过 txtai API 服务托管该索引。开发者可以配置一个 app.yml 文件来开启 API 服务，并通过 curl 命令测试 API 的搜索功能。
技术概述
数据处理
Stack Exchange 的 7z XML 原始数据经过多步骤处理，仅选取评分较高且有公认答案的问题存储到模型中。这些问题和答案被整合到一个名为 questions.db 的 SQLite 文件中。
建立索引
为 questions.db 中的每个问题构建 txtai 嵌入索引，使用一种句子变换模型为其向量化。全部转换完成后，这些嵌入将被存储在 Faiss 系统里，支持快速搜索。
查询处理
codequestion 使用与索引用相同的方法将每次查询令牌化，并将其转化为句子嵌入。通过 Faiss 索引来查找最相似的问题。
模型的构建
构建 codequestion 模型实际上包括从 Stack Exchange 下载数据，执行 ETL 过程，最终生成可被查询的索引。以下步骤涵盖了这一过程：
- 从 archive.org 下载 Stack Exchange 数据。
- 在本地设置目录结构并运行 ETL 过程。
- 选择性地构建词向量模型（如有需要）。
- 使用一个
index.yml文件建立嵌入索引。
模型准确性
为评估模型的性能，使用了 Mean Reciprocal Rank (MRR) 和 Pearson Correlation 衡量其在最新的 Stack Exchange 数据下的表现。
测试
可以在本地通过以下命令重现模型测试结果：
mkdir -p $TEST_PATH
wget https://raw.githubusercontent.com/neuml/codequestion/master/test/stackexchange/query.txt -P $TEST_PATH/stackexchange
wget http://ixa2.si.ehu.es/stswiki/images/4/48/Stsbenchmark.tar.gz
tar -C $TEST_PATH -xvzf Stsbenchmark.tar.gz
python -m codequestion.evaluate -s test -p $TEST_PATH
通过以上的描述和指引，开发者可以快速上手并体验 codequestion 带来的便利。它的本地搜索能力和嵌入技术的结合，使其成为开发者手头的强大工具。
