[!重要]
自2023年11月15日起,Azure 认知搜索已更名为 Azure AI 搜索。Azure 认知服务也已更名为 Azure AI 服务。
这个行业加速器展示了 Azure 与 OpenAI 大型语言模型之间的集成。它利用 Azure AI 搜索进行数据检索和 ChatGPT 风格的问答互动。使用检索增强生成(RAG)设计模式和 Azure OpenAI 的 GPT 模型,它提供了自然语言交互来发现用户查询的相关响应。Azure AI 搜索简化了数据摄取、转换、索引和多语言翻译。
加速器根据模型类型调整提示以提高性能。用户可以自定义温度和角色等设置,实现个性化 AI 互动。它提供了可解释的思考过程、可引用的引文和直接内容验证等功能。
请观看此视频了解使用此加速器可能实现的用例。
它使用检索增强生成(RAG)模式生成基于特定数据源的响应。通过结合相关信息的检索和生成能力,它可以产生不仅上下文相关,而且基于验证数据的响应。RAG 管道在生成响应之前访问您的数据集以检索相关信息,确保准确性和可靠性。此外,每个响应都包含对源自答案的文档块 的引用,提供透明度并允许用户验证来源。这种方法在精确性和事实性至关重要的领域特别有优势。用户可以信任生成的响应是基于可靠的数据源,从而提高应用程序的可信度和实用性。有关我们的有依据(RAG)的具体信息,请参阅 RAG
它利用大型语言模型(LLM)的能力以无依据的方式生成响应,不依赖外部数据源或检索增强生成技术。LLM 经过大量文本数据的训练,使其能够仅基于提供的输入生成连贯且上下文相关的响应。这种方法允许开放式和创造性的生成,适用于构思、头脑风暴和探索假设场景等任务。需要注意的是,生成的响应并非基于特定事实数据,应该进行批判性评估,尤其是在准确性和可验证性至关重要的领域。
它提供3种响应选项:一种通过我们的检索增强生成(RAG)管道生成,另一种基于直接来自网络的内容。当用户选择 RAG 响应时,他们会收到一个基于您数据的有依据答案,并附有文档块引用以提供透明度和验证。相反,选择网络响应可以访问更广泛的来源,可能提供更多样化的视角。每个网络响应都基于网络内容,并附有网络链接引用,允许用户探索原始来源以获取更多上下文和验证。根据请求,它还可以生成一个比较和对比两种响应的最终答复。这种比较分析允许用户根据信息的可靠性、相关性和上下文做出明智的决定。 有关我们的有依据和网络的具体信息,请参阅 网络
它通过使用 LLM 作为推理引擎来生成响应。其关键优势在于代理能够自主推理任务、将其分解为步骤,并确定适当的工具和数据源, 而无需预定义任务定义或严格的工作流程。这种方法允许动态和自适应的响应生成过程,无需预定义一组任务。它利用 LLM 的能力来理解自然语言查询并生成针对特定任务的响应。这些代理正在以预览模式发布,我们继续评估和缓解与自主推理相关的潜在风险,如外部工具的滥用、透明度不足、偏见输出、隐私问题和远程代码执行漏洞。在未来的版本中,我们计划努力提高这些自主推理能力的安全性和健壮性。有关我们预览代理的具体信息,请参阅 助手。
IA 加速器包含多项功能,其中许多都有自己的文档。
详细信息请参阅我们的功能页面。
**重要:**为了部署和运行此示例,您需要:
访问以下 Azure OpenAI 模型之一:
模型名称 | 支持的版本 |
---|---|
gpt-35-turbo | 当前版本 |
gpt-35-turbo-16k | 当前版本 |
gpt-4 | 当前版本 |
gpt-4-32k | 当前版本 |
**重要:**推荐使用 gpt-35-turbo-16k (0613)。GPT 4 模型可能会在 IA 加速器中获得更好的结果。
(可选)访问以下用于嵌入的 Azure OpenAI 模型。某些开源嵌入模型可能更适合您的特定数据或用例。对于 Information Assistant 测试的用例和数据,我们推荐使用以下 Azure OpenAI 嵌入模型。
模型名称 | 支持的版本 |
---|---|
text-embedding-ada-002 | 当前版本 |
Microsoft.Authorization/roleAssignments/write
权限,如基于角色的访问控制管理员、用户访问管理员或所有者。Microsoft.Resources/deployments/write
权限。microsoft.directory/applications/create
和 microsoft.directory/servicePrincipals/create
权限,如 Entra 内置角色中的应用程序管理员。请按照部署指南中的说明在您的 Azure 订阅中安装 IA 加速器。
完成后,按照首次使用 IA 加速器的说明进行操作。
您可以选择**查看部署和使用点击指南**以查看实际步骤。这些视频可能有助于澄清说明中的具体步骤或操作。
信息助手(IA)加速器和微软致力于推进以道德原则为先的 AI 发展,将人置于首位。
阅读我们的透明度声明
通过微软的负责任的 AI 资源了解更多信息
内容安全通过 Azure OpenAI 服务提供。Azure OpenAI 服务包括一个与核心 AI 模型并行运行的内容过滤系统。该系统使用一组分类模型来检测四类潜在有害内容(暴力、仇恨、性和自残)的四个严重程度级别(安全、低、中、高)。这4个类别可能不足以满足所有用例,特别是对于未成年人。请阅读我们的透明度声明
默认情况下,内容过滤器设置为过滤掉被检测为中等或高严重程度的提示和完成内容。被标记为低或安全严重程度的内容不会被过滤。
还有可选的二进制分类器/过滤器,可以检测越狱风险(试图绕过过滤器)以及从公共存储库提取的现有文本或代码。这些默认是关闭的,但某些场景可能需要启用公共内容检测模型以保持客户版权承诺的覆盖范围。
过滤配置可以在资源级别自定义,允许客户分别为提示和完成内容调整每个危害类别的过滤严重程度阈值。
这为 Azure 客户提供了控制,以根据需要定制内容过滤行为,同时旨在防止潜在有害的生成内容和公共内容的任何版权侵犯。
有关如何通过 Azure OpenAI Studio 配置内容过滤器的说明,可以在此处找到 https://learn.microsoft.com/en-us/azure/ai-services/openai/how-to/content-filters#configuring-content-filters-via-azure-openai-studio-preview
该软件可能会收集有关您和您使用软件情况的信息,并将其发送给微软。微软可能会使用这些信息来提供服务并改进我们的产品和服务。您可以按照存储库中的说明关闭遥测功能。软件中还有一些功能可能使您和微软能够从您的应用程序用户那里收集数据。如果您使用这些功能,您必须遵守适用法律,包括向您的应用程序用户提供适当的通知以及微软隐私声明的副本。我们的隐私声明位于https://go.microsoft.com/fwlink/?LinkID=824704。您可以在帮助文档和我们的隐私声明中了解更多关于数据收集和使用的信息。您使用该软件即表示您同意这些做法。
本存储库中软件的数据收集仅供微软用于帮助证明为客户构建和维护此加速器的团队所做的努力。您可以 选择保持启用或禁用数据收集。
数据收集是通过在部署时在环境变量中存在跟踪GUID来实现的。GUID与安装脚本部署的每个Azure资源相关联。微软使用此GUID来跟踪此开源解决方案产生的Azure消耗。
要禁用数据收集,请在部署之前按照配置ENV文件部分中关于ENABLE_CUSTOMER_USAGE_ATTRIBUTION
变量的说明进行操作。
该项目具有以下结构:
文件/文件夹 | 描述 |
---|---|
.devcontainer/ | Dockerfile、devcontainer配置和支持脚本,用于启用GitHub Codespaces和本地DevContainers。 |
app/backend/ | IA网站的中间件部分,包含提示工程并为客户端代码提供API层,用于与各种Azure服务通信。这些代码基于Python,并作为Flask应用程序托管。 |
app/enrichment/ | 基于文本的文件丰富过程,处理语言翻译、嵌入文本块,并将文本块插入Azure AI Search混合索引。这些代码基于Python,并作为订阅Azure存储队列的Flask应用程序托管。 |
app/frontend/ | IA网站的用户体验层。这些代码基于TypeScript,作为Vite应用程序托管,并使用npm编译。 |
azure_search/ | 在部署脚本中应用的Azure Search混合索引配置。 |
docs/adoption_workshop/ | 与讨论中的采用研讨会视频相匹配的PPT文件。 |
docs/deployment/ | 关于如何部署和开始使用Information Assistant的详细文档。 |
docs/features/ | Information Assistant特定功能和开发级配置的详细文档。 |
docs/ | 其他支持文档,主要从其他markdown文件链接。 |
functions/ | 处理文档提取和分块以及自定 义CosmosDB日志记录的Azure Functions管道。 |
infra/ | 部署整个IA加速器的Terraform脚本。整个加速器通过main.tf 文件进行编排,但大多数资源部署都在core文件夹下模块化。 |
pipelines/ | 可用于启用加速器CI/CD部署的Azure DevOps管道。 |
scripts/environments/ | 部署配置文件。这是设置所有外部配置值的地方。 |
scripts/ | 执行各种部署任务的支持脚本,如基础设施部署、Azure WebApp和Function部署、构建webapp和functions源代码等。这些脚本与Makefile 中的可用命令一致。 |
tests/ | 用于验证已部署的Information Assistant文档处理管道是否按预期工作的功能测试脚本。 |
Makefile | 部署命令定义和配置。您可以使用make help 获取有关可用命令的更多详细信息。 |
README.md | 本存储库的起点。它涵盖了加速器、负责任的AI、环境、部署和使用加速器的概述。 |
本项目可能包含项目、产品或服务的商标或标志。微软商标或标志的授权使用必须遵循微软商标和品牌指南。在修改版本的本项目中使用微软商标或标志不得造成混淆或暗示微软赞助。任何第三方商标或标志的使用都受这些第三方的政策约束。
本项目采用了微软开源行为准则。有关更多信息,请参阅行为准则常见问题解答或联系opencode@microsoft.com提出任何其他问题或意见。
对于安全问题,请参阅安全指南
OpenAI Agents SDK,助力开发者便捷使用 OpenAI 相关功能。
openai-agents-python 是 OpenAI 推出的一款强大 Python SDK,它为开发者提供了与 OpenAI 模型交互的高效工具,支持工具调用、结果处理、追踪等功能,涵盖多种应用场景,如研究助手、财务研究等,能显著提升开发效率,让开发者更轻松地利用 OpenAI 的技术优势。
高分辨率纹理 3D 资产生成
Hunyuan3D-2 是腾讯开发的用于 3D 资产生成的强大工具,支持从文本描述、单张图片或多视角图片生成 3D 模型,具备快速形状生成能力,可生成带纹理的高质量 3D 模型,适用于多个领域,为 3D 创作提供了高效解决方案。
一个具备存储、管理和客户端操作等多种功能的分布式文件系统相关项目。
3FS 是一个功能强大的分布式文件系统项目,涵盖了存储引擎、元数据管理、客户端工具等多个模块。它支持多种文件操作,如创建文件和目录、设置布局等,同时具备高效的事件循环、节点选择和协程池管理等特性。适用于需要大规模数据存储和管理的场景,能够提高系统的性能和可靠性,是分布式存储领域的优质解决方案。
用于可扩展和多功能 3D 生成的结构化 3D 潜在表示
TRELLIS 是一个专注于 3D 生成的项目,它利用结构化 3D 潜在表示技术,实现了可扩展且多功能的 3D 生成。项目提供了多种 3D 生成的方法和工具,包括文本到 3D、图像到 3D 等,并且支持多种输出格式,如 3D 高斯、辐射场和网格等。通过 TRELLIS,用户可以根据文本描述或图像输入快速生成高质量的 3D 资产,适用于游戏开发、动画制作、虚拟现实等多个领域。
10 节课教你开启构建 AI 代理所需的一切知识
AI Agents for Beginners 是一个专为初学者打造的课程项目,提供 10 节课程,涵盖构建 AI 代理的必备知识,支持多种语言,包含规划设计、工具使用、多代理等丰富内容,助您快速入门 AI 代理领域。
AI Excel全自动制表工具
AEE 在线 AI 全自动 Excel 编辑器,提供智能录入、自动公式、数据整理、图表生成等功能,高效处理 Excel 任务,提升办公效率。支持自动高亮数据、批量计算、不规则数据录入,适用于企业、教育、金融等多场景。
基于 UI-TARS 视觉语言模型的桌面应用,可通过自然语言控制计算机进行多模态操作。
UI-TARS-desktop 是一款功能强大的桌面应用,基于 UI-TARS(视觉语言模型)构建。它具备自然语言控制、截图与视觉识别、精确的鼠标键盘控制等功能,支持跨平台使用(Windows/MacOS),能提供实时反馈和状态显示,且数据完全本地处理,保障隐私安全。该应用集成了多种大语言模型和搜索方式,还可进行文件系统操作。适用于需要智能交互和自动化任务的场景,如信息检索、文件管理等。其提供了详细的文档,包括快速启动、部署、贡献指南和 SDK 使用说明等,方便开发者使用和扩展。
开源且先进的大规模视频生成模型项目
Wan2.1 是一个开源且先进的大规模视频生成模型项目,支持文本到图像、文本到视频、图像到视频等多种生成任务。它具备丰富的配置选项,可调整分辨率、扩散步数等参数,还能对提示词进行增强。使用了多种先进技术和工具,在视频和图像生成领域具有广泛应用前景,适合研究人员和开发者使用。
全流程 AI 驱动的数据可视化工具,助力用户轻松创作高颜值图表
爱图表(aitubiao.com)就是AI图表,是由镝数科技推出的一款创新型智能数据可视化平台,专注于为用户提供便捷的图表生成、数据分析和报告撰写服务。爱图表是中国首个在图表场景接入DeepSeek的产品。通过接入前沿的DeepSeek系列AI模型,爱图表结合强大的数据处理能力与智能化功能,致力于帮助职场人士高效处理和表达数据,提升工作效率和报告质量。
一款强大的视觉语言模型,支持图像和视频输入
Qwen2.5-VL 是一款强大的视觉语言模型,支持图像和视频输入,可用于多种场景, 如商品特点总结、图像文字识别等。项目提供了 OpenAI API 服务、Web UI 示例等部署方式,还包含了视觉处理工具,有助于开发者快速集成和使用,提升工作效率。