#GenAI
Intel Extension for Transformers入门指南 - 加速Transformer模型的工具包
intel-extension-for-transformers
Intel® Extension for Transformers是专为提升基于Transformer架构的GenAI/LLM模型而设计的先进工具包。本工具包支持多种平台，如Intel Gaudi2、CPU和GPU，并整合了Hugging Face transformers APIs与Intel® Neural Compressor，提供顺畅的模型压缩过程和多样化的优化选择。此外，工具包含可定制的NeuralChat聊天机器人框架，为用户带来高效的AI交互体验。
helix
Helix是一款为企业提供的私有部署人工智能平台，允许自主控制数据安全并本地部署AI技术。平台支持简便的模型微调，实现拖放操作即可完成，适合处理语言和图像模型等任务。Helix通过优化GPU内存和响应时间的权衡，为企业提供高效、可扩展的AI解决方案，特别适用于需要保持数据隐私和数据安全的场合。Helix助力企业轻松引入开源AI的顶尖技术，开启私有人工智能的应用实践。
ps-fuzz
Prompt Fuzzer 是一个开源工具，用于评估和强化生成式人工智能（GenAI）应用的系统提示安全性。它通过模拟各类基于大型语言模型（LLM）的动态攻击，提供详细的安全评估，帮助识别并修复潜在漏洞。该工具根据应用的独特配置和领域调整测试，并提供一个交互式的 Playground 界面，便于迭代改进系统提示。Prompt Fuzzer 还支持多线程测试和多种 LLM 提供商的集成，确保全面的测试覆盖。其高效功能，使其成为开发高安全性 GenAI 应用的关键工具。
edgen
Edgen是一款本地运行的生成AI API服务器，兼容OpenAI API。支持文本生成、语音转文字等AI功能，可在Windows、Linux和MacOS平台上运行。通过本地推理保障数据隐私，减少对云计算的依赖。其模块化设计便于添加新模型，并能自动选择最佳运行时。Edgen还提供模型缓存功能，减少重复下载，无需Docker，采用Rust编写，为用户提供高效、可靠的AI解决方案。
genai
GenAI结合IPython与OpenAI的语言模型，在Jupyter环境中提供高级笔记本功能。功能包括代码生成、SQL查询解释和异常处理，显著提升编程效率。马上安装并体验其强大功能。
AyeHigh
AyeHigh平台整合了多种GenAI解决方案，面向学生和专业人士提供职业发展和教育辅助工具。平台核心功能包括简历评判、重写、筛选等，旨在提升用户的职业竞争力。此外，AyeHigh还提供图像实验室等创作者工具，为用户提供全面的AI辅助服务。通过运用人工智能技术，AyeHigh为用户的职业发展和创作需求提供高效解决方案。
EvalsOne
EvalsOne是一个面向生成式AI应用的综合评估平台。它集成了多样化的评估工具，支持LLM提示词优化、RAG流程改进和AI代理性能评估。平台简化了LLMOps流程，适用于AI应用的全生命周期。EvalsOne兼容多种模型，包括主流大模型和云端部署方案。平台提供即用型评估器，并支持自定义扩展，满足各类复杂场景需求。借助EvalsOne，开发者可以轻松进行评估实验、样本准备和深度分析，从而不断优化AI驱动的产品。
TheLoops
TheLoops是一个为客户体验(CX)团队打造的智能平台,整合预测分析和生成式AI技术,为CX运营提供实用洞察。平台功能涵盖AI辅助支持、自动质量保证和升级预测等,有助于提升客服团队效率并实现实时运营监控。TheLoops具备快速部署和简单操作的特点,可协助企业高效扩展CX能力,同时确保企业级数据安全。
vectordb-recipes
vectordb-recipes项目展示了如何利用Python和Web应用结合使用LanceDB和其他工具构建GenAI应用的完整示例和教程，实现从简单到复杂的快速开发。LanceDB无需额外设置，可直接融入Python数据生态系统，还支持类型化TypeScript SDK和服务器中的向量搜索。