Project Icon

Arabic-Whisper-CodeSwitching-Edition

针对阿拉伯语和英语混合语音的优化识别模型

本模型是经过精调的OpenAI Whisper Large v2版本,旨在提升阿拉伯语和英语混合语音的识别精度。基于阿拉伯-英语代码切换数据集训练,适用于处理多语言环境中的阿拉伯语和英语混合语音。虽然在该特定场景中表现优异,但在其它语言或单语言场景中性能可能有所下降。

ARBERTv2 - 基于大规模MSA语料的阿拉伯语双向Transformer模型
BERTGithubHuggingface开源项目机器学习模型自然语言处理阿拉伯语预训练语言模型
ARBERTv2是一款针对阿拉伯语的高性能预训练语言模型。它基于243GB文本和278亿个标记的现代标准阿拉伯语(MSA)语料库训练,是ARBERT的升级版。在ARLUE基准测试中,ARBERTv2在48个分类任务中的37个上实现了最佳性能,总体评分达77.40,优于包括XLM-R Large在内的其他模型,展现了卓越的阿拉伯语理解能力。
WhisperHallu - 实验性音频预处理工具提升Whisper转录准确度
AI处理GithubWhisper噪音去除开源项目语音转录音频预处理
WhisperHallu是一个实验性音频预处理项目,通过降噪、静音去除和语音标记等技术优化Whisper转录,减少幻听文本。该工具提供多种处理选项,支持与WhisperTimeSync和karaok-AI等项目集成。项目包含Google Colab笔记本和详细的安装使用说明,为追求高质量音频转录的开发者和研究人员提供了实用解决方案。
openai-whisper-realtime - 低延迟实时音频转录,依赖高性能硬件和Python生态
GithubOpenAI WhisperPython依赖项实时转录开源项目音频输入
openai-whisper-realtime是一个几乎实时转录音频的实验项目,使用Python和OpenAI Whisper处理音频。该项目依赖高性能CPU或GPU,使用sounddevice、numpy和asyncio等库。当前目标包括提升转录性能、优化断词检测和动态分割。
switch-base-8 - 基于专家模型的高效语言模型训练
C4数据集GithubHuggingfaceSwitch TransformersT5屏蔽语言建模开源项目模型混合专家
Switch Transformers是一个创新的专家混合模型,专为在Colossal Clean Crawled Corpus数据集上进行掩码语言建模任务而设计,在训练速度上较T5-XXL模型提升4倍。其架构使用Sparse MLP层替代传统T5模型中的前馈层,提供更快训练且性能优异。该模型在未微调前并不适用于直接应用任务,需进一步调优。Switch Transformers适合需要高效和短时间内取得优异结果的开发者与研究者。
openai-whisper - Next.js实现的自动语音识别,支持实时转录和录音回放
GithubNext.jsopenai-whisper实时转录开源项目自动化转录语音识别
本项目是基于OpenAI Whisper的自动语音识别系统webapp,使用Next.js框架开发。它能自动录音并上传至服务器进行转录和翻译,然后将结果返回前端。支持录音回放以验证输出效果,同时可通过设置消除背景噪音和调整录音暂停时间。项目仍在开发中,提供多种配置选项,适合需要快速实现语音转录功能的开发者。
WhisperKit - Swift语音识别框架实现Apple设备本地推理
Apple设备CoreMLGithubSwiftWhisperKit开源项目语音识别
WhisperKit是一个集成OpenAI Whisper模型和Apple CoreML框架的Swift语音识别包。该框架支持Apple设备上的本地推理,具有自动选择适用模型、自定义模型部署等功能。WhisperKit提供音频转录API和命令行工具,便于开发者使用和测试。作为开源项目,WhisperKit欢迎社区贡献,不断优化其性能和功能。
insanely-fast-whisper - 高效率开源语音转录命令行工具
AI模型CLI工具GithubWhisper开源项目性能优化语音转录
Insanely Fast Whisper是一款开源的高性能语音转录命令行工具,基于Transformers、Optimum和Flash Attention技术。该工具支持OpenAI的Whisper Large v3模型,能够在98秒内处理150分钟的音频。通过Flash Attention 2和批处理等优化,大幅提升了转录效率。适用于NVIDIA GPU和Mac设备,用户可通过简单的命令实现快速准确的音频转录。
whisper-jax - 速度提升70倍的Whisper JAX音频转录与翻译解决方案
GithubWhisper JAX并行处理开源项目性能模型音频转录
Whisper JAX是基于Hugging Face Transformers实现的音频转录与翻译模型,通过JAX代码优化实现70倍速度提升,兼容CPU、GPU和TPU。模型能在Hugging Face Hub演示,并提供详细的安装、使用和高级配置指南,助力开发者在多种环境下高效部署。
whisper-tiny-quiztest - 微型语音识别模型为Quiz测试场景提供精准解决方案
GithubHuggingfaceWhisper Tiny开源项目数据集机器学习模型模型微调语音识别
Whisper Tiny Quiztest是一款基于openai/whisper-tiny模型优化的自动语音识别(ASR)系统,专注于提升quiz测试场景的识别效果。通过在quiztest数据集上的训练,该模型在评估集上实现了55.05%的词错误率(WER)。采用Adam优化器和余弦退火学习率策略,经过1000步训练后,模型性能得到显著提升。作为一个轻量级解决方案,Whisper Tiny Quiztest为Quiz应用提供了高效的语音识别支持。
whisper-vits-svc - 基于VITS的端到端歌声转换开源项目
AIGithubPyTorchVITS开源项目深度学习语音转换
whisper-vits-svc是一个开源的端到端歌声转换项目,基于VITS模型架构。该项目支持多说话人转换,可混合创建新音色,并能处理带轻伴奏的声音。它集成了Whisper、BigVGAN等技术,提高了抗噪性和音质。项目面向深度学习入门者,需要Python和PyTorch基础。目前不支持实时转换,训练需要至少6GB显存。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

Project Cover

天工AI音乐

天工AI音乐平台支持音乐创作,特别是在国风音乐领域。该平台适合新手DJ和音乐爱好者使用,帮助他们启动音乐创作,增添生活乐趣,同时发现和分享新音乐。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号