#端到端模型
相关项目
athena
一款基于Tensorflow构建的开源端到端语音处理平台,旨在提升语音处理技术的研究与实际应用。支持自动语音识别、语音合成、关键词检测等多项功能,配备多GPU训练和无Kaldi的Python特征提取,实现了多种模型结构如FastSpeech和Conformer,适用于各类研究和应用需求。该平台在最新更新中加入了FastSpeech2和Conformer-CTC模型以优化处理速度和准确性。
sherpa
sherpa是基于PyTorch的开源E2E语音识别框架,专注于转录器和CTC模型。提供C++和Python API,适用于部署预训练模型进行语音转写。此外,sherpa-onnx和sherpa-ncnn等相关项目支持iOS、Android和嵌入式系统,无需依赖PyTorch。用户可通过浏览器直接体验sherpa的语音识别功能。
wetts
WeTTS是一个开源的端到端文本转语音(TTS)工具包,专注于生产级和设备端应用。它支持多语言处理,提供预训练模型,并可在x86、Android和树莓派等多种平台上运行。WeTTS采用VITS等先进的端到端模型,结合WeTextProcessing进行文本规范化,并使用基于BERT的统一前端处理中文语音合成。该工具包支持多个开源数据集,为研究者和开发者提供高质量、易用的TTS解决方案。
carla_garage
基于CARLA仿真器的端到端自动驾驶研究开源项目。提供可配置代码、文档和高性能预训练模型,揭示了端到端驾驶模型的隐藏偏差。在多个基准测试中表现优异,支持数据生成、模型训练和评估,有助于研究人员探索自动驾驶前沿问题。
BEV-Planner
BEV-Planner项目研究端到端自动驾驶中的关键问题。研究发现在nuScenes数据集上,模型过度依赖车辆状态而忽视感知信息。项目提出新的评估指标和基准方法,全面评估规划质量。研究结果质疑当前自动驾驶研究方向,建议重新审视现有方法。项目为自动驾驶领域提供新思路,包括道路遵循性评估和简单但有效的基线模型。