ClipsAI
快速入门
ClipsAI 是一个开源 Python 库,可以自动将长视频转换为短片段。只需几行代码,您就能将视频分割成多个片段,并将其宽高比从 16:9 调整为 9:16。
注意: ClipsAI 专为以音频为中心、基于叙事的视频而设计,如播客、访谈、演讲和布道。它积极使用视频转录来识别和创建片段。我们的调整算法能动态重新构图并聚焦于当前说话者,将视频转换为各种宽高比。
完整文档请访问 ClipsAI 文档。 查看由该库生成的片段的 UI 演示。
安装
-
安装 Python 依赖。
我们强烈建议使用虚拟环境(如 venv)以避免依赖冲突pip install clipsai
pip install whisperx@git+https://github.com/m-bain/whisperx.git
-
安装 libmagic
-
安装 ffmpeg
创建片段
由于片段是通过视频的转录找到的,因此必须先对视频进行转录。转录使用 WhisperX 完成,这是一个开源的 Whisper 包装器,具有检测每个单词开始和结束时间的附加功能。有关将原始视频剪辑为所选片段的参考,请参阅剪辑参考。
from clipsai import ClipFinder, Transcriber
transcriber = Transcriber()
transcription = transcriber.transcribe(audio_file_path="/abs/path/to/video.mp4")
clipfinder = ClipFinder()
clips = clipfinder.find_clips(transcription=transcription)
print("开始时间:", clips[0].start_time)
print("结束时间:", clips[0].end_time)
调整视频大小
调整视频大小需要 Hugging Face 访问令牌,因为使用了 Pyannote 进行说话人分离。使用 Pyannote 不会收费,说明在 Pyannote HuggingFace 页面上。有关将原始视频调整为所需宽高比的参考,请参阅调整大小参考。
from clipsai import resize
crops = resize(
video_file_path="/abs/path/to/video.mp4",
pyannote_auth_token="pyannote_token",
aspect_ratio=(9, 16)
)
print("裁剪:", crops.segments)