👁 255 次阅读
核心结论:目前AI做视频字幕最靠谱的流程是“Whisper系工具自动转写 + 字幕编辑工具精修 + 剪映/CapCut等视频软件压制导出”。全程不用手动打字幕,10分钟的视频大约15-20分钟能出成品,准确率对普通话和英语都很能打,但方言、多人重叠说话、背景音乐太吵的场景仍需人工校对。
下面我会把整个流程拆开讲清楚,包括每一步用什么工具、踩过什么坑、哪些地方需要手动干预。都是我实际跑过的经验,不是纸上谈兵。
先搞清楚你要哪种字幕
很多人一上来就说“我要给视频加字幕”,但实际需求差很多:
硬字幕:字幕直接烧进画面里,任何播放器打开都能看到,适合发抖音、B站、视频号。
软字幕:单独一个字幕文件(SRT/VTT/ASS),播放器可以开关,适合YouTube、网盘分享、本地播放。
纯文本稿:只要文字内容,不需要时间轴,比如整理访谈记录、会议纪要。
这篇文章主要讲硬字幕的全流程,因为这是绝大多数人的需求。软字幕的流程其实更简单,做到“导出SRT”那一步就停了。
第一步:自动转写,把语音变文字
目前最主流的方案就是 OpenAI 开源的 Whisper 以及它的各种衍生版本。你不用懂代码,现在有很多现成的工具已经把 Whisper 包好了。
我自己常用的几个:
- 剪映/CapCut 自带的“识别字幕”
这是最无脑的方案。把视频拖进剪映,点“文本” → “智能字幕” → “识别字幕”,等它跑完就自动生成带时间轴的字幕了。免费额度对个人用户来说基本够用。
优点:零门槛,识别完直接就能在剪映里改,改完直接导出压制,一条龙。
缺点:准确率比本地跑 Whisper 略低一点,特别是英文混中文、专业术语多的视频。而且剪映的识别需要联网,视频上传到它服务器处理,如果你视频涉及隐私或者还没公开发布的内容,心里要有点数。
- 本地跑 Whisper( faster-whisper / WhisperDesktop / Buzz )
如果你不想把视频传上去,或者想要更高的准确率,可以在自己电脑上跑。我目前用的是 faster-whisper,配合一个叫 Buzz 的图形界面工具,不用敲命令行。
实际体验:RTX 3060 显卡跑一个 10 分钟的 1080p 视频,用 medium 模型大约 2-3 分钟转写完。CPU 也能跑,就是慢很多,10 分钟视频可能要十几二十分钟。
Whisper 对普通话的识别准确率我很满意,只要说话人吐字清晰、背景不吵,基本能到 95% 以上。英文的话 large 模型更稳,但 medium 日常也够用。
- 在线工具(网易见外、讯飞听见、腾讯云语音识别等)
这些适合不想折腾本地环境、又对准确率有要求的用户。讯飞听见对中文方言的支持比 Whisper 好一些,粤语、四川话之类的场景可以考虑。但注意这些服务大多是按分钟收费的,价格各家不同,以官网为准。
我的建议:如果你已经在用剪映剪视频,直接用它自带的识别字幕就行,最省事。如果追求准确率或者有隐私顾虑,本地跑 faster-whisper。如果视频里有大量方言,试试讯飞听见。
第二步:导出字幕文件,精修文字
自动识别完,不管准确率多高,一定要人工过一遍。这是整个流程里最不能省的一步。
剪映里可以直接在字幕轨道上双击修改。但我更习惯把字幕导出成 SRT 文件,用专门的编辑器改,效率高很多。
导出方法:剪映里点“导出”旁边的小箭头,选“导出字幕”,格式选 SRT。如果你用的 Buzz 或 faster-whisper,本身就生成 SRT 文件。
字幕编辑工具推荐:
Aegisub:老牌字幕软件,功能强大但界面有点古老,适合做特效字幕、双语字幕的高级用户。
Subtitle Edit:界面友好很多,有波形图对照,修时间轴很方便,免费开源。
Notepad++ / VS Code:如果你只是改几个错别字,直接用文本编辑器打开 SRT 改更快。但要注意别破坏格式。
我平时的做法是:用 Subtitle Edit 打开 SRT,开波形图,一边听一边改。主要改这几类问题:
错别字/同音字:比如“在”和“再”、“的”和“得”这种,Whisper 有时候会搞混。
专有名词:人名、地名、品牌名、产品型号。比如“ChatGPT”可能被识别成“chat g p t”或者“查特GPT”。
断句问题:Whisper 有时候会把两句话合并成一条很长很长的字幕,或者把一句话拆得太碎。我会手动合并或拆分,保持每条字幕不超过 15-20 个字(中文)比较适合阅读。
语气词:如果视频里有太多“嗯”“啊”“就是”之类的口头禅,可以把纯语气词的字幕删掉或者合并到上下文里,不然画面会很乱。但这取决于视频风格,访谈类可能保留更真实。
改完保存 SRT。如果你做的是软字幕,到这一步就可以直接发布了。
第三步:压制硬字幕进视频
要把字幕“烧”进画面,有两条路:
路线 A:直接在剪映里完成(适合大多数人)
如果你前面就是在剪映里识别的字幕,那直接在剪映里改完字幕样式(字体、大小、颜色、位置),然后正常导出视频就行了。剪映会默认把字幕压进画面。
剪映的字幕样式调整很直观,选中字幕轨道,右边可以改字体、字号、描边、阴影、位置。我一般用默认的白色字体加黑色描边,放在画面底部往上一点的位置,避免被平台的水印或者进度条挡住。
路线 B:用压制工具把 SRT 烧进视频(适合已经用其他工具剪好片子的人)
如果你的视频已经在别的软件(PR、Final Cut、达芬奇)里剪好了,不想再导进剪映重新压一遍,那可以用 HandBrake 或 ShanaEncoder 把 SRT 字幕烧录进去。
HandBrake 的操作:导入视频 → 切到“字幕”标签 → 导入 SRT → 勾选“烧录” → 开始编码。编码速度取决于你的电脑配置,H.264 1080p 的话一般 10 分钟视频大概 5-10 分钟压完。
注意一个坑:HandBrake 对中文字体支持有时会出问题,如果默认字体显示成方块,需要在设置里指定一个中文字体文件。另外 ASS 字幕的样式支持比 SRT 好,如果你用 Aegisub 做了花哨的特效字幕,导出成 ASS 再烧录会更还原。
还有一个办法是用 FFmpeg 命令行,一行代码搞定:
text
Copy
Download
ffmpeg -i input.mp4 -vf “subtitles=subtitle.srt” output.mp4
但这个对新手不友好,字体路径、编码格式都要调,不推荐第一次就碰。
第四步:检查与发布
压完字幕后,不要直接发布。先把成片从头到尾快速过一遍,重点看:
字幕有没有超出画面边缘(特别是手机上观看时,安全边距很重要)
有没有字幕和声音对不上的地方(时间轴偏移)
字幕有没有遮挡重要画面信息(比如人物脸、产品文字)
字体在移动端小屏上够不够清晰
我个人的习惯是把压制好的视频传到手机上,用手机播放器看一遍。因为大多数观众是用手机看的,电脑上看没问题不代表手机上也没问题。
工具和流程总结
整个流程走下来,我目前最顺手的组合是:
本地转写:faster-whisper(medium 模型,中文为主)
字幕精修:Subtitle Edit(波形图对齐 + 文本修改)
压制输出:剪映专业版(顺便做最后的画面微调和导出)
如果你完全不想碰本地软件,那就全程用剪映:智能字幕 → 手动改错 → 调样式 → 导出。零门槛,效果也不差。
常见问题(FAQ)
Q:AI 做字幕免费吗?
A:剪映自带识别字幕目前免费,本地跑 Whisper 完全免费(用自己的电脑算力),在线 API 和讯飞听见等服务一般按分钟收费,具体价格以官网为准。
Q:Whisper 支持哪些语言?
A:Whisper 支持 90 多种语言,中文(普通话)、英文、日文、韩文识别效果都很好,粤语也有一定支持但准确率低于普通话。
Q:视频背景音乐太吵导致识别不准怎么办?
A:可以用剪映的“人声分离”功能先提取人声再识别,或者用音频处理软件降噪。实在不行就手动打轴,AI 在极端噪音环境下确实会翻车。
Q:字幕样式可以自定义吗?
A:可以。在剪映或 Aegisub 里都能调整字体、大小、颜色、位置、描边、阴影,甚至做卡拉OK特效。压制到画面后样式就固定了。
Q:10 分钟视频做字幕大概要多久?
A:自动转写 2-5 分钟,人工校对 5-10 分钟,压制导出 5-10 分钟。总耗时大约 15-25 分钟,取决于视频里的语音质量和你的校对速度。