什么是说话人分离用diar_streaming_sortformer_4spk-v2理解谁在何时说了什么【免费下载链接】diar_streaming_sortformer_4spk-v2项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/diar_streaming_sortformer_4spk-v2️ 听一段多人会议录音你能分辨出每一句是谁说的吗这正是说话人分离Speaker Diarization要解决的核心问题它不关心说了什么只回答谁在何时说了什么。NVIDIA 开源的diar_streaming_sortformer_4spk-v2是一款基于 Sortformer 架构的流式说话人分离模型能在音频输入的同时实时区分最多 4 位说话人。本文用大白话带你理解说话人分离的原理并快速上手体验这个模型。说话人分离是什么一个场景让你秒懂想象一下你把一段 1 小时的会议录音交给转写工具得到的文字稿里老板和同事的发言混在一起根本分不清是谁说的——这份稿子几乎没法用。说话人分离模型要做的就是把录音切成一段段时间并给每一段贴上说话人 A / 说话人 B的标签。它的输出非常直观形如开始时间秒结束时间秒说话人0.03.2speaker_03.48.1speaker_18.312.6speaker_0有了这份时间轴 说话人的标签再配合语音识别ASR的转写文字就能生成带人名标识的会议纪要、字幕或客服质检报告。说话人分离和语音识别有什么区别很多人容易把两者搞混其实分工完全不同语音识别ASR把声音变成文字解决说了什么。说话人分离Diarization区分不同人的声音解决谁在说。在实际产品中两者常常组队出场先分离说话人再对每个说话人的片段做识别最终得到谁在何时说了什么的完整结构化结果。这也正是 diar_streaming_sortformer_4spk-v2 在语音转写、智能会议、语音助手场景中不可或缺的原因。Sortformer端到端说话人分离模型如何工作传统说话人分离采用语音活动检测 声纹聚类的流水线方案步骤多、误差会层层累积。而Sortformer是端到端End-to-End神经模型直接学习每一帧音频属于哪位说话人结构上由 Fast-ConformerNEST编码器和 18 层 Transformer 组成参数规模约 1.17 亿。它有一个巧妙的思路按说话人开口的先后顺序编号Arrival-Order第一位开口的是 speaker_0第二位是 speaker_1……以此类推从根源上绕开了传统端到端模型头疼的排列问题。流式说话人分离一边听一边判断谁在说话diar_streaming_sortformer_4spk-v2 最亮眼的地方是流式Streaming能力——它不需要等整段音频播完而是边接收音频边输出结果非常适合实时会议、直播字幕等场景。它的秘诀是AOSC到达顺序说话人缓存模型会把之前听到的每个说话人的声学特征缓存在内存里处理新音频块时直接与缓存中的特征比对就能快速判断这段声音像谁。流式处理还依赖一个FIFO先进先出帧缓冲队列用来保存紧邻当前块的历史音频帧保证前后文连贯你可以通过 5 个参数自由调节延迟 vs 精度的平衡单位80ms 帧配置档位输入缓冲延迟实时率 RTFCHUNK_SIZE高延迟高精度30.4s0.002340中延迟10.0s0.005124低延迟1.04s0.0936超低延迟0.32s0.1803需要实时字幕就选低延迟档位追求离线高精度就选高延迟档位。如何快速上手 diar_streaming_sortformer_4spk-v2在项目仓库中可以找到diar_streaming_sortformer_4spk-v2.nemo和diar_streaming_sortformer_4spk-v2.q8_0.gguf两个模型文件。最简单的方式是安装 NVIDIA NeMo 工具包后用几行 Python 完成第一次说话人分离from nemo.collections.asr.models import SortformerEncLabelModel diar_model SortformerEncLabelModel.from_pretrained(nvidia/diar_streaming_sortformer_4spk-v2) diar_model.eval() predicted_segments diar_model.diarize(audio[/path/to/your/audio.wav], batch_size1) for segment in predicted_segments[0]: print(segment)如需获取模型文件可 clone 仓库git clone https://gitcode.com/hf_mirrors/nvidia/diar_streaming_sortformer_4spk-v2如果你更偏好轻量级本地部署仓库中的 GGUF 量化版q8_0可以配合 NeMo-Speech.cpp 直接运行无需搭建完整的深度学习环境。效果如何用 DER 错误率说话评价说话人分离模型业界最常用指标是DERDiarization Error Rate说话人分离错误率数值越低越好。diar_streaming_sortformer_4spk-v2 在公开评测集上的表现评测集说话人数DERDIHARD III Eval1-4 人1-413.24%CALLHOME part22 人26.57%CH1092 人24.88%作为参考在 CALLHOME 电话语音场景下错误率可低至 5% 左右已经相当接近人工标注水平。使用限制与适用场景⚠️ 使用前请注意模型的边界最多支持4 位说话人超过 4 人效果会明显下降训练数据以英语为主非英语场景效果可能打折扣属于流式在线模式适合长音频但超长录音可能影响精度。推荐场景✅ 会议录音转写 ✅ 客服电话质检 ✅ 播客/采访字幕 ✅ 语音助手对话理解 ✅ 视频会议实时字幕。总结一句话记住说话人分离它是语音领域回答谁在何时说了什么的技术。而 diar_streaming_sortformer_4spk-v2 用端到端 Sortformer 流式说话人缓存把这个问题的答案做到了实时、准确、开箱即用。无论是想做会议纪要工具还是给语音产品加上认人能力它都是一个值得一试的开源选择。【免费下载链接】diar_streaming_sortformer_4spk-v2项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/diar_streaming_sortformer_4spk-v2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
