Introducing 成为 AI 产业观察信号

📉 这个差距是真实存在的，而且非常大：在所有提交的模型中，同一段语音内容上，远场、低信噪比条件下的 WER 一直比近场 WER 高出好几倍

🔬 值得信赖的方法：混合基于波的仿真、sim-to-real 验证、beta 阶段的移动声源划分、留出音频，以及所有提交统一采用的标准化评测硬件

⚡ 准确率和速度兼顾：Pareto 前沿图将平均 WER 与 RTFx 进行对比，方便你评估最适合自身部署场景的权衡

👀 更多内容即将推出：多说话人场景、麦克风阵列支持和回声消除都已列入路线图

基准测试表现与真实部署之间的差距，是 ASR 开发中最令人困扰且最持久的问题之一。那些在标准评测中得分很高的模型，一旦进入真实房间声学环境，往往会表现出不同的行为：混响、背景噪声、麦克风距离都会产生影响。这些因素之间的复杂交互，会以干净语音基准测试无法捕捉的方式影响性能。FFASR Leaderboard 正是我们试图量化这一差距的尝试。

Treble Technologies 和 Hugging Face 正在推出 Far-Field ASR（FFASR）Leaderboard，这是首个由社区驱动的开放基准，旨在在真实的远场声学条件下评估 ASR 模型。它现已上线，我们邀请社区提交模型、探索结果，并共同塑造下一步的方向。

语音交互界面早已不再局限于耳机和智能手机。AI 语音 agent、会议室转写、车载助手、人形机器人、智能眼镜以及免手持工具都在快速普及。它们的共同点在于都运行在声学环境复杂的场景中：混响、背景噪声、重叠声音，以及麦克风与说话者之间可能相隔一米到数米。

主流的 ASR 评测范式并没有跟上这一现实。干净、近场麦克风基准测试仍然是标准，虽然它们有助于衡量核心识别质量，但并不能预测远场表现。一个在 LibriSpeech 或其他近场数据集上表现出色的模型，一旦引入真实房间声学条件，性能可能会显著下降。尽管业界已经围绕远场和噪声语音评测开展了多项研究工作——包括 CHiME、URGENT 和 NOIZEUS——但社区一直缺少一种标准化、开放的方式，能够在持续更新的排行榜形式下，对不同模型的这种性能衰减进行一致衡量。这正是 FFASR 的目标所在。

远场评估面临的一大挑战是数据可得性。要在具有代表性的房间类型、麦克风距离和噪声条件范围内大规模采集远场录音，仅靠实体测量的成本高得惊人。仿真使我们能够系统性地覆盖这一空间，并且在不相应增加测量成本的情况下，随着时间推移扩展覆盖范围。

FFASR 的另一个目标，是鼓励开发那些明确针对这些条件具备鲁棒性的模型。排行榜历来在引导研究方向方面行之有效。通过让远场性能变得可见且可比较，我们希望提高整个领域对真实世界声学鲁棒性的重视程度。

FFASR Leaderboard 会在九种条件下评估模型。截至 2026 年 6 月 22 日，决定主排名分数的四项是：

近场（干音）——在无响室中测得的干净语音（类似于 Librispeech，但混响极少）

远场高 SNR（高于 14 dB）

远场中等 SNR（8 到 12 dB）

远场低 SNR（低于 6 dB）

为了让人直观感受这些条件实际听起来是什么样，下面的样本可以让你先听同一句语音作为干净的消声室音频，然后将其与房间脉冲响应卷积，最后在每个 SNR 档位上叠加噪声。干净录音与低 SNR 远场条件之间的差异，可以较好地近似该排行榜所衡量问题的规模。

另外两列“Lab Measured”和“Lab Simulated”用于 sim-to-real 验证。该 leaderboard 还包含目前处于 beta 的 moving-source 分组，用于评估模型面对说话人移动而非静止时的音频表现。这个条件对应的使用场景包括人形机器人、车载语音和移动语音助手，在这些场景中，说话人和麦克风之间的声学几何关系会持续变化。

声学数据由 Treble 的 hybrid simulation engine 生成，它在低频到中频段结合了基于波动的求解器，在更高频段则采用几何声学建模。这种方法能够捕捉更简单的仿真方法常常遗漏的物理现象：衍射、散射、干涉以及模态行为。最终得到的仿真数据与实测声学条件高度一致，Lab Measured 和 Lab Simulated 两列通过对两者运行相同评测，直接验证了这一点。

该 benchmark 收录了 14 个完全布置好的房间，体积从 20 到 470 m³ 不等，涵盖浴室、带走廊的客厅、办公室、教室和餐饮空间。每个声学场景包含一个目标说话人，录制于消声室中，以避免录音环境带来的混响伪影，并包含最多三个噪声源。每个场景都包括一个瞬态噪声源（如咳嗽）和一个连续噪声源（如 HVAC），并设置三个 SNR 水平。这样的覆盖范围旨在反映已部署语音系统实际运行的空间多样性。

除了 WER，leaderboard 还为每个提交报告 RTFx（每 1 秒推理所处理的音频秒数），并在相同条件下使用 NVIDIA L4 GPU 进行评估。准确率和延迟在真实部署中同样重要，而 Analysis 标签页中的 Pareto front 视图将这种权衡直观呈现出来。

这个基准测试建立在 Treble Technologies 专有的模拟引擎所生成的模拟声学空间之上。去年发布的 Treble10 数据集展示了该引擎的输出示例，它确立了这套模拟流程，并让远场 RIR 可用于训练和研究。FFASR 在此基础上扩展为一个标准化评估框架，包含留出的测试集、一致的归一化处理和自动化评分。

随着排行榜上线，一个贯穿所有提交模型的稳定模式正在显现：近场与远场性能之间存在明显差距，而且随着 SNR 降低，这一差距会显著扩大。近场 WER 在干净、未处理的语音上，看起来与同一模型在成熟基准上的表现相当；但低 SNR 下的远场 WER 则是另一回事，往往高出数倍。这个基准测试把这种退化以一种过去在专有评测流程之外很难做到的方式，清晰地呈现并便于比较。

平均 WER 对 RTFx 的 Pareto 前沿也很有启发性。当前提交的模型确实呈现出一条完整的方案谱系：有的模型优先速度，牺牲部分准确率；有的模型追求准确率，牺牲吞吐量；还有少数模型在两个维度上都处于有竞争力的位置。将这些权衡与远场准确率而不是干净语音准确率进行可视化，得到的图景会有实质性不同，也更能看出系统之间真正的差异所在。除了主排行榜，Analysis 选项卡也值得深入查看。

对开发者而言，有一点值得强调：排行榜将近场（dry）和远场 WER 并列展示。这种拆分是有意为之，而且很有用。它让人能够区分一个模型究竟是真正准确，还是在声学条件变化下容易失稳；这对于判断是否值得投入远场微调、语音增强预处理，或直接改用其他架构，都很重要。

打开 FFASR Leaderboard 的 Submit 标签页，粘贴一个 Hugging Face model ID，评测就会在服务器端对留出的数据集运行。该流水线支持 Whisper 各变体、IBM Granite Speech、Cohere Transcribe、Wav2Vec2 和 HuBERT CTC heads、SpeechBrain ASR，以及 Hub 上大多数其他 ASR 架构，无需任何自定义配置。

对于使用更复杂推理栈的团队，包括将语音增强与 ASR 结合的系统，custom evaluator 选项允许你定义自己的 `evaluate()` 函数。Custom evaluators 会在经过版主审核后通过 Hub Jobs 运行，而提交说明字段则是记录任何预处理步骤的合适位置，这样其他人就能理解结果。

留出的评测集使用 14 个房间、3 个 SNR 档位下的 2,000 条无混响语音样本，每种条件大约 8 小时音频，并统一应用了 Whisper 风格的文本规范化。为避免测试集污染，这些音频不会向提交者公开。

我们正在积极探索的未来赛道包括多说话人场景，即同时有多个说话人发声；麦克风阵列评测，涵盖波束成形和空间滤波方法；以及回声消除，这对任何一边播放音频、一边监听的设备都很相关。

我们下一步要做什么，将取决于社区告诉我们哪些空缺最大。如果你所在的部署环境或使用场景在当前基准中代表性不足，我们希望听到你的声音。FFASR Leaderboard 的设计目标是持续扩展，而它扩展的方向应该反映真实需求。

提交你的模型，浏览 Analysis 标签页，在 FFASR 论坛上发表你的想法和建议，帮助我们打造一个真正对这个领域正在解决的问题有用的基准。

· 登录或注册后发表评论