语音辅助技术使用户可以使用语音命令与他们的设备进行交互，并依靠准确的语音识别来确保对特定用户的响应。但是在许多实际使用案例中，这种技术的输入通常由重叠的语音组成，这给许多语音识别算法带来了巨大的挑战。我们于2018年推出了VoiceFilter系统，该系统利用Google的VoiceMatch通过允许用户注册和注册自己的语音来实现与辅助技术的个性化交互。尽管VoiceFiltr的方法非常成功，并且比传统方法具有更好的信噪比（SDR），但是有效的设备流语音识别需要解决模型大小，CPU，内存限制，电池使用注意事项和最小化延迟，等限制。在“ VoiceFilter-lite：用于在设备上进行语音识别的流媒体的目标语音分离”中，我们启动了对在设备上使用的VoiceFilter的更新，此更新可通过使用选定扬声器的注册语音来显着改善，并改善重叠语音识别演讲。重要的是，该模型可以轻松地与现有的设备语音识别应用程序集成，即使没有Internet连接，用户也可以在非常嘈杂的条件下访问语音辅助功能。我们的实验表明，一个2.2 MB的Voicefiler-Lite模型可以在重叠语音上将字错误率（WER）提高25.1％。改善设备上的语音识别尽管原始的VoiceFilter系统在将目标说话者的语音信号与其他重叠信号源分离方面非常成功，但其模型大小，计算成本和延迟对于移动设备上的语音识别非常重要。不可能。新的VoiceFilter-Lite系统经过精心设计，以适应设备上的应用程序。 VoiceFilter-Lite不需要处理音频波形，但是使用与语音识别模型相同的输入功能（stackedlogMel-filterbanks堆叠对数Mel滤波器组），并实时滤除不属于目标扬声器的组件。直接增强这些功能。加上对网络拓扑的许多优化，大大减少了运行时操作的数量。使用TensorFlowLite库量化神经网络后，模型大小仅为2.2MB，适用于大多数设备上的应用。为了训练VoiceFilter-Lite模型，将嘈杂语音的滤波器组和代表目标说话者身份的嵌入向量（即ad-vectord向量）输入到网络中。网络会预测一个掩码，并将其与输入元素逐个元素相乘，从而形成增强的过滤库。在训练过程中，我们定义了损失函数，以最大程度地减少增强型滤波器组和纯净语音滤波器组之间的差异。 VoiceFliter-Lite系统的模型体系结构VoiceFilter-Lite是一种即插即用模型，如果扬声器未注册语音，则允许实现该模型的应用程序轻松绕过该模型。这也意味着可以分别训练和更新语音识别模型和VoiceFiler-Lite模型，从而大大降低了部署过程中的工程复杂性。作为即插即用模型，如果扬声器未注册语音，则可以轻松忽略VoiceFliter-Lite。应对过度抑制的挑战。使用语音分离模型改善语音识别时，可能会发生两种类型的错误：抑制不足，即该模型无法滤除信号中的噪声成分；和过度抑制，当模型无法保留有用的信号时，会导致某些单词从识别的文本中丢失。过度抑制的问题尤其严重，因为现代语音识别模型通常已经使用大量增强数据（例如房间模拟和SpecAugment）进行了训练，因此它们对于抑制不足的鲁棒性更高。 VoiceFilter-Lite通过两种新方法解决了过度抑制的问题。首先，它在训练过程中使用了不对称损失，使得模型对过度抑制的容忍度低于抑制不足的容忍度。其次，它在运行时预测噪声的类型，并根据预测结果自适应地调整抑制强度。当检测到重叠的语音时，VoiceFilter-Lite会自适应地应用更强的抑制强度。通过这两种解决方案，VoiceFilter-Lite模型在其他情况下（例如，安静或各种噪声条件下的单扬声器语音）在流语音识别中保持了出色的性能，同时在重叠的语音中仍提供了显着的性能。提升。从我们的实验中，我们观察到将2.2MB VoiceFilter-Lite模型应用于其他重叠的sp