北大开源音频编辑模型PlayDiffusion，可实现音频局部编辑，比传统 AR 模型的效率高出 50 倍！
仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
北大开源了一个音频编辑模型PlayDiffusion，可以实现类似图片修复(inpaint)的局部编辑功能-只需修改音频中的特定片段，而无需重新生成整段音频。此外，它还是一个高性能的TTS系统，比传统AR模型的效率高出50倍。
自回归Transformer模型已被证明能够高效地从文本合成语音。然而，它们面临着一个显著的局限性：修改生成音频的某些部分（称为修复）或移除它们而不留下不连续的伪影，这超出了它们的标准能力。因此，需要开发更通用的语音编辑工具，并采用不同的方法。请考虑以下句子：
“Theanswerisoutthere,Neo. It’slookingforyou.”
现在假设你想在生成后将“Neo”更改为“Morpheus”。使用传统的AR模型，你的选择有限：
重新生成整个句子，这在计算上很昂贵，并且经常导致韵律或语音节奏的变化。
仅替换单词“Neo”，会导致单词边界处出现明显的伪影或不匹配。
从中间点重新生成，例如从“Morpheus。它在寻找你。”，但这可能会改变未编辑部分的韵律（“它在寻找你。”），从而产生不必要的语音节奏变化。
所有这些方法都会损害音频的连贯性和自然性。
项目:https ://github. com/playht/PlayDiffusion
试用:https ://huggingface. co/spaces/PlayHT/PlayDiffusion
在PlayAI，我们用一种新颖的基于扩散的音频语音编辑方法解决了这个问题。它的工作原理如下：
首先，我们将音频序列编码到离散空间中，将波形转换为更紧凑的表示形式。此表示中的每个单元称为一个标记(token)。此过程适用于真实语音和文本转语音(TTS)模型生成的音频。
当需要修改某个片段时，我们会屏蔽该部分音频。
使用以更新后的文本为条件的扩散模型来对掩蔽区域进行去噪。
周围环境被无缝保留，确保平滑过渡和一致的扬声器特性。
然后使用我们的BigVGAN解码器模型将生成的输出标记序列转换回语音波形。
通过使用非自回归扩散模型，我们可以更好地保持编辑边界处的语境，从而实现高质量、连贯的音频编辑。这标志着音频编辑能力的重大进步，并为动态、细粒度的语音修改铺平了道路。完整流程如图1所示。
包含语音“答案就在那儿，Neo。去抓住它！”的输入音频被编码为离散的音频标记。
与要编辑的语音对应的标记被屏蔽。这里我们屏蔽了“Neo”的标记。
给定更新后的文本和完整的输入标记序列（即屏蔽和未屏蔽的序列），PlayDiffusion生成编辑后的输出序列。
该序列由我们的BigVGAN转换为波形，并以从原始片段中提取的说话人嵌入为条件。
在整个音频波形被掩盖的极端情况下，扩散模型可以作为高效的文本到语音(TTS)系统发挥作用。
虽然自回归Transformer模型在语音合成领域取得了令人瞩目的成果，但其逐个token的顺序生成方式本身就存在效率低下的问题。每个token都必须基于前一个token进行生成，这会导致巨大的计算开销。
相比之下，扩散模型采用非自回归方法——同时生成所有标记，并通过固定数量的去噪步骤对其进行细化。这种根本的架构差异带来了显著的性能优势。
我们从预先训练的仅解码器文本转换器架构开始，并引入了专门针对音频生成定制的关键修改：
与GPT等采用因果掩蔽（允许标记仅关注先前的标记）的标准解码器专用LLM不同，我们改进的LLM实现使用非因果注意力头。这使得模型能够同时利用过去、现在和未来的标记。
为了优化效率，尤其是针对英语语音合成，我们使用了自定义字节对编码(BPE)分词器，该分词器仅包含10,000个文本分词。这大大减少了嵌入表的大小，从而显著提升了计算速度，同时又不影响音频质量。
我们的模型融合了源自预训练嵌入模型e(w):ℝᵗ→ℝᵏ的说话人调节方法，该模型将不同长度t的波形映射到维度为k的固定大小向量。这能够捕捉说话人的基本特征，确保合成或编辑的音频片段之间语音身份的一致性。
在训练过程中，我们像MaskGCT[ 1]一样，随机屏蔽一定比例的音频token。模型会根据说话人嵌入、文本输入以及剩余未屏蔽的音频token提供的上下文，学习准确预测这些被屏蔽的token。这种方法可以有效地训练模型处理部分或完全音频屏蔽的场景。给定不同时间步长的文本样本xₜ，文本条件C，我们将损失建模为：在推理过程中，解码会迭代进行，从完全掩码的token序列开始。解码过程包含多个步骤，记为T：
逐步解码过程：
初步预测：在每次迭代中，模型根据当前的掩蔽音频和文本输入生成初始预测X̂₀。
置信度评分：根据模型的预测，每个token都会获得一个置信度分数。新预测的（之前被屏蔽的）token会被赋予与其预测概率相等的置信度，而之前确定的token则保持不变，置信度分数为1。
自适应重掩码：我们利用一个逐步递减的方案gamma，选择一定数量的置信度最低的token，在后续迭代中进行重掩码。每次迭代后，需要重掩码的token数量都会逐渐减少，从而使模型的优化工作集中在不确定性最高的区域。更多详情，请参阅MaskGCT[ 1]。
这个迭代解码过程持续进行，直到所有步骤完成，逐渐完善标记预测并产生连贯的高质量音频输出。
感谢你看到这里，也欢迎点击关注下方公众号并添加公众号小助手加入官方读者交流群，一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、StableDiffusion、Sora等相关技术，欢迎一起交流学习💗～
