语音合成（Text To Speech，TTS）技术将文本转化为声音，目前广泛应用于语音助手、智能音箱、地图导航等场景。TTS 的实现涉及语言学、语音学的诸多复杂知识，因实现细节的不同，TTS 系统合成的语音在准确性、自然度、清晰度、连贯性等方面也有着不一样的表现，如何从多维度评价 TTS 系统质量成了 TTS 测试人员的一大挑战。本文针对 TTS 前端、后端的问题介绍了一种包括主观评测、客观评测 TTS 测试方法。
当前典型的 TTS 系统可分为前端、后端两部分，前端完成输入文本的归一化、分词、发音预测、韵律结构预测的处理，后端对声音建模，通过学习得到声音参数，最后由声码器合成声音。
由于自然语言本身的复杂性和开放性，前端处理部分难度较大，难以覆盖所有情况，可能引入的问题举例如下：
1、发音错误。汉语中的多音字、数字、专有名词根据上下文的不同，发音也不一样，训练语料的覆盖不全，会导致合成的语音中部分字词的发音错误。另外现在国际化背景下，各类中英混合语料、缩略词、符号的存在，也为发音预测带来了巨大挑战。
2、声调不准。中文在实际口语发音时，存在一系列复杂的的变调规则，如一／不变调，上声变调等。这类规则的处理不当会导致合成的语音与平时发音习惯不符，听来怪异。
3、韵律异常。前端通过语法词分词、韵律词分词、断句等方式在文本中插入不同程度的停顿，通过时长预测控制字词的发音时长。分词、断句的错误会引起合成语音时的错误停顿，听起来节奏不当。
后端通过声音参数和声码器（WaveNet 不在此列）合成语音波形，实际实现过程中无论是声音参数的选择，还是声码器的设计都是对真实发音过程的有损估计，无法百分百还原人声，可能引入的问题如下：
（1）清晰度差。合成的字、词发音不清晰，近音词区分度差；
（2）还原度差。合成音与目标说话人的音色有差异；
（3）杂音。在合成语音过程中引入背景噪声、字词间隔不顺畅。
针对前后端可能存在的问题，本评测方法选择如下语料和指标对 TTS 系统做客观评测。
本评测方法从发音准确性测试、韵律测试、字典覆盖度测试、字清晰度测试、词清晰度测试等角度出发搜集测试语料，语料结构如下：
（1）发音准确率
根据前端发音预测可能存在的问题，准备测试语料，包括语料文本，待检查词汇，标准发音等，合成语音后人工评测发音准确率。
（2）韵律准确率
前端文本处理过程中会对文本做分词处理和时长预估，人工准备部分语料，对语料做停顿标注，检查前端输出，统计韵律准确率，韵律标注需要较高的语言学知识，因此这块的测试进行起来比较困难。
（3）字典覆盖率
检查语音合成系统对汉字的覆盖程度，检测字表包括普通话不同等级的字库和生僻字库，输入字库语料，检查是否正确合成，统计覆盖率。
（4）字清晰度得分
采用汉语清晰度诊断押韵测试（DRT）法测试字清晰度，由不同听音人对押韵字表听音选择，并计算总 DRT 清晰度得分，详见《GB-T 13504-1992》。
（5）词清晰度得分
采用语义不可测句（Semantic Unpredictable Sentence， SUS）测试单词清晰度，由待测词组成不合语法的待测句子。语义的不可测可以避免听音人的经验猜测，影响测试准确性。
国际上对语音自然度的评测，一般是使用 MOS 评测，邀请听音人对被测系统输出语音打分衡量。最好是能够邀请到有经验的听音专家来参与评分，听音专家从拟人性、连贯性、韵律感等方面对语音进行打分。
目前我们的评测是培训众测用户做为听音人，流程大致如下：
（1）双方语音音量归一化；
（2）语音字词发音准确性校验；
（3）生成众测问卷，语音顺序交叉打乱；
（4）众测用户培训，试听自然人声和较差合成音锚定打分标准；
（5）众测用户听音打分；
（6）回收问卷，答题数据校验；
（7）计算 MOS 得分。
MOS 打分表：
MOS 作为一个整体的主观打分可用于反映不同 TTS 合成的语音之间的差距，但是不适用于细致分析差异所在。因此，在 MOS 之外我们与用研同学合作，从前端、后端、主观体验上拆解了 15 个细分主观评测指标，通过两两比较评分法（Paired Comparison，PC），让听音人从各细分指标进行打分，指标列举如下，详细问卷描述略。
关注微信公众号腾讯移动品质中心 TMQ，获取更多测试干货！
