音频质量评估-1:之前主要学习了音视频的编码和解码原理,和测试音频质量的方法。接下来继续学习下当前 短视频 领域的 视频质量测试方法。

算法了解

可以参考 python 的 scikit-image这个库。里面有很很多算法。

用于表示信号的最大可能功率与影响信号表示的保真度的腐蚀噪声功率之间的比率。由于许多信号具有非常宽的动态范围,PSNR 通常以对数分贝刻度表示。 是一个全参考算法

# Based on: https://github.com/mostafaGwely/Structural-Similarity-Index-SSIM-

# pip3 install scikit-image opencv-python imutils

from skimage.measure import compare_ssim
import imutils
import cv2


# 3. Load the two input images
imageA = cv2.imread("1.png")
imageB = cv2.imread("2.png")
# 4. Convert the images to grayscale
grayA = cv2.cvtColor(imageA, cv2.COLOR_BGR2GRAY)
grayB = cv2.cvtColor(imageB, cv2.COLOR_BGR2GRAY)

# 5. Compute the Structural Similarity Index (SSIM) between the two
#    images, ensuring that the difference image is returned
(score, diff) = compare_ssim(grayA, grayB, full=True)
diff = (diff * 255).astype("uint8")

# 6. You can print only the score if you want
print("SSIM: {}".format(score))

视频质量

基础测试指标

gMLWMP

一是视频流畅度相关的参数,比如说 fps, 视频帧抖动 jitter,导入延时,端对端延时等,这方面主要影响因子是网络因数,上下行带宽,网络拥塞等,这些可以通过产品开发接口或者日志信息等获取相关的参数信息,

除此之外呢,就是对视频画面也就是视频帧观感的评估, 业界有主观和客观的。
VxdMn8

主观就是 每个人有每个人的看法。 采用平均意见分 MOS meanopinion score

客观就是根据每一帧的质量来量化, 和 audio 一样,分为全参考和无参考。概念都和差不多。

测试框架

目前知晓的有 2 个,一个 QoSTestFramework,一个是 Netflix 的 vmaf

QoSTestFramework(这个里面集成了 VMAF)

框架图

aH5AqV

VMAF Video Multi-Method Assessment Fusion

D8zGgO

VMAF 是 Netflix 开发的感知视频质量评估算法。VMAF 开发工具包(VDK)是一个包含 VMAF 算法实现的软件包,以及一组允许用户训练和测试自定义 VMAF 模型的工具。

流媒体性能测试

https://github.com/winlinvip/srs-bench 服务器负载测试工具 SB

read more

视频质量评估综述
https://ece.uwaterloo.ca/~z70wang/research/ssim/


↙↙↙阅读原文可查看相关链接,并与作者交流