移动测试开发 界面相似度比对算法实践

opentest-oper@360.cn · March 11, 2019 · Last by 笑哼 replied at April 04, 2019 · 1399 hits

在360开测项目中,需要比对两个界面的相似度,进行相应的操作

哈希算法

比对两个界面相似度。在 uiautimator 中可以 dump 当前界面的信息,可以转换为一个 AccessibilityNodeInfo 列表。

这个比较初级,采用双层 for 循环来比对数据,数据量越大,时间复杂度越高:f(n!), 我们可以增加哈希算法在遍历之前来比对字符串,减少代码执行次数。

但是上面这种算法太精准了, AccessibilityNodeInfo 里面有坐标的值, 有 id, 比对太精准了,稍微有点不同,就认为它是条不同的数据,所以我们来看下面一种算法。

感知哈希算法

感知哈希算法就是针对每一张图片生成一个指纹字符串, 比对这两个字符串,结果越相近,图片越相似。

实现步骤

  1. 把图片缩小到 8*8尺寸,也就是总共64 像素

  2. 将当前的RGB图片转换为灰度图片,这个时候,图片只保留了图片的结构, 明暗等信息。

这里采用 RGB 三原色码 0.3* R + 0.6 * G + 0.1 * B 比例计算的
这里有一个不错的文章 RGB 转灰度图 http://www.360doc.com/content/12/0424/16/1030755_206201362.shtml, 计算公式有很多,我们这里用 Gray = R0.299 + G0.587 + b*0.114 这个公式就可以了。

  1. 计算位图64个像素的平均灰度值

  2. 我们重新遍历位图,每个灰度值和平均灰度值进行比对, 大于等于平均灰度值为1, 小于平均灰度值为0,这样就会生成一个64位的数值。

  3. 计算哈希值,这样生成的一个数值,就是每张图片的指纹

  4. 通过比对上面的指纹字符创,计算图片的相似度

diffNum 就是我们要获取的两张图片的相似度, diffNum< 5 图片很相似 diffNum > 10 图片完全不同。

我们可以在界面变换之前和之后,通过 uiautimator 截屏来判断操作前后的两张图片是否变换了,通过最后的相似度的值来进行相应的操作。
看一下结果:

上图是运行结果的图片。

灰色图片是 8*8 像素的位图的灰度图片

上图第一行就是和平均值比对的64位结果, 第二行位哈希值,也就是图片指纹。

参考文献
代码: https://blog.csdn.net/u010652002/article/details/72722198

如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
共收到 8 条回复 时间 点赞

github地址 404

github地址 404

x 回复

已修改

笑哼 回复

感谢反馈,已修改

谷歌monkeyrunner源码有个使用RGB值占比的算法,可以研究下😁

王小夫 回复

您好,有链接么?

笑哼 回复

链接在此:
https://android.googlesource.com/platform/tools/swt/+/refs/heads/master/chimpchat/src/main/java/com/android/chimpchat/core/ChimpImageBase.java

源码参考:

@Override
public boolean sameAs(IChimpImage other, double percent) {
BufferedImage otherImage = other.getBufferedImage();
BufferedImage myImage = getBufferedImage();
// Easy size check
if (otherImage.getWidth() != myImage.getWidth()) {
return false;
}
if (otherImage.getHeight() != myImage.getHeight()) {
return false;
}
int[] otherPixel = new int[1];
int[] myPixel = new int[1];
int width = myImage.getWidth();
int height = myImage.getHeight();
int numDiffPixels = 0;
// Now, go through pixel-by-pixel and check that the images are the same;
for (int y = 0; y < height; y++) {
for (int x = 0; x < width; x++) {
if (myImage.getRGB(x, y) != otherImage.getRGB(x, y)) {
numDiffPixels++;
}
}
}
double numberPixels = (height * width);
double diffPercent = numDiffPixels / numberPixels;
return percent <= 1.0 - diffPercent;
}

之前我写了个Python版本:

依赖pillow模块,img_base是旧图片路径,img_pre是新图片路径

def pic_diff(img_base, img_pre):
im_base = Image.open(img_base, 'r')
# print im.size
im_base = im_base.resize((8, 8), Image.ANTIALIAS).convert('L')
width = im_base.size[0]
height = im_base.size[1]
data_base = []
for h in range(0, height):
for w in range(0, width):
pixel = im_base.getpixel((w, h))
data_base.append(pixel)

im_pre = Image.open(img_pre, 'r')
# print im.size
im_pre = im_pre.resize((8, 8), Image.ANTIALIAS).convert('L')
width = im_pre.size[0]
height = im_pre.size[1]
data_pre = []
for h in range(0, height):
for w in range(0, width):
pixel = im_pre.getpixel((w, h))
data_pre.append(pixel)
count = 0
for x in xrange(0,64):
if data_base[x] == data_pre[x]:
count = count + 1
return count/(64.0)
王小夫 回复

谢谢

需要 Sign In 后方可回复, 如果你还没有账号请点击这里 Sign Up