Duolingo 的内部测试是如何运作的？在 Duolingo，我们鼓励 Duolingo 员工下载该应用程序的最新内部版本，无论是 Android、iOS 还是 Web 客户端（或三者兼而有之！）并定期使用。这个内部应用程序运行最新的应用程序版本，通过它我们可以在新功能和应用程序改进到达用户之前对其进行测试。

在 Duolingo，每个人都被鼓励进行测试，而不仅仅是那些构建面向用户的功能的人。目前，公司超过 70% 的员工都是测试者，包括我们的首席执行官，他每天在多种设备类型上的多个课程中测试我们的应用程序。

除了在各个级别营造一种测试文化外，Duolingo 还举办了一年两次的语言挑战赛，为员工在 6 个月期间持续参加测试语言课程提供经济激励。我们的同事在完成课程时提供了很多深思熟虑的反馈！

测试数据

一旦新的应用程序版本可用，Duolingo 员工就会被鼓励下载并开始测试，这将开始从新版本收集遥测数据：应用程序无响应 (ANR) 事件、应用程序崩溃和内存不足等性能指标（ OOM）事件和帧速率。我们还利用 Google Firebase Crashlytics 跨客户端和应用程序版本细分应用程序崩溃数据。

事实上，我们仅从测试构建中就获得了大量数据，因此我们构建了工具来从遥测中收集早期见解并扩展我们的工程运营。对于应用程序性能指标，我们创建了一个发布仪表板，该仪表板在新版本进入测试后立即显示遥测数据 - 我们通常能够在几个小时内获得每个版本的可靠信号。

发布仪表板，其中包含 iOS 测试构建的性能指标

这使得工程团队能够监控即将发布的版本的性能，如果指标有所提高，则可以调查并进一步了解可能在何处引入了回归。

我们还构建了一个名为 Jeeves 的内部工具，它从内部测试错误报告和外部反馈中收集用户反馈，其中包括我们的测试版程序、Reddit、Twitter、Google Play 和 App Store 以及 Zendesk 等输入。Jeeves 使用人工智能将这些数据聚合成 “峰值”，即趋势单词和短语。

Jeeves 监控

我们的质量保证和工程团队可以过滤报告中生成的峰值，从而使团队能够在学习者发现可能影响用户体验的问题之前识别、分类和修复这些问题。

尽早并经常消灭 bug

内部团队从测试过程中发现的错误中获得了巨大的价值。为了更轻松地归档和调查错误，我们创建了一个名为 Shake-to-Report 的内部工具，它允许员工快速报告错误，以便工程团队可以在错误到达用户之前开始解决它们。

摇动报告的工作方式与它听起来的差不多：如果员工在使用该应用程序时遇到错误，他们可以摇动设备（或在 Web 客户端上单击按钮），从而弹出内部错误报告表。

摇动报告菜单

为了帮助诊断错误，报告会自动包含屏幕截图和大量元数据，包括当前处理用户的实验、用户的设备和应用程序版本以及用户的特定课程和课程数据。我们在每个错误报告中都包含一个独特的 Fullstory 记录，显示用户在遇到错误之前在应用程序中执行的操作。Shake-to-Report bug 还包含一个日志文件，该文件特别有用，因为工程团队经常在不同点添加日志语句以帮助调试问题。

例如，在我们在 iOS 应用程序中推出数学和音乐课程之前，Duolingo 员工对这些新课程的内部构建进行了几个月的测试！在正式发布前几周，音乐课程背后的团队注意到有关音乐课程崩溃的持续测试错误报告，与 Crashlytics 崩溃率的上升同时发生。

音乐课程崩溃 了

为了诊断崩溃，该团队添加了额外的语句来记录用户的音乐课程信息、歌曲数据和课程交互。随着狗食错误报告不断出现，团队分析了更详细的日志并确定了根本情况：以特定模式暂停歌曲导致的边缘情况。距离 iOS 上的数学和音乐课程推出仅剩几周时间，他们通过在测试错误日志中记录额外数据，实现了修复！

发布仪表板、Jeeves 和 Shake-to-Report 由 Duolingo 的测试和发布基础架构团队维护，他们与客户工程师和 QA 密切合作，以确保无缝的应用程序发布流程。周一早上，在推出最新的公共应用程序版本之前，我们的内部 QA 团队会检查周末测试中报告的错误。除非没有任何错误阻碍或显着影响用户体验，否则我们不会开始应用程序部署。（非阻塞错误由 QA 团队进行分类。）

通过在全公司范围内创建内部测试文化，我们能够保持持续的数据流，帮助我们保持应用程序质量并不断改善我们的应用程序体验。（原文链接：https://blog.duolingo.com/dogfooding-app/）