没人回答，我来给你点建议吧。
首先声明一下，我不是做推荐的，而且我算法也还没入门，仅供参考。
推荐系统相对来说还是很复杂的，不过算法好像都比较古老。。。我觉得肯定不会让你去评估算法的。除了基础算法，应该还有很多的本地逻辑策略，这个是不是可以重点关注一下。
评估什么，我个人觉得推荐最后产生生产力的是购买或者点击行为。那就上线模型，去实际评估价值吧。。。
你们的算法开发总有 KPI 吧，他们 KPI 是啥，你去看看，哪些也是你的 KPI？
不要问我细节，我不是做推荐的，只是随便掰掰，你看看好不好使。。。

没人回答，顶一下

建议灰度测试，测试基本上也是基于黑盒，跟 1L 差不多

1、最通用的还是 AB 测试，除此之外还有离线测试，当然离线测试需要准备足够庞大及可靠的测试集及对比方案。但是都是围绕推荐的常用指标以及业务本身的核心指标来评价的
2、一般关注的还是常用的推荐指标：pv、uv、准确率、召回率、覆盖度、还有业务核心指标（例如商品推荐的用户消费）、业务性能指标。除此之外，可以了解一下新颖度及惊喜度