问答 怎么测试对接 gpt 的需求?

潇湘过路客,荆楚行道人 · 2023年07月03日 · 最后由 tangoliver 回复于 2023年07月04日 · 5574 次阅读

我司有个小需求,对接了 chatGPT。具体内容是给固定的 prompt 传了不到 10 个参数,然后将返回的 markdown 格式的答案在网页上展示。

问题:
1、这种需求应该怎么测试呢?

  • 现在测试的方法是 review 开发对应的代码,确认下全部的参数取值是否正确;
  • 对代码进行打印,确认每次请求 chatGPT 时,请求的内容是对的;
  • 然后 chatGPT 返回的具体内容,也就是看看有没有返回,其他就没关注了

2、后续还会有类似 midjunior 这种,用户上传照片后,给用户展示跟照片差不多的卡通形象,这种又该怎么测试呢?

共收到 3 条回复 时间 点赞

对于第一个问题:

  • 给 gpt 之前,测 prompt 拼装,是否把预期的参数正确的拼到了 promt 模板。
  • 给 gpt 之后,测 prompt 实际效果。(我猜可能会有其他工种负责这个?需要不断调参不断测试吧)。

对于第二个问题:

  • 我个人觉得是没法测...midj 本身不稳定,看看代码有没有做兜底?

后续还会有类似 midjunior 这种,用户上传照片后,给用户展示跟照片差不多的卡通形象,这种又该怎么测试呢?

用魔法击败魔法,先把你的图片和语义给关联起来,然后向量化,在和把生成的图片进行对比。可以参考下 clip。

可以先问问 gpt😁

潇湘过路客,荆楚行道人 关闭了讨论 07月07日 18:43
潇湘过路客,荆楚行道人 重新开启了讨论 07月07日 18:43
潇湘过路客,荆楚行道人 关闭了讨论 07月11日 15:33
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册