- 1.5× 平均技能得分(最高 2.5×),覆盖 20+ 项技能
- ~150 次 AI Agent 运行完成评分,覆盖 15+ 个场景
- 397 个客服机器人红队测试用例
使用的技术
- 强化学习
- 电脑操作 AI Agent
- 红队测试
项目简介
我在深圳的 AI Agent 硬件初创公司 Violoop 搭建了强化学习流水线,用 AI 评审得分作奖励,优化电脑操作 AI Agent 的技能。覆盖 20+ 项技能,得分平均提升至原来的 1.5×,最高达 2.5×;三个 AI 模型组成的评审团负责评分。
我带领 3 名实习生,在 WhatsApp 跟进、合同审阅等 15+ 个场景中记录并评分约 150 次 AI Agent 运行。我还部署了 Discord 客服机器人,知识库收录 432 条问答;用 397 个用例对机器人做红队测试,覆盖提示词注入和机密信息泄露,并修复发现的问题。
值得注意: 三个 AI 模型组成的评审团负责评分。
公司代码不公开,所以没有截图或代码链接。
评论
评论没能加载出来。评论通过 giscus 存放在 GitHub Discussions,发表评论需要 GitHub 账号。
下一个项目