我最近完成了 BlueDot Impact 的 AI Safety Fundamentals 课程，并获得了结业证书。这不算一个很大的终点，但它让我从单纯做有用的 AI 应用，开始思考这些系统会怎么失败、怎么评测，以及工具调用型 AI 智能体在真正被人依赖之前应该怎么变得更安全。
课程教会了我什么
BlueDot 课程其实就是一个比较系统的 AI safety 地图。在这之前，我已经做过一些 RAG 和全栈 AI 项目，但我还没有深入地了解各种问题的结构化表述和修复，包括错误检索、权限缺失、对流畅回答的过度信任等等。
这门课帮我把这些问题和更大的安全议题连起来，例如 specification、evaluation、deployment risk、interpretability 和 scalable oversight。课程之后，我想我对“做 AI 应用”这件事的兴趣没有消失，但关注点变了。我更想做可靠的 AI 基础设施服务。
接下来的方向
我现在最想继续推进的方向，是面向工具调用型 / Harness 系统的 AI 智能体安全评测。我正在做的 model-eval-system 是一个小型的日常行政类 AI 智能体评测套件，用来测试 AI 智能体能不能在完成有用任务的同时，把检索到的应用内容当作不可信数据处理。