上线后的人工智能运维

为上线后的智能体或模型提供运维：用日常工作中的样本检查答复质量，控制使用费用，决策日志随时可用于审计和投诉处理。

与我们探讨您的项目查看范围

范围

客户找到我们时的情况

智能体按旧规章作答
法务部门修改了规章，智能体却仍按旧版本回答客户。没有人负责更新文档库，因为承包商在上线当天就结束了项目。直到客户援引一条公司已无法确认的答复时，错误才暴露出来。
模型账单增长快于事项数量
模型提供方按每次查询计费，账单逐月上涨，而处理的事项数量却没有变化。没有人知道费用是哪个部门产生的，也不知道智能体是否在一次查询就够的地方多次调用模型。
员工不再信任答复
员工发现智能体答非所问或遗漏新产品，于是又回到人工查找。问题反馈发在团队聊天群里，或者不了了之，因为没有人收集。系统还在运行，但使用的人越来越少。

范围

我们的工作

运维从智能体或模型投入日常工作之日开始；构建和上线属于单独的服务范围。我们接手已经运行的系统，无论是由我们还是由其他承包商构建的，确保它的答复质量与验收当天一样好。
我们用日常工作中的样本检查答复质量：按约定的节奏抽取部分真实查询，由您的业务部门按简单的评分标准评估答复。与验收当天相比出现下降，说明某些东西发生了变化：文件、价格表、法规或模型本身。答复与实际情况逐渐脱节，称为模型漂移；样本能让我们比客户更早发现它。您购买模型访问权限的提供方会发布新版本并下线旧版本；在切换之前，我们会用同一份样本验证新版本。
文档库、模型指令（提示词，即告诉模型应如何回答的文本）和模型版本都有版本号和启用日期。每项变更都在样本验证后，由您方指定人员批准，通常是流程负责人。如果您的系统受欧盟《人工智能法案》（AI Act）约束，我们会把其要求写入变更验收标准。
模型使用费用取决于处理的文本量，以token（词元）计算，即提供方据以计费的词语片段。我们设置限额，按部门和查询类型分摊费用，并每月展示。当费用增长快于事项数量时，我们会查找原因：查询过长、重复查询或超出用途的使用。
AI决策日志应当无需程序员就能回应客户投诉和审计师的询问。每条答复我们都会记录日期、输入数据、来源文件、模型和指令的版本，以及批准该答复的人。员工的反馈集中到一个地方，每条都有回复和状态，反复出现的问题会转化为待批准的变更。

范围

您将获得什么

- 运维计划：质量审查的节奏、可能影响答复的事件清单（新规章、价格表、模型版本），以及双方针对每类事件的负责人。
- 月度报告：样本结果与验收当天的对比、按部门划分的使用费用、已实施和待批准的变更、员工反馈及其状态。
- AI决策日志，附操作说明，介绍如何在其中查找某条具体答复，以用于投诉处理或审计。
- 变更登记册：文档库、指令和模型的每个版本，附日期、样本验证结果和批准人姓名。

范围

工作如何进行

1. 我们接手系统。核查智能体使用哪些文件、运行的是哪个模型版本、记录了哪些内容、由谁回复反馈。结果：初始状态说明及缺失项清单。
2. 我们确定质量衡量标准。与您的业务部门一起选定第一份样本和评分标准，用来判断模型是否出错。结果：作为后续每次审查参照的基准水平。
3. 我们开展审查并实施变更。按约定节奏评估样本、核查费用、回复反馈，并准备变更供您批准。结果：月度报告和变更登记册。
4. 我们移交或继续负责。培训您的团队独立开展审查，或按合同继续提供运维。结果：运维由了解其来龙去脉的人负责。

范围

团队经验

团队成员曾在医疗健康领域参与面向体外受精领域的AI平台工作。该平台按照FDA、CE和MDR的要求作为医疗器械管理，面向欧盟和美国市场。

范围

管理层应向AI运维承包商提出的问题

1. 由谁评估答复样本、多久评估一次，与验收当天相比出现下降时我们如何得知？
2. 承包商如何得知我们的规章或价格表发生了变化，由谁将变更录入文档库？
3. 如果提供方下线我们正在使用的模型版本会怎样，切换前由谁验证新版本？
4. 我方由谁批准模型指令和文档库的变更？
5. 我们每月以什么形式看到模型使用费用，超出限额后会怎样？
6. 如何在决策日志中查找几个月前的某条答复，日志保存多长时间？
7. 员工在哪里报告错误答复，由谁回复，我们如何知道有多少反馈在等待处理？
运维范围取决于智能体做什么、它出错会造成什么后果，因此第一步是分析流程以及上线后已记录的内容。