可观测 · 可评估

每一次调用都清晰可见

Ontology Route for AI Agent 在网关层原生集成可观测与评估能力。无需改造业务代码，即可捕获每一次 Agent 运行的完整调用链，对输出质量持续打分，并把延迟、Token 与成本沉淀为可分析的指标。

接入模型了解安全护栏

核心能力

从追踪到评估，覆盖上线后的完整可观测闭环。

分布式追踪

以 Trace / Span 模型还原一次运行的完整调用树，跨模型、工具与子任务无缝串联。

自动化评估

内置忠实度、相关性、有害性、简洁度等评估器，支持 LLM-as-Judge 与自定义打分函数。

实时指标

按模型、任务、租户维度聚合延迟、Token、成本与成功率，秒级刷新。

异常告警

为延迟、错误率、成本设定阈值，命中即经 Webhook、邮件或 Slack 推送。

回放与标注

任意一次调用可完整回放输入输出，人工标注结果自动回流用于持续评估。

成本归因

把每一分成本精确归因到任务、功能与终端用户，一目了然。

全链路追踪瀑布图

每一次运行都会生成一棵调用树，清晰呈现规划、检索、模型推理与工具执行的耗时分布。

Trace#8f2a…c1

2.84s · 6 spans

agent.run

2.84s

—

planner · gpt-4o

640ms

1.2k tok

tool: search_docs

510ms

—

retriever.embed

280ms

512 tok

executor · claude-3.5

980ms

3.4k tok

tool: run_code

390ms

—

根LLM工具向量

自动化评估

对采样或全量流量运行评估器，输出可量化的质量分数并随版本对比。

忠实度 Faithfulness0.94

回答是否忠于检索到的上下文

指标看板

线上关键指标实时聚合，异常自动触发告警。

P50 延迟

1.24s

P95 延迟

3.10s

成功率

99.2%

近 24h 成本

¥350

当 P95 延迟超过 3s 或错误率超过 1% 时，系统会自动经 Slack 与 Webhook 推送告警，并附带对应 Trace 链接。

观测与护栏，天生一对

每一次护栏拦截都会记录到调用链路，风险可追溯到具体请求。

了解安全护栏

核心能力

从追踪到评估，覆盖上线后的完整可观测闭环。

分布式追踪

以 Trace / Span 模型还原一次运行的完整调用树，跨模型、工具与子任务无缝串联。

自动化评估

内置忠实度、相关性、有害性、简洁度等评估器，支持 LLM-as-Judge 与自定义打分函数。

实时指标

按模型、任务、租户维度聚合延迟、Token、成本与成功率，秒级刷新。

异常告警

为延迟、错误率、成本设定阈值，命中即经 Webhook、邮件或 Slack 推送。

回放与标注

任意一次调用可完整回放输入输出，人工标注结果自动回流用于持续评估。

成本归因

把每一分成本精确归因到任务、功能与终端用户，一目了然。