Introducing Scout 1.0: A new SRE model powering Bits AI with frontier performance at a fraction of the cost

要点

• Scout 1.0はBits Investigation(AI SRE)用の調査特化モデル。推論コストを下げ、より頻繁かつインシデントの早期に調査を回せるようにする狙い。
• 自社ベンチマークAlertEvalで、medium設定は汎用フロンティアモデルと同等の精度を3〜8倍低い推定コストで達成。xhighはFable xhighと同等で4倍低コストとされる。
• GLM-5.3 Flashをベースに、実インシデントとテレメトリから作った顧客データを含まないシミュレーション上で強化学習を実施。原因特定と根拠の提示を報酬とする。
• 第三者ベンチマークSREGymでも、mediumはGLM-5.3を4倍超のコスト減で上回ると主張。ただしAlertEvalは社内ベンチマークで、スコアは専門家の説明との一致度。
• Datadog社内と一部顧客でクローズドプレビュー中で、一般提供前。今後は障害シミュレーションの拡充と自律的な復旧対応への拡張を計画。