SRE Journey
← 記事一覧
国内企業サイバーエージェント (CyberAgent Developers Blog)

セルフホスト Langfuse のプロンプト配布と GCS へのミラー

Langfuse停止に備え、プロンプトをGCS等へミラーして配布する構成

サイバーエージェント

要点

  • 公式のpre-fetchはCloud Runのオートスケール時に起動失敗し、fallbackは修正前プロンプトが残る乖離があり、どちらも合わなかった。
  • Langfuse AutomationsとGitHub Actionsで、プロンプト更新のたびに環境別のオブジェクトストレージへ自動コピー(ミラー)する。
  • 通常時はLangfuseから取得し、停止時のみストレージを読む。常にLangfuse基準を保ち、ミラー失敗の影響も停止時に限られる。
  • 環境ごとにバケットを分けて使うラベルのバージョンを置き、アプリ側の判定ロジックを不要にした。
  • プロンプト本文(.txt)とLLMパラメータ(.config.json)を一緒に置き、バージョンの乖離を防ぐ。

元記事:セルフホスト Langfuse のプロンプト配布と GCS へのミラー(サイバーエージェント (CyberAgent Developers Blog))↗