国内企業サイバーエージェント (CyberAgent Developers Blog)
セルフホスト Langfuse のプロンプト配布と GCS へのミラー
Langfuse停止に備え、プロンプトをGCS等へミラーして配布する構成
サイバーエージェント

要点
- 公式のpre-fetchはCloud Runのオートスケール時に起動失敗し、fallbackは修正前プロンプトが残る乖離があり、どちらも合わなかった。
- Langfuse AutomationsとGitHub Actionsで、プロンプト更新のたびに環境別のオブジェクトストレージへ自動コピー(ミラー)する。
- 通常時はLangfuseから取得し、停止時のみストレージを読む。常にLangfuse基準を保ち、ミラー失敗の影響も停止時に限られる。
- 環境ごとにバケットを分けて使うラベルのバージョンを置き、アプリ側の判定ロジックを不要にした。
- プロンプト本文(.txt)とLLMパラメータ(.config.json)を一緒に置き、バージョンの乖離を防ぐ。
元記事:セルフホスト Langfuse のプロンプト配布と GCS へのミラー(サイバーエージェント (CyberAgent Developers Blog))↗
- #Langfuse
- #LLMOps
- #GCS