サイボウズのログ基盤 2026年版 ― Apache Iceberg × Trino によるアーキテクチャ刷新

要点

• 旧基盤はHDFS/Hiveでストレージと計算が一体だったため、容量増にもノード増設が必要だった。新基盤はNecoのCephオブジェクトストレージに保存し、両者を独立してスケールできる。
• ログ発生源のL7LBはForestに残るため、LogShipperとForest側Kafkaは継続利用し、MirrorMaker 2.0でNeco側Kafkaへ転送する。旧基盤への流れを止めずに並行運用でき、切り替えと旧基盤停止を切り離せた。
• 保存形式にApache Icebergを採用。メタデータでファイル一覧や列統計を持つため、オブジェクトストレージでもディレクトリ一覧取得が不要になる。小ファイル対策にoptimizeやスナップショット削除を定期実行している。
• 書き込みはKafka ConnectのIceberg Sink Connectorで行い、SMTでフィールド名の整形や個人識別情報のマスキングを実施。カタログはApache GravitinoのIceberg REST Serverで、永続化先はMOCO製MySQLを使う。
• クエリはTrino、フロントエンドは引き続きRedashを使用。カタログを介して書き込み側と読み出し側を独立に差し替えられる。移行は完了しておらず、旧基盤への保存も念のため継続中。