Bulk Executor for Amazon DynamoDB, Part 2: Lessons we learned the hard way

要点

• 並列実行基盤にAWS Glueを採用。DynamoDBコネクタとServerless並列性が利点だが、コネクタは文字列セットとリストを区別できず、削除もできない。
• 削除・fill・scancount・diff・copyはAPIを直接呼ぶ構成に。scancountはセグメントスキャンとSelect: COUNTでコネクタ版より高速化。直接アクセスは型の忠実性確保にも使う。
• CloudWatch Live Tailは毎秒500件超で間引かれるため、大量出力はS3に書き端末には先頭10件とリンクのみ表示。順序入替や終了後の遅延ログにも対処した。
• 安全性と運用面では、更新系コマンドの対象テーブルにPITRを必須化し、^Cで両側を停止。エラーはaccumulatorで集約し、直接API呼び出しには分散レートリミッタを導入。
• Glue 4→5/6への移行テストをAIで生成・実行し、ドキュメント・ロール作成・権限検証の3定義のずれを検出するAIリンターも運用している。