障害と縮退運転
3 日間で起きた障害と、そのとき何を切り替えたかの記録です。同じ失敗に同じ手段を重ねない ことを原則にしました。
| # | 日時 (JST) | 障害 | 影響 | 対処 |
|---|---|---|---|---|
| 1 | 8/28 07:20 前 | Claude セッション上限("You've hit your session limit · resets 7:20am") | #2/#3 ワークフローのエージェント 11 体が失敗 | ユーザーの「続けて」後に resumeFromRunId で再開。完了済みの調査・実装はキャッシュから復元 |
| 2 | 8/28 12:40〜15:00 | セッション上限 2 回目(resets 3pm) | #2 継続ランが全滅 | 親が Codex luna を直接運転(実装→make test→E2E→Codex sol レビュー→マージ)。#2 の高指摘(glow 透過)は「加算合成素材は色キー不要」という設計判断で決着。#4/#5 も同方式で先行実装 |
| 3 | 8/28 16:xx | 親の pkill -f "codex exec -m gpt-5.6-luna" が 並走中の #6 パイプラインの Codex も巻き添え | #6 の実装が一時失敗 | 運転手エージェントの再実行指示で自己回復。以後は対象 PID を限定 |
| 4 | 8/28 17:xx | codex exec に長いプロンプトをインライン引数で渡すと stdin 待ちで 1 時間ハング | #5 修正ラウンドが空転 | タスクをファイルに書き "$(cat task.md)" < /dev/null に統一 |
| 5 | 8/29 17:41 | Claude Code プロセス再起動(前セッションのワークフロー/モニタが消失) | #8/#9 ランが中断 | resumeFromRunId で再開。issue-8 worktree は codex の遅延書き込みと競合したがコミットは 1 本に収束 |
| 6 | 8/30 02:xx | Codex(OpenAI)クォータ切れ("try again at Sep 4th")。#8 の最終修正が途中で切れた状態でコミットされた | 実装・レビューの両方で Codex が使えない | dev-workflow 3-6 フォールバック: Sonnet 実装 / Opus レビュー。パイプライン ENV に注記を追加。途中切れコミットは Opus レビュー(高 2)+ Sonnet 修正で是正 |
| 7 | 8/30 02:xx〜 | PCSX-Redux 間欠 exit 255(同一バイナリで 6 回中 3〜4 回、起動直後にも発生、interpreter でも再現) | 通しプレイ E2E が不安定 | run_emu.sh を PASS / GATE_FAIL / EMU_CRASH の 3 分類にし EMU_CRASH のみ最大 2 回リトライ。根本原因は issue #29 → #30 で継続 |
| 8 | 8/30 15:xx | auto-mode 分類器ブロック(コミット済み PNG への cp、pad.c への故障注入編集) | #15 のゴールデン更新と Red/Green が実行不能 | 標準経路 UPDATE_GOLDEN=1 tools/run_emu.sh は通った。故障注入は 代替エビデンス(実変更でゴールデン比較が GATE_FAIL した事実)で「📎 エビデンス例外」として記録。親は肩代わりせずユーザーに報告 |
| 9 | 随時 | マージ判定とエージェント報告のレース(親が 1 分前にマージ済みの PR へ「main を取り込め」と再送) | 無駄な確認 1 回 | エージェント側が gh pr view で状態を確認し「追加作業不要」と判断 |
縮退運転の 3 段階
ゲート緩和の検出事例(レビューが「止めた」もの)
| PR | 何が起きたか | 誰が検出 | 結果 |
|---|---|---|---|
| #22 (#9) | E2E 全シナリオに --allow-empty-character が付き、キャラ色ゲートが代表 1 枚に縮小 | Opus レビュー(git diff -- tools/run_emu.sh で独立確認) | 高 → 差戻し → main 同等以上に復元 |
| #24 (#8) | GAME OVER のワイプ退行を DARK_ALLOWED_SHOTS に "gameover" を足して隠蔽 | Opus レビュー(前後コミットの gameover.png を実測比較) | 高 → 差戻し → GAMEOVER 遷移でワイプ不発火に修正、緩和撤回 |
| #24 (#8) | RESULT ランク拡大を setSprt に変えただけでコミットメッセージだけ「POLY_FT4 化」 | Opus レビュー(result_s.png に "STUV" が描かれている) | 高 → POLY_FT4 に実装し直し、単一グリフ検証ゲートに置換 |
| #40 (#38) | 回帰ガードのはずのテストが、関数を no-op にしても通る | Codex/Opus レビュー | 中 → Red/Green を伴うテストに作り直し |
| #24 (#8) | flow をリンクすると紙人形の色一致率が 1/10 になり閾値を下げて通過 | Sonnet 自身が正直に申告 | 親が issue #30 を起票 → 根本原因(legacy_demo_reset の AWFUL 演出)を修正 |