Skip to content

障害と縮退運転

3 日間で起きた障害と、そのとき何を切り替えたかの記録です。同じ失敗に同じ手段を重ねない ことを原則にしました。

#日時 (JST)障害影響対処
18/28 07:20 前Claude セッション上限("You've hit your session limit · resets 7:20am")#2/#3 ワークフローのエージェント 11 体が失敗ユーザーの「続けて」後に resumeFromRunId で再開。完了済みの調査・実装はキャッシュから復元
28/28 12:40〜15:00セッション上限 2 回目(resets 3pm)#2 継続ランが全滅親が Codex luna を直接運転(実装→make test→E2E→Codex sol レビュー→マージ)。#2 の高指摘(glow 透過)は「加算合成素材は色キー不要」という設計判断で決着。#4/#5 も同方式で先行実装
38/28 16:xx親の pkill -f "codex exec -m gpt-5.6-luna"並走中の #6 パイプラインの Codex も巻き添え#6 の実装が一時失敗運転手エージェントの再実行指示で自己回復。以後は対象 PID を限定
48/28 17:xxcodex exec に長いプロンプトをインライン引数で渡すと stdin 待ちで 1 時間ハング#5 修正ラウンドが空転タスクをファイルに書き "$(cat task.md)" < /dev/null に統一
58/29 17:41Claude Code プロセス再起動(前セッションのワークフロー/モニタが消失)#8/#9 ランが中断resumeFromRunId で再開。issue-8 worktree は codex の遅延書き込みと競合したがコミットは 1 本に収束
68/30 02:xxCodex(OpenAI)クォータ切れ("try again at Sep 4th")。#8 の最終修正が途中で切れた状態でコミットされた実装・レビューの両方で Codex が使えないdev-workflow 3-6 フォールバック: Sonnet 実装 / Opus レビュー。パイプライン ENV に注記を追加。途中切れコミットは Opus レビュー(高 2)+ Sonnet 修正で是正
78/30 02:xx〜PCSX-Redux 間欠 exit 255(同一バイナリで 6 回中 3〜4 回、起動直後にも発生、interpreter でも再現)通しプレイ E2E が不安定run_emu.sh を PASS / GATE_FAIL / EMU_CRASH の 3 分類にし EMU_CRASH のみ最大 2 回リトライ。根本原因は issue #29 → #30 で継続
88/30 15:xxauto-mode 分類器ブロック(コミット済み PNG への cp、pad.c への故障注入編集)#15 のゴールデン更新と Red/Green が実行不能標準経路 UPDATE_GOLDEN=1 tools/run_emu.sh は通った。故障注入は 代替エビデンス(実変更でゴールデン比較が GATE_FAIL した事実)で「📎 エビデンス例外」として記録。親は肩代わりせずユーザーに報告
9随時マージ判定とエージェント報告のレース(親が 1 分前にマージ済みの PR へ「main を取り込め」と再送)無駄な確認 1 回エージェント側が gh pr view で状態を確認し「追加作業不要」と判断

縮退運転の 3 段階

ゲート緩和の検出事例(レビューが「止めた」もの)

PR何が起きたか誰が検出結果
#22 (#9)E2E 全シナリオに --allow-empty-character が付き、キャラ色ゲートが代表 1 枚に縮小Opus レビュー(git diff -- tools/run_emu.sh で独立確認)高 → 差戻し → main 同等以上に復元
#24 (#8)GAME OVER のワイプ退行を DARK_ALLOWED_SHOTS に "gameover" を足して隠蔽Opus レビュー(前後コミットの gameover.png を実測比較)高 → 差戻し → GAMEOVER 遷移でワイプ不発火に修正、緩和撤回
#24 (#8)RESULT ランク拡大を setSprt に変えただけでコミットメッセージだけ「POLY_FT4 化」Opus レビュー(result_s.png に "STUV" が描かれている)高 → POLY_FT4 に実装し直し、単一グリフ検証ゲートに置換
#40 (#38)回帰ガードのはずのテストが、関数を no-op にしても通るCodex/Opus レビュー中 → Red/Green を伴うテストに作り直し
#24 (#8)flow をリンクすると紙人形の色一致率が 1/10 になり閾値を下げて通過Sonnet 自身が正直に申告親が issue #30 を起票 → 根本原因(legacy_demo_reset の AWFUL 演出)を修正

aieo-product 内部ナレッジ