move_detect/tests/test_daemon.py
유창욱 e00ad69aa3 feat(safety,ux): 통보·억제·증거 체계 신설 + UI/UX 감사 21건 반영
UI/UX 점검에서 시작해 "이 제품이 안전 시스템으로서 무엇이 없나"까지 내려간 작업.
두 덩어리를 한 커밋으로 둔다 — 뒤쪽 기능들이 앞쪽에서 고친 화면 위에 얹혀 있다.

━━ 1부: UI/UX 감사 21건 ━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━

동선 — 확인(ack) 경로가 위험했다
- 스트림 정렬을 '미확인 우선'에서 엄격 시간순으로 되돌린다. 확인 상태가 연대기를
  뒤집어 사고 재구성이 불가능했고, 확인하면 그 행이 목록 밖으로 사라지며 아래 행이
  밀려 올라와 같은 좌표를 두 번 누르면 다른 이벤트가 확인 처리됐다. 이제 제자리에서
  '확인됨'으로 전환되고 확정 토스트가 뜬다. 처리 큐는 정렬이 아니라 뷰모드 필터로 분리
  (전환해도 행끼리 상대 순서는 절대 안 바뀐다).
- 실행취소는 넣지 않았다. acknowledged_by는 감사로그가 함께 남는 추가 전용 기록이라
  무음 되돌리기가 안전 시스템에서 더 나쁜 속성이다. 대신 오탐·구역삭제를 2단계 확정으로.
- 이벤트 상세에 확인/오탐 신설. 판단하는 화면에 판단 도구가 없었다.
- 구역 설정에 장치·카메라 선택기. 시스템이 아는 값을 사람에게 묻고 있었고,
  플레이스홀더(device-01)마저 실제와 다른 포맷을 가르쳤다.
- 날짜 조회(키셋 커서 시딩). 사고 조사 진입로가 아예 없어 '더 보기'를 반복해야 했다.
- 경보음 세션 음소거(새 위급 도착 시 자동 해제). 끌 수 없는 반복음은 안전 콘솔이
  통째로 꺼지는 경로다.

전달 — 같은 단어가 화면마다 다른 숫자를 가리켰다
- KPI '미확인'(최근 200건)과 24시간 브리프 '미확인'이 40px 간격으로 충돌했다.
  KPI에 실제 집계 범위를 명시. 중대=위급+높음을 인라인 정의.
- 페이지 명칭 3종·날짜 포맷 3종 통일. '확인 필요' 칩을 전 심각도로 확장
  (그전엔 확인 여부가 먼 컬럼의 버튼 유무로만 구분됐다).
- 표본 게이트: 오탐율 '100% (1/1)'이 '33% (5/15)'보다 위에 뜨던 것, 최다 3건짜리
  시간패턴 히트맵, 6→8건에 붙던 빨간 ▲33%. 개선조치 효과는 푸아송 잡음 범위(√before)를
  넘어야 방향을 주장한다 — 안전회의에서 한 번 반박당하면 카드 전체가 신뢰를 잃는다.
- 카메라 위험 순위가 중대>0이면 전부 빨강이라 순위 노릇을 못 했다. 상대 기준으로.

시각 — 화면마다 완성도가 달랐다
- 구역 설정·이벤트 상세를 카드 셸로 재구성. 둘 다 스타일 없는 기본 폼이었고,
  납품 심사에서 "덜 만든 티"는 정확히 거기서 났다.
- 히트맵 토글은 aria-pressed만 있고 CSS 규칙이 없어 켜졌는지 눈으로 알 수 없었다.
- 존 색을 팔레트와 정합(팔레트 어디에도 없던 보라 제거), 채움+라벨칩+협착 점선.
  캔버스에 1px 외곽선만 그리면 실제 공장 프레임에서 사라진다.

━━ 2부: 안전 플랫폼 (마이그레이션 2026-08-09-safety-platform.sql) ━━━

통보 — 이 제품의 정의에 해당하는 구멍
  지금까지 감지는 브라우저 탭이 열려 있고 사람이 보고 있어야만 전달됐다. 새벽 3시에
  넘어진 작업자는 DB에 행 하나를 남기고 아침을 맞았다.
- 엣지 GPIO 경광등(edge/beacon.py). 인터넷·서버 없이 동작하는 유일한 경로라
  어떤 현장이든 이것부터 설정한다. /api/config의 beacons로 배선을 받고, 하드웨어가
  없거나 핀이 안 열리면 NullBeacon으로 떨어지되 그 사실은 반드시 로그로 남긴다.
- 메일·웹훅 채널 + 크론 디스패처(tools/dispatch_alerts.php). 중복 발송은 읽고-쓰기가
  아니라 (event,channel) UNIQUE로 막는다 — 크론 중첩 실행은 공유호스팅의 상수다.
- 미확인 위급은 unacked_escalation 이벤트가 되어 상위 채널로 올라간다(event_uuid로 멱등).
  '아무도 보지 않았다'는 사실 자체를 사건으로 만든다.
- 통보에 이미지는 싣지 않는다. 스냅샷은 PIPA 대상이고 메일링 리스트로 나가는 순간
  인증 프록시가 지키던 통제를 벗어난다 — 링크만 보낸다.

조용한 실패 제거
- 카메라 화각 이동·가림·조도 저하 감지(detectors/integrity.py). 존 판정은 화각 고정을
  전제로 서 있는데, 삼각대를 스치면 제한구역이 엉뚱한 바닥을 가리키면서 시스템은 계속
  초록불이었다. numpy만 사용하고, 지나가는 사람과 구분하기 위해 지속시간을 요구한다.
- 스토리지 여유 감시. 디스크가 차면 이미지 저장만 조용히 실패하고 보드는 멀쩡해 보인다.

끊겨 있던 배선 2건
- thresholds_from_config()가 정의만 있고 어디서도 호출되지 않았다. 서버에 표가 있고
  /api/config가 성실히 실어 보내고 엣지가 파싱한 뒤 버렸다 — 관리자가 무엇을 바꿔도
  장비는 부팅 시 edge.env 값으로 영원히 돌았다(edge/tuning.py).
- 존·임계값 저장이 config_version을 올리지 않아 '설정 지연' 표시가 애초에 켜질 수
  없었다. 지표는 있는데 그것을 켜는 사건이 없었다.

관리 화면 (그전에는 phpMyAdmin이 유일한 방법이었다)
- 임계값 편집: 자유 텍스트가 아니라 카탈로그(범위·단위·설명)로 렌더한다. 범위 밖 값은
  엣지가 기동 시 거부하는데 그때는 이미 공장 안 장비가 재시작 루프다. 키보드 앞에서 막는다.
  목록에 없는 키는 저장 불가 — 장비가 조용히 무시할 값이 '설정됨'으로 보이면 안 된다.
- 정비 억제: 사유 필수, 최대 8시간(한 교대), 자동 만료. 감지와 기록은 그대로 계속되고
  통보만 보류되며 그 보류도 원장에 status='suppressed'로 남는다 — 조사에서 '경보가 났지만
  의도적으로 withheld됐다'를 볼 수 있어야 한다.
- 교대 인수인계, 위험성평가, 설비 성능 추이, 설치 점검(/setup — 실제 상태 조회 기반).

증거·규정
- 감사로그 해시체인. 공유호스팅은 append-only 권한을 줄 수 없으니 '막는' 대신 '숨길 수
  없게' 만든다. 수정·삭제·우회삽입이 전부 탐지되고(tools/verify_audit_chain.php, 손상 시
  exit 1), 체인 이전 행은 손상이 아니라 '검증 불가 구간'으로 따로 센다 — 정상 시스템이
  매번 빨간불을 켜면 아무도 이 도구를 안 본다.
- 사고조사 패키지 1클릭: 전후 타임라인 + 통보 이력(누구에게 닿았는가) + 위험요인 +
  조치 이력 + 서명란. 인쇄 CSS로 그대로 제출 가능. 사고 다음 날 반나절을 쓸 사람은 없다.
- 이벤트→조치 직접 기록, 현장별 롤업(전역 계정만).

운영
- 일괄 확인(위급은 의도적으로 제외·2단계 확정), 키보드 트리아지(J/K/A/F/Enter),
  모바일 레이아웃(44px 타깃), 보존기간 정리(tools/maintain.php),
  백업/복구(tools/backup.php — www 안 출력은 거부), 데모 시드(tools/seed_demo.php).
- tools/는 전부 CLI 전용이고 납품 시 move_detect_app/tools/에 www 밖으로 배치된다.

미착수 4건 (모델·하드웨어가 선행 조건)
- 보호구·중장비 근접·화재 감지는 AGPL 아닌 가중치 확보 + HEF 컴파일이 관문이다.
  감지기 배선·이벤트 계약·심각도·쿨다운·테스트까지 만들고 기본 비활성으로 둔다
  (edge/detectors/pending.py). enabled=True인데 model=None이면 아무것도 하지 않도록
  명시적으로 막았다 — "곧 됩니다" 상태로 켜 두면 현장은 감지되고 있다고 믿는다.
- PLC 접점 협착 게이팅도 같은 이유로 인터페이스만.

검증: pytest 통과(skip 3 = 하드웨어·환경) / PHPUnit 221 (skip 0, +59).
Chrome 실렌더로 신규 4화면 + 임계값 저장→config_version 증가→감사 기록→체인 검증→
행 변조→탐지(exit 1) 전 경로 확인. cafe24 번들 + Pi 오프라인 번들(aarch64 휠 11개)
재생성, 소스 패리티 통과. 보안 자체점검: SQL 문자열 보간 0, innerHTML 0,
상태 변경 핸들러 전부 CSRF+RBAC.
2026-08-18 07:51:23 +09:00

296 lines
13 KiB
Python

import pytest
from edge.daemon import run_loop
class _Runtime:
def __init__(self): self.steps = 0; self.applied = None
def step(self, now): self.steps += 1; return []
def apply_zones(self, zones): self.applied = zones
class _Client:
def __init__(self): self.configs = 0; self.beats = 0; self.metrics = []
def fetch_config(self): self.configs += 1; return {"zones": [], "thresholds": {}}
def send_heartbeat(self, m): self.beats += 1; self.metrics.append(m); return True
class _Queue:
def __init__(self, pending=0): self.flushes = 0; self._pending = pending
def flush(self): self.flushes += 1; return 0
def pending(self): return self._pending
def test_loop_steps_and_periodics():
rt, cl, q = _Runtime(), _Client(), _Queue()
ticks = iter(range(1000))
counters = run_loop(rt, cl, q, clock=lambda: float(next(ticks)),
sleep=lambda s: None, iterations=10,
sync_every=5, heartbeat_every=5, flush_every=5)
assert rt.steps == 10
assert cl.configs == 2 and cl.beats == 2 and q.flushes == 2 # at frames 5 and 10
assert rt.applied == [] # zones applied from fetched config
def test_loop_survives_step_exception():
class Boom(_Runtime):
def step(self, now):
self.steps += 1
if self.steps == 2: raise RuntimeError("frame glitch")
return []
rt = Boom()
counters = run_loop(rt, _Client(), _Queue(), clock=lambda: 0.0,
sleep=lambda s: None, iterations=3,
sync_every=99, heartbeat_every=99, flush_every=99)
assert rt.steps == 3 # kept going past the exception
assert counters["errors"] == 1
def test_loop_logs_swallowed_step_exception_rate_limited():
# A permanently-broken pipeline must not present as a silent green unit: the swallowed
# exception has to be logged. But it must be rate-limited — a camera failing every frame
# cannot spam the journal thousands of times a second.
logs = []
class AlwaysBoom(_Runtime):
camera_id = "cam-x"
def step(self, now):
self.steps += 1
raise RuntimeError("perma-broken")
rt = AlwaysBoom()
counters = run_loop(rt, _Client(), _Queue(), clock=lambda: 0.0,
sleep=lambda s: None, iterations=5,
sync_every=99, heartbeat_every=99, flush_every=99,
log=lambda msg, exc=None: logs.append(msg))
assert counters["errors"] == 5 # every step raised
assert len(logs) == 1 # logged once, not five times (rate-limited)
assert "cam-x" in logs[0] # names the failing camera
def test_heartbeat_reports_real_fps_and_camera_health():
# A hardcoded fps=0.0 makes the server's device-health columns fiction; it can't tell a
# live device from a dead one. The heartbeat must carry the measured fps and per-camera
# health so a degraded device is visible remotely.
rt, cl, q = _Runtime(), _Client(), _Queue()
ticks = iter(float(t) for t in range(1000))
run_loop(rt, cl, q, clock=lambda: next(ticks), sleep=lambda s: None,
iterations=10, sync_every=99, heartbeat_every=10, flush_every=99)
assert len(cl.metrics) == 1
m = cl.metrics[0]
# 10 frames over the elapsed wall time between the first tick (t=0) and the beat (t=9).
assert m["fps"] == pytest.approx(10 / 9, rel=0.05)
assert m["cameras_total"] == 1
assert m["cameras_erroring"] == 0
def test_heartbeat_flags_a_failing_camera():
class AlwaysBoom(_Runtime):
camera_id = "cam-x"
def step(self, now):
self.steps += 1
raise RuntimeError("dead")
cl = _Client()
ticks = iter(float(t) for t in range(1000))
run_loop(AlwaysBoom(), cl, _Queue(), clock=lambda: next(ticks), sleep=lambda s: None,
iterations=10, sync_every=99, heartbeat_every=10, flush_every=99,
log=lambda *a, **k: None)
m = cl.metrics[0]
assert m["cameras_erroring"] == 1 # the server can now see the camera is down
class _NoFrameRuntime:
# step() returns None on a tick with no frame (dead/unplugged camera), a list otherwise.
camera_id = "cam-dead"
def __init__(self): self.steps = 0
def step(self, now): self.steps += 1; return None
def test_no_frame_counts_as_erroring_not_a_healthy_frame():
# A camera that returns no frame every tick (unplugged USB) must NOT tick frames++ and must
# surface as erroring — otherwise a monitoring outage looks perfectly green (the whole point
# of run_once returning None instead of []).
rt, cl = _NoFrameRuntime(), _Client()
ticks = iter(float(t) for t in range(1000))
counters = run_loop(rt, cl, _Queue(), clock=lambda: next(ticks), sleep=lambda s: None,
iterations=10, sync_every=99, heartbeat_every=10, flush_every=99,
log=lambda *a, **k: None)
assert rt.steps == 10
assert counters["frames"] == 0 # no frame was ever counted as healthy
m = cl.metrics[0]
assert m["fps"] == 0.0
assert m["cameras_erroring"] == 1 # the dead camera is visible to the server
def test_heartbeat_reports_configured_camera_count_when_one_failed_to_start():
# build_runtimes skips a camera that fails to construct at boot, so `runtime` holds only the
# started cameras. The heartbeat must still report the CONFIGURED total and count the missing
# one as erroring — otherwise the server can never see that a configured camera is dark.
rt, cl, q = _Runtime(), _Client(), _Queue() # 1 runtime started...
ticks = iter(float(t) for t in range(1000))
run_loop(rt, cl, q, clock=lambda: next(ticks), sleep=lambda s: None,
iterations=10, sync_every=99, heartbeat_every=10, flush_every=99,
configured_cameras=2) # ...but 2 were configured
m = cl.metrics[0]
assert m["cameras_total"] == 2 # the missing camera is not hidden
assert m["cameras_erroring"] == 1 # and shows as erroring
def test_heartbeat_reports_queue_depth_and_echoes_config_version():
class _VersionClient(_Client):
def fetch_config(self):
self.configs += 1
return {"version": 7, "zones": [], "thresholds": {}}
rt, cl, q = _Runtime(), _VersionClient(), _Queue(pending=4)
ticks = iter(float(t) for t in range(1000))
# sync at frame 5 (captures version 7) BEFORE the heartbeat at frame 10.
run_loop(rt, cl, q, clock=lambda: next(ticks), sleep=lambda s: None,
iterations=10, sync_every=5, heartbeat_every=10, flush_every=99)
m = cl.metrics[0]
assert m["queue_pending"] == 4 # transmitted so the dashboard can show backlog
assert m["config_version"] == 7 # echoed so config-drift detection actually works
def test_heartbeat_omits_config_version_until_a_config_is_fetched():
# Before any sync, the device does not know its version — it must OMIT config_version rather
# than send a fake 0 (which made the server's drift indicator fire on every device forever).
rt, cl, q = _Runtime(), _Client(), _Queue()
ticks = iter(float(t) for t in range(1000))
run_loop(rt, cl, q, clock=lambda: next(ticks), sleep=lambda s: None,
iterations=10, sync_every=99, heartbeat_every=10, flush_every=99)
assert "config_version" not in cl.metrics[0]
def test_time_based_heartbeat_fires_on_elapsed_wall_time_not_iteration_count():
# Production uses heartbeat_interval_s so the cadence is predictable no matter how slow a tick
# is. With the clock advancing 10s/tick and a 30s interval, a beat fires every ~3 ticks.
rt, cl, q = _Runtime(), _Client(), _Queue()
ticks = iter(float(t * 10) for t in range(1000)) # t = 0,10,20,30,...
run_loop(rt, cl, q, clock=lambda: next(ticks), sleep=lambda s: None,
iterations=10, sync_every=99, heartbeat_every=None, flush_every=99,
heartbeat_interval_s=30)
# ticks at 0,10,20,30,...,90. Beats when now-last_beat >= 30: at 30, 60, 90 -> 3 beats.
assert cl.beats == 3
def test_loop_survives_flush_exception():
class BoomQueue(_Queue):
def flush(self):
self.flushes += 1
raise RuntimeError("db locked")
rt = _Runtime()
counters = run_loop(rt, _Client(), BoomQueue(), clock=lambda: 0.0,
sleep=lambda s: None, iterations=5,
sync_every=99, heartbeat_every=99, flush_every=2)
assert rt.steps == 5 # loop kept running past the flush exceptions
assert counters["errors"] >= 1
# ---------------------------------------------------------------------------
# 2026-08-09: 로컬 경광등 + 임계값 적용.
# 이 두 가지는 루프 안에서만 배선되므로 여기서 고정한다.
# ---------------------------------------------------------------------------
class _TunableRuntime(_Runtime):
def __init__(self):
super().__init__()
self.thresholds = None
self.events = []
def step(self, now):
self.steps += 1
return list(self.events)
def apply_thresholds(self, thresholds, log=None):
self.thresholds = dict(thresholds)
return self.thresholds
class _FakeBeacon:
def __init__(self, pin=7):
self.pin = pin
self.mode = "latch"
self.hold_s = 10.0
self.active_high = True
self.min_rank = 0
self.fires = []
self.ticks = 0
self.released = False
def fire(self, severity, now):
self.fires.append((severity, now))
return True
def tick(self, now):
self.ticks += 1
def release(self):
self.released = True
class _Ev:
def __init__(self, severity="critical"):
self.severity = severity
def test_thresholds_from_config_are_applied_to_the_runtime():
# 서버는 늘 이 값을 보내고 있었고, 엣지는 파싱한 뒤 버렸다. 그 배선이 살아 있는지.
class Cl(_Client):
def fetch_config(self):
self.configs += 1
return {"zones": [], "thresholds": {"fall_prone_s": 4.5}}
rt = _TunableRuntime()
counters = run_loop(rt, Cl(), _Queue(), clock=lambda: 0.0, sleep=lambda s: None,
iterations=5, sync_every=5, heartbeat_every=99, flush_every=99,
build_beacons_fn=lambda cfg, log=None: [])
assert rt.thresholds == {"fall_prone_s": 4.5}
assert counters["tuned"] == 1
def test_beacon_fires_on_the_tick_that_produced_the_event():
# 서버 디스패처를 기다리지 않는다 — 업링크가 죽어 있어도 현장에서는 울려야 한다.
b = _FakeBeacon()
rt = _TunableRuntime()
rt.events = [_Ev("critical")]
counters = run_loop(rt, _Client(), _Queue(), clock=lambda: 0.0, sleep=lambda s: None,
iterations=3, sync_every=99, heartbeat_every=99, flush_every=99,
beacons=[b], build_beacons_fn=lambda cfg, log=None: [b])
assert len(b.fires) == 3
assert b.fires[0][0] == "critical"
assert counters["beacon_fires"] == 3
assert b.ticks == 3, "유지 시간 해제를 위해 매 틱 tick() 이 불린다"
def test_beacon_failure_never_stops_detection():
# 경광등 배선 하나 때문에 그 카메라가 아무것도 못 보게 되는 것이 최악의 거래다.
class Boom(_FakeBeacon):
def fire(self, severity, now):
raise RuntimeError("gpio busy")
rt = _TunableRuntime()
rt.events = [_Ev("critical")]
counters = run_loop(rt, _Client(), _Queue(), clock=lambda: 0.0, sleep=lambda s: None,
iterations=4, sync_every=99, heartbeat_every=99, flush_every=99,
beacons=[Boom()], build_beacons_fn=lambda cfg, log=None: [])
assert rt.steps == 4
assert counters["errors"] >= 1
def test_beacons_are_not_reopened_when_the_wiring_is_unchanged():
# 동기화마다 무조건 재생성하면 ~150틱마다 전 현장의 경광등이 한 번씩 깜빡인다.
b = _FakeBeacon()
rt = _TunableRuntime()
run_loop(rt, _Client(), _Queue(), clock=lambda: 0.0, sleep=lambda s: None,
iterations=10, sync_every=2, heartbeat_every=99, flush_every=99,
beacons=[b], build_beacons_fn=lambda cfg, log=None: [_FakeBeacon()])
assert b.released is False, "같은 배선이면 기존 비콘을 유지한다"
def test_changed_wiring_releases_the_old_beacon():
b = _FakeBeacon(pin=7)
rt = _TunableRuntime()
run_loop(rt, _Client(), _Queue(), clock=lambda: 0.0, sleep=lambda s: None,
iterations=4, sync_every=2, heartbeat_every=99, flush_every=99,
beacons=[b], build_beacons_fn=lambda cfg, log=None: [_FakeBeacon(pin=13)])
assert b.released is True, "핀이 바뀌면 이전 핀을 반드시 놓아준다"