test: 코드↔그림 리터럴 드리프트 게이트, 다이어그램을 내부 문서로 확정
용도를 내부 문서로 못박았다. 고객 인수물이 아니므로 납품 품질 기준을 적용하지 않는다 — 감사에서 나온 한글 폰트 미번들과 영어 뷰어 UI 는 archify 한계라 spec 으로는 못 고치는데, 사내 머신에는 한글 폰트가 있으므로 low 로 내렸다. 승격 조건(그 둘이 먼저 blocker)을 PROJECT_MAP 다이어그램 절에 적어 두었다. 그 위에 두 번째 게이트를 올린다. 기존 test_diagram_sync 가 "산출물이 spec 보다 낡았나"를 본다면, test_diagram_facts 는 "spec 이 코드보다 낡았나"를 본다. 그림에는 코드에서 뽑은 상수가 라벨과 카드 문장으로 하드카피돼 있어서, SCORER_VERSION 을 올리거나 믹스인을 하나 추가하면 코드는 통과하고 그림만 조용히 틀려졌다. CLAUDE.md 가 그 값들을 규칙으로 못박아 두었는데 정작 같은 값을 그린 다이어그램에는 보호가 없었다. SCORER_VERSION · SCHEMA_VERSION · 믹스인 개수 · app-*.js 개수 · 바디 상한 · 인증 실패 10회/60초 · 프롬프트 12행 상한 · 풀 상한 60/20 · 기본 모델 · 런타임 의존성 3종 "지문 유사도 0.9+ -> 80점" 은 이름 있는 상수가 아니라 risk_scoring 안의 인라인 리터럴이라, import 대신 실제로 채점해서 확인한다. 라벨이 주장하는 값과 스코어러가 내는 값이 같은지를 직접 본다. 차단을 실증했다 — SCORER_VERSION v3->v4 로 3건, MAX_PROMPT_EVIDENCE 12->16 으로 2건이 실패한다. 영향받는 다이어그램 전부에서 잡힌다. 발견 가능성도 정리했다. 감사에서 "3.3MB 산출물이 어떤 문서 색인에도 없다"가 나왔으므로 README 색인에 등재하고, PROJECT_MAP 까지 가지 않아도 되도록 docs/diagrams/README.md 에 직접 수정 금지·재생성 명령·CSP 주의를 두었다. 검증: ruff clean, pytest 619 passed (사실 게이트 +19). Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com> Claude-Session: https://claude.ai/code/session_01BStHFrjQj2VypecSG9ex1V
This commit is contained in:
parent
93a4a82bff
commit
be5d42a418
5 changed files with 278 additions and 7 deletions
|
|
@ -99,3 +99,4 @@ python -m pytest tests/operator_gui/
|
||||||
- [프로젝트 소개 및 기술 구현](docs/project-introduction-and-technical-implementation.md)
|
- [프로젝트 소개 및 기술 구현](docs/project-introduction-and-technical-implementation.md)
|
||||||
- [운영 워크리스트](docs/operations/copyrighter-operation-worklist.md)
|
- [운영 워크리스트](docs/operations/copyrighter-operation-worklist.md)
|
||||||
- [오프라인 설치 절차](docs/operations/offline-install.md)
|
- [오프라인 설치 절차](docs/operations/offline-install.md)
|
||||||
|
- [구조 다이어그램 4종](docs/diagrams/) — 시스템 구성 · 증거 데이터 흐름 · 운영자 심사 · 제출물 상태 전이 (**내부 문서**, 납품물 아님)
|
||||||
|
|
|
||||||
|
|
@ -1,5 +1,7 @@
|
||||||
# Project INDEX
|
# Project INDEX
|
||||||
|
|
||||||
|
- 2026-09-21 · 다이어그램 용도를 **내부 문서로 확정**하고 그 기준으로 부채를 재판정. 한글 폰트 미번들·영어 뷰어 UI 는 archify 한계라 spec 으로 못 고치는데, 사내 머신에는 한글 폰트가 있으므로 low 로 내렸다(인수물로 승격하면 둘이 먼저 blocker — PROJECT_MAP 다이어그램 절에 승격 조건으로 명시). 이어서 **코드↔그림 리터럴 드리프트 게이트** `tests/test_diagram_facts.py` 19건 신설 — 그림에 하드카피된 코드 유래 값(SCORER_VERSION · SCHEMA_VERSION · 믹스인 8개 · `app-*.js` 15개 · 바디 10MB · 인증 10회/60초 · 프롬프트 12행 · 풀 상한 60/20 · 기본 모델 · 런타임 의존성 3종)을 실제 코드 상수와 대조하고, 상수가 아닌 "지문 유사도 0.9+ → 80점" 은 실제로 채점해 확인한다. SCORER_VERSION v3→v4 와 MAX_PROMPT_EVIDENCE 12→16 을 실제로 넣어 **영향받는 세 다이어그램 전부에서 차단됨**을 실증. 발견 가능성도 정리 — README 문서 색인에 등재, `docs/diagrams/README.md` 신설(폴더 안에 '직접 수정 금지'·재생성 명령·CSP 주의). **ruff clean · pytest 619 passed**(사실 게이트 +19)
|
||||||
|
|
||||||
- 2026-09-21 · 다이어그램 감사 후 **드리프트 게이트 신설**. 에이전트 6축 감사가 주간 한도로 절반(2축)만 완주했고 검증 단계도 죽어, 완주분 15건을 저널에서 복구한 뒤 결정적 주장은 직접 재검증했다. 확정된 구멍 — 그림 4종의 재생성 절차가 **문서대로는 실행 불가**(`archify` 실행파일이 PATH 에 없음), 소스↔산출물 동기화를 보는 장치 0개, 사이드카 24개가 개발 머신 절대경로를 담은 채 미추적·비ignore, 임베드 폰트에 **한글 구간 0건**(`U+AC00` 매치 0 · 폴백은 중국어 폰트뿐). 실수정: `scripts/rebuild-diagrams.ps1`(validate→deliver→visual-check→manifest, 실행 확인)과 `scripts/update_diagram_manifest.py`, 수신증 `docs/diagrams/manifest.json`, 게이트 `tests/test_diagram_sync.py` 14건(HTML 직접 수정·spec 만 수정 두 시나리오 모두 실제로 차단됨을 실증), `.gitignore` 에 사이드카 제외(미추적 24→0), `.gitattributes` 에 `linguist-generated -diff merge=binary`. 재생성해도 4종 sha256 불변 — 바이트 결정성 재확인. 한글 폰트·영어 뷰어 UI·architecture 좌표 하드코딩·lifecycle 손튜닝 8개소는 PROJECT_MAP 부채 표에 등재. **ruff clean · pytest 600 passed**(게이트 +14)
|
- 2026-09-21 · 다이어그램 감사 후 **드리프트 게이트 신설**. 에이전트 6축 감사가 주간 한도로 절반(2축)만 완주했고 검증 단계도 죽어, 완주분 15건을 저널에서 복구한 뒤 결정적 주장은 직접 재검증했다. 확정된 구멍 — 그림 4종의 재생성 절차가 **문서대로는 실행 불가**(`archify` 실행파일이 PATH 에 없음), 소스↔산출물 동기화를 보는 장치 0개, 사이드카 24개가 개발 머신 절대경로를 담은 채 미추적·비ignore, 임베드 폰트에 **한글 구간 0건**(`U+AC00` 매치 0 · 폴백은 중국어 폰트뿐). 실수정: `scripts/rebuild-diagrams.ps1`(validate→deliver→visual-check→manifest, 실행 확인)과 `scripts/update_diagram_manifest.py`, 수신증 `docs/diagrams/manifest.json`, 게이트 `tests/test_diagram_sync.py` 14건(HTML 직접 수정·spec 만 수정 두 시나리오 모두 실제로 차단됨을 실증), `.gitignore` 에 사이드카 제외(미추적 24→0), `.gitattributes` 에 `linguist-generated -diff merge=binary`. 재생성해도 4종 sha256 불변 — 바이트 결정성 재확인. 한글 폰트·영어 뷰어 UI·architecture 좌표 하드코딩·lifecycle 손튜닝 8개소는 PROJECT_MAP 부채 표에 등재. **ruff clean · pytest 600 passed**(게이트 +14)
|
||||||
|
|
||||||
- 2026-09-19 · 다이어그램 4종으로 확장 — `system-architecture`(폐쇄망 경계·SSRF 가드 앞 호출 게이트), `operator-review-workflow`(4레인, 비상 차단 시 심사 계속 경로), `submission-lifecycle`(분석 실패·보류가 분석으로 복귀하는 두 고리)를 신설하고 기존 `evidence-dataflow` 포함 4종의 **범례 항목**을 한글화했다(렌더러 기본값이 "User UI / Agent logic / policy·PII" 같은 타 도메인 문구였다). **뷰어 크롬은 영어로 남는다** — `locale` enum 이 en/zh-CN 뿐이고 템플릿이 `<html lang="en">` 을 하드코딩하므로 Light/Dark·Present·Export·범례 제목("Legend")은 저자가 바꿀 수 없다. 9/21 감사에서 확인. 작성 중 내린 고도 판단: 아키텍처에서는 analyzer/scorer 를 한 컴포넌트로 합쳤고(세부는 dataflow 담당), 라이프사이클에서 "재분석 요청"은 decisionStatus 가 아닌 운영자 액션이라 상태에서 제외해 복귀 엣지를 하나로 줄였다. 4종 모두 archify showcase 통과(아티팩트 검사 9/9 · 합성 오류 0 · 경고 0) + visual-check 통과(1440×900 · 2048×1320 각 Light/Dark, 오버플로 0). 수신증 — dataflow html a62f0f5c / architecture f5a4b6e1 / workflow 402914a3 / lifecycle 62e934a3
|
- 2026-09-19 · 다이어그램 4종으로 확장 — `system-architecture`(폐쇄망 경계·SSRF 가드 앞 호출 게이트), `operator-review-workflow`(4레인, 비상 차단 시 심사 계속 경로), `submission-lifecycle`(분석 실패·보류가 분석으로 복귀하는 두 고리)를 신설하고 기존 `evidence-dataflow` 포함 4종의 **범례 항목**을 한글화했다(렌더러 기본값이 "User UI / Agent logic / policy·PII" 같은 타 도메인 문구였다). **뷰어 크롬은 영어로 남는다** — `locale` enum 이 en/zh-CN 뿐이고 템플릿이 `<html lang="en">` 을 하드코딩하므로 Light/Dark·Present·Export·범례 제목("Legend")은 저자가 바꿀 수 없다. 9/21 감사에서 확인. 작성 중 내린 고도 판단: 아키텍처에서는 analyzer/scorer 를 한 컴포넌트로 합쳤고(세부는 dataflow 담당), 라이프사이클에서 "재분석 요청"은 decisionStatus 가 아닌 운영자 액션이라 상태에서 제외해 복귀 엣지를 하나로 줄였다. 4종 모두 archify showcase 통과(아티팩트 검사 9/9 · 합성 오류 0 · 경고 0) + visual-check 통과(1440×900 · 2048×1320 각 Light/Dark, 오버플로 0). 수신증 — dataflow html a62f0f5c / architecture f5a4b6e1 / workflow 402914a3 / lifecycle 62e934a3
|
||||||
|
|
|
||||||
|
|
@ -173,13 +173,24 @@ WAL 적용됨. DB 기본 경로는 `data/copyrighter.sqlite3`(gitignore).
|
||||||
고칠 것은 언제나 spec JSON 이고, 재생성은 스크립트 하나다:
|
고칠 것은 언제나 spec JSON 이고, 재생성은 스크립트 하나다:
|
||||||
|
|
||||||
```powershell
|
```powershell
|
||||||
.\scripts
ebuild-diagrams.ps1 # validate -> deliver -> visual-check -> manifest
|
.\scripts
|
||||||
.\scripts
ebuild-diagrams.ps1 -SkipVisualCheck # 브라우저 없는 호스트
|
ebuild-diagrams.ps1 # validate -> deliver -> visual-check -> manifest
|
||||||
|
.\scripts
|
||||||
|
ebuild-diagrams.ps1 -SkipVisualCheck # 브라우저 없는 호스트
|
||||||
```
|
```
|
||||||
|
|
||||||
`tests/test_diagram_sync.py` 가 `manifest.json` 의 sha256 으로 이 계약을 강제한다
|
게이트 두 개가 이 계약을 강제한다(둘 다 브라우저·Node·archify 없이 도는 순수 비교):
|
||||||
(브라우저·Node·archify 없이 도는 순수 파일 비교). HTML 을 직접 고치거나 spec 만
|
|
||||||
고치고 재생성을 잊으면 `verify.ps1` 에서 막힌다. 두 시나리오 모두 실증 확인됨.
|
- `tests/test_diagram_sync.py` — **산출물이 spec 보다 낡았나.** `manifest.json` 의
|
||||||
|
sha256 대조. HTML 을 직접 고치거나 spec 만 고치고 재생성을 잊으면 막힌다.
|
||||||
|
- `tests/test_diagram_facts.py` — **spec 이 코드보다 낡았나.** 그림에 하드카피된
|
||||||
|
코드 유래 값(SCORER_VERSION, SCHEMA_VERSION, 믹스인 개수, `app-*.js` 개수,
|
||||||
|
바디 상한, 프롬프트 12행 상한, 풀 상한, 기본 모델, 런타임 의존성 3종)을
|
||||||
|
실제 코드 상수와 대조한다. 지식DB 엣지의 "0.9+ → 80점" 은 상수가 아니라
|
||||||
|
인라인 리터럴이라 실제로 채점해서 확인한다.
|
||||||
|
|
||||||
|
네 시나리오(HTML 직접 수정 · spec 만 수정 · SCORER_VERSION 상승 · 프롬프트 상한 변경)
|
||||||
|
모두 실제로 만들어 차단을 확인했다.
|
||||||
|
|
||||||
**문서 재생성 전용 요구사항** (런타임 아님, 폐쇄망 타깃에는 불필요):
|
**문서 재생성 전용 요구사항** (런타임 아님, 폐쇄망 타깃에는 불필요):
|
||||||
Node 18+ 와 archify 스킬(`$env:ARCHIFY_HOME`, 기본값 `~/.claude/skills/archify`),
|
Node 18+ 와 archify 스킬(`$env:ARCHIFY_HOME`, 기본값 `~/.claude/skills/archify`),
|
||||||
|
|
@ -187,6 +198,10 @@ visual-check 단계에만 Chrome/Chromium. 산출 당시 generator 는 `archify
|
||||||
이고 `manifest.json` 에 기록된다 — 스킬 버전이 바뀌면 같은 spec 에서도 바이트가
|
이고 `manifest.json` 에 기록된다 — 스킬 버전이 바뀌면 같은 spec 에서도 바이트가
|
||||||
달라지므로, 해시가 깨졌을 때 코드 변경과 툴 변경을 구분하는 근거가 된다.
|
달라지므로, 해시가 깨졌을 때 코드 변경과 툴 변경을 구분하는 근거가 된다.
|
||||||
|
|
||||||
|
**용도: 내부 문서다 (2026-09-21 결정).** 고객 인수물이 아니므로 납품 품질 기준을
|
||||||
|
적용하지 않는다 — 아래 부채 표의 한글 폰트·영어 뷰어 UI 항목이 low 인 이유가 이것이다.
|
||||||
|
인수물로 승격하면 그 둘이 먼저 blocker 가 되므로, 승격 시 이 줄부터 고친다.
|
||||||
|
|
||||||
모두 자체 완결 HTML 이라 외부 요청이 없다(9/21 감사에서 실측: src/href/@import/fetch
|
모두 자체 완결 HTML 이라 외부 요청이 없다(9/21 감사에서 실측: src/href/@import/fetch
|
||||||
모두 0건). 단 **file:// 로 여는 산출물**이다 — 운영자 콘솔의 static_root 로 서빙하면
|
모두 0건). 단 **file:// 로 여는 산출물**이다 — 운영자 콘솔의 static_root 로 서빙하면
|
||||||
app-shell CSP(`script-src 'self'`, `http_app.py:514`)가 인라인 스크립트 4개를 차단해
|
app-shell CSP(`script-src 'self'`, `http_app.py:514`)가 인라인 스크립트 4개를 차단해
|
||||||
|
|
@ -208,8 +223,8 @@ app-shell CSP(`script-src 'self'`, `http_app.py:514`)가 인라인 스크립트
|
||||||
| 밴드 임계·풀 상한 미캘리브레이션 | `analysis/risk_scoring.py` | 판정 이력 0건이라 70/30 임계가 실제 판정과 대조된 적 없다. v3 의 두 풀(`WEB_PRESENCE_MAX_POINTS` 60 은 **제공자별** / `WEB_ENTITY_MAX_POINTS` 20)은 신호의 구조적 성질로 정한 값이고 상관 검증 전이다 — 판정 30~50건 후 `decision_stats` 교차표가 첫 근거가 된다 |
|
| 밴드 임계·풀 상한 미캘리브레이션 | `analysis/risk_scoring.py` | 판정 이력 0건이라 70/30 임계가 실제 판정과 대조된 적 없다. v3 의 두 풀(`WEB_PRESENCE_MAX_POINTS` 60 은 **제공자별** / `WEB_ENTITY_MAX_POINTS` 20)은 신호의 구조적 성질로 정한 값이고 상관 검증 전이다 — 판정 30~50건 후 `decision_stats` 교차표가 첫 근거가 된다 |
|
||||||
| 출처 신호 2종 0점 | `analysis/provenance.py` | 캘리브레이션 전. 실측 코퍼스에서 가치 미입증. 방송캡처는 `MIN_CAPTURE_CATEGORIES=2` 에서 geometry 가 1개 카테고리라 자막 없는 캡처는 구조적으로 도달 불가 |
|
| 출처 신호 2종 0점 | `analysis/provenance.py` | 캘리브레이션 전. 실측 코퍼스에서 가치 미입증. 방송캡처는 `MIN_CAPTURE_CATEGORIES=2` 에서 geometry 가 1개 카테고리라 자막 없는 캡처는 구조적으로 도달 불가 |
|
||||||
| 테스트가 로컬 LLM 에 실접속 | `integrations/env_clients.py:260` | `_llm_assistant` 가 항상 `OLLAMA_BASE_URL` 기본값(`127.0.0.1:11434`)으로 클라이언트를 만들므로, provider_runtime 없이 만든 store 를 쓰는 테스트는 **ollama 가 떠 있으면 실호출**을 한다. `test_http_app.py` 3건이 그 상태에서 소켓 타임아웃으로 실패한다(`OLLAMA_BASE_URL=http://127.0.0.1:1` 로 돌리면 통과). 폐쇄망 프로젝트의 테스트가 외부 서비스의 **부재**에 의존하는 상태 |
|
| 테스트가 로컬 LLM 에 실접속 | `integrations/env_clients.py:260` | `_llm_assistant` 가 항상 `OLLAMA_BASE_URL` 기본값(`127.0.0.1:11434`)으로 클라이언트를 만들므로, provider_runtime 없이 만든 store 를 쓰는 테스트는 **ollama 가 떠 있으면 실호출**을 한다. `test_http_app.py` 3건이 그 상태에서 소켓 타임아웃으로 실패한다(`OLLAMA_BASE_URL=http://127.0.0.1:1` 로 돌리면 통과). 폐쇄망 프로젝트의 테스트가 외부 서비스의 **부재**에 의존하는 상태 |
|
||||||
| 다이어그램에 한글 폰트 미번들 | `docs/diagrams/*.html` | 임베드된 JetBrains Mono 의 unicode-range 6개에 **한글 구간이 없다**(`U+AC00` 매치 0). 폴백 스택은 중국어 폰트뿐(`Noto Sans Mono CJK SC`/`PingFang SC`/`Microsoft YaHei`). 렌더 텍스트의 40~72% 가 한글이라 타깃 폰트에 의존한다 — 한국어 폰트 없는 최소 설치 호스트에서는 두부(tofu). archify 에 저자용 폰트 옵션이 없어 spec 으로는 못 고친다(레이아웃 폭은 전각으로 측정되므로 깨짐이 아니라 글자 문제). 고객 인수물로 확정되면 blocker |
|
| 다이어그램에 한글 폰트 미번들 (내부 문서라 low) | `docs/diagrams/*.html` | 임베드된 JetBrains Mono 의 unicode-range 6개에 **한글 구간이 없다**(`U+AC00` 매치 0). 폴백 스택은 중국어 폰트뿐(`Noto Sans Mono CJK SC`/`PingFang SC`/`Microsoft YaHei`). 렌더 텍스트의 40~72% 가 한글이라 타깃 폰트에 의존한다 — 한국어 폰트 없는 최소 설치 호스트에서는 두부(tofu). archify 에 저자용 폰트 옵션이 없어 spec 으로는 못 고친다(레이아웃 폭은 전각으로 측정되므로 깨짐이 아니라 글자 문제). **내부 문서로 확정(9/21)** 되어 현재는 low — 사내 머신에는 한글 폰트가 있다. 인수물로 승격하면 blocker |
|
||||||
| 뷰어 UI 가 영어 고정 | `docs/diagrams/*.html` | `locale` enum 이 `en`/`zh-CN` 뿐이고 템플릿이 `<html lang="en">` 하드코딩. 저자 내용은 한국어인데 조작 UI·aria 라벨·범례 제목은 영어. 스크린리더가 한글 본문을 영어로 읽는다 |
|
| 뷰어 UI 가 영어 고정 (내부 문서라 low) | `docs/diagrams/*.html` | `locale` enum 이 `en`/`zh-CN` 뿐이고 템플릿이 `<html lang="en">` 하드코딩. 저자 내용은 한국어인데 조작 UI·aria 라벨·범례 제목은 영어. 스크린리더가 한글 본문을 영어로 읽는다 |
|
||||||
| architecture spec 만 좌표 하드코딩 | `docs/diagrams/system-architecture.architecture.json` | 컴포넌트 11개 전부 `pos`+`size` 수기, `size` 는 [124,62] 고정. 라벨 21자에서 validate 하드 실패(현재 `store_remote_fetch` 18자 → 여유 2글자). workflow spec 은 기하 하드코딩 0개이므로 같은 저장소에 더 나은 패턴이 있다 |
|
| architecture spec 만 좌표 하드코딩 | `docs/diagrams/system-architecture.architecture.json` | 컴포넌트 11개 전부 `pos`+`size` 수기, `size` 는 [124,62] 고정. 라벨 21자에서 validate 하드 실패(현재 `store_remote_fetch` 18자 → 여유 2글자). workflow spec 은 기하 하드코딩 0개이므로 같은 저장소에 더 나은 패턴이 있다 |
|
||||||
| lifecycle 기하 손튜닝 8개소 | `docs/diagrams/submission-lifecycle.lifecycle.json` | `labelDy`×5·`channelX`×2·`yOffset`×1 이 현재 배치 전제의 절대 픽셀이다. 상태를 하나 추가하면 **손대지 않은 기존 전이까지** 검증 실패(실증: 오류 5건 중 4건이 기존 `t-reject`). 상태 추가 시 전량 재검증 필요 |
|
| lifecycle 기하 손튜닝 8개소 | `docs/diagrams/submission-lifecycle.lifecycle.json` | `labelDy`×5·`channelX`×2·`yOffset`×1 이 현재 배치 전제의 절대 픽셀이다. 상태를 하나 추가하면 **손대지 않은 기존 전이까지** 검증 실패(실증: 오류 5건 중 4건이 기존 `t-reject`). 상태 추가 시 전량 재검증 필요 |
|
||||||
| 7/11 리뷰 연기 항목 | [reviews/2026-07-11-remediation-checklist.md](reviews/2026-07-11-remediation-checklist.md) | 각 항목에 연기 근거 기재 |
|
| 7/11 리뷰 연기 항목 | [reviews/2026-07-11-remediation-checklist.md](reviews/2026-07-11-remediation-checklist.md) | 각 항목에 연기 근거 기재 |
|
||||||
|
|
|
||||||
42
docs/diagrams/README.md
Normal file
42
docs/diagrams/README.md
Normal file
|
|
@ -0,0 +1,42 @@
|
||||||
|
# 구조 다이어그램
|
||||||
|
|
||||||
|
**내부 문서다** (2026-09-21 결정). 고객 인수물이 아니므로 납품 품질 기준을 적용하지
|
||||||
|
않는다 — 한글 폰트 미번들과 영어 뷰어 UI 가 부채 표에서 low 인 이유가 이것이다.
|
||||||
|
인수물로 승격한다면 그 둘이 먼저 blocker 가 된다.
|
||||||
|
|
||||||
|
| 파일 | 내용 | 타입 |
|
||||||
|
|---|---|---|
|
||||||
|
| `system-architecture.html` | 시스템 구성. 폐쇄망 경계와 그 밖의 외부 검색 API | architecture |
|
||||||
|
| `evidence-dataflow.html` | 증거 데이터 흐름. 라운드트립 불변식이 중심 | dataflow |
|
||||||
|
| `operator-review-workflow.html` | 운영자 심사 4레인. 비상 차단 시 경로 포함 | workflow v2 |
|
||||||
|
| `submission-lifecycle.html` | 제출물 상태 전이. 분석으로 되돌아오는 두 고리 | lifecycle |
|
||||||
|
|
||||||
|
## `.html` 을 직접 고치지 않는다
|
||||||
|
|
||||||
|
소스는 같은 폴더의 spec JSON 이다. HTML 은 `archify deliver` 산출물이라 다음 재생성에서
|
||||||
|
조용히 덮인다. 고칠 것은 언제나 JSON 이고, 재생성은 스크립트 하나다 (저장소 루트에서 실행):
|
||||||
|
|
||||||
|
```powershell
|
||||||
|
.\scripts\rebuild-diagrams.ps1 # validate -> deliver -> visual-check -> manifest
|
||||||
|
.\scripts\rebuild-diagrams.ps1 -SkipVisualCheck # 브라우저 없는 호스트
|
||||||
|
```
|
||||||
|
|
||||||
|
이 계약은 말이 아니라 테스트가 강제한다 — HTML 을 손으로 고치면
|
||||||
|
`tests/test_diagram_sync.py` 의 sha256 대조에서 `verify.ps1` 이 실패한다.
|
||||||
|
|
||||||
|
## 열람
|
||||||
|
|
||||||
|
`file://` 로 연다. 운영자 콘솔의 static_root 로 서빙하면 app-shell CSP
|
||||||
|
(`script-src 'self'`, `http_app.py:514`)가 인라인 스크립트를 차단해 그림은 뜨되
|
||||||
|
테마 전환·Export·가이드 뷰가 죽는다. 서빙이 필요하면 CSP 완화가 아니라 별도
|
||||||
|
라우트에서 nonce 정책을 쓴다.
|
||||||
|
|
||||||
|
## 재생성 요구사항 (문서 전용, 런타임 아님)
|
||||||
|
|
||||||
|
Node 18+ 와 archify 스킬(`$env:ARCHIFY_HOME`, 기본값 `~/.claude/skills/archify`),
|
||||||
|
visual-check 단계에만 Chrome/Chromium. 폐쇄망 타깃에는 필요 없다.
|
||||||
|
|
||||||
|
산출 당시 generator 는 `manifest.json` 에 기록된다. 스킬 버전이 바뀌면 같은 spec 에서도
|
||||||
|
바이트가 달라지므로, 해시가 깨졌을 때 코드 변경과 툴 변경을 구분하는 근거가 된다.
|
||||||
|
|
||||||
|
자세한 부채 목록은 [PROJECT_MAP 의 다이어그램 절과 부채 표](../PROJECT_MAP.md)에 있다.
|
||||||
211
tests/test_diagram_facts.py
Normal file
211
tests/test_diagram_facts.py
Normal file
|
|
@ -0,0 +1,211 @@
|
||||||
|
"""다이어그램 spec 이 복제한 코드 유래 값이 실제 코드와 여전히 같은지 검사한다.
|
||||||
|
|
||||||
|
`test_diagram_sync.py` 가 "산출물이 spec 보다 낡았나"를 본다면, 이 파일은
|
||||||
|
"spec 이 코드보다 낡았나"를 본다. 그림에는 코드에서 뽑은 상수·버전·개수가
|
||||||
|
라벨과 카드 문장으로 하드카피돼 있는데, 그걸 지켜주는 장치가 없었다 —
|
||||||
|
SCORER_VERSION 을 v4 로 올리거나 믹스인을 하나 추가하면 코드는 통과하고
|
||||||
|
그림만 조용히 틀려진다.
|
||||||
|
|
||||||
|
같은 클래스의 드리프트를 테스트로 잡는 선례가 이미 이 저장소에 있다:
|
||||||
|
`tests/operator_gui/test_static_workbench.py` 의 APP_SCRIPT_NAMES.
|
||||||
|
|
||||||
|
실패하면 고칠 곳은 코드가 아니라 spec 이고, 고친 뒤에는
|
||||||
|
`scripts/rebuild-diagrams.ps1` 로 산출물과 수신증을 함께 갱신해야 한다.
|
||||||
|
"""
|
||||||
|
|
||||||
|
from __future__ import annotations
|
||||||
|
|
||||||
|
import json
|
||||||
|
from pathlib import Path
|
||||||
|
|
||||||
|
import pytest
|
||||||
|
|
||||||
|
from rights_filter.analysis.llm_assistance import DEFAULT_MODEL, MAX_PROMPT_EVIDENCE
|
||||||
|
from rights_filter.analysis.llm_prompts import PROMPT_VERSION
|
||||||
|
from rights_filter.analysis.risk_scoring import (
|
||||||
|
SCORER_VERSION,
|
||||||
|
WEB_ENTITY_MAX_POINTS,
|
||||||
|
WEB_PRESENCE_MAX_POINTS,
|
||||||
|
RiskScorer,
|
||||||
|
)
|
||||||
|
from rights_filter.domain.records import Evidence, EvidenceSource
|
||||||
|
from rights_filter.server.http_app import _MAX_BODY_BYTES
|
||||||
|
from rights_filter.server.auth_rate_limit import MAX_FAILURES_PER_WINDOW, WINDOW_SECONDS
|
||||||
|
from rights_filter.server.sqlite_store import CopyrighterStore
|
||||||
|
from rights_filter.server.store_schema import SCHEMA_VERSION
|
||||||
|
|
||||||
|
ROOT = Path(__file__).resolve().parents[1]
|
||||||
|
DIAGRAM_DIR = ROOT / "docs" / "diagrams"
|
||||||
|
|
||||||
|
|
||||||
|
def _spec(name: str) -> dict:
|
||||||
|
return json.loads((DIAGRAM_DIR / name).read_text(encoding="utf-8"))
|
||||||
|
|
||||||
|
|
||||||
|
def _node(spec: dict, collection: str, node_id: str) -> dict:
|
||||||
|
for node in spec[collection]:
|
||||||
|
if node["id"] == node_id:
|
||||||
|
return node
|
||||||
|
raise AssertionError(
|
||||||
|
f"spec 에 '{node_id}' 노드가 없다 — 노드를 rename 했다면 이 테스트도 함께 고친다."
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def _contains(haystack: str, needle: str, where: str) -> None:
|
||||||
|
assert needle in haystack, (
|
||||||
|
f"{where} 가 코드와 어긋났다: {needle!r} 를 담고 있어야 하는데 {haystack!r} 이다. "
|
||||||
|
"spec 을 고치고 scripts/rebuild-diagrams.ps1 로 재생성한다."
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
# --- architecture -----------------------------------------------------------
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_store_mixin_count_matches_the_class():
|
||||||
|
mixins = [base for base in CopyrighterStore.__bases__ if base.__name__.endswith("Mixin")]
|
||||||
|
node = _node(_spec("system-architecture.architecture.json"), "components", "store")
|
||||||
|
|
||||||
|
_contains(node["sublabel"], f"{len(mixins)}개", "CopyrighterStore 노드의 믹스인 개수")
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_console_script_count_matches_the_folder():
|
||||||
|
scripts = sorted((ROOT / "web" / "operator-gui").glob("app-*.js"))
|
||||||
|
node = _node(_spec("system-architecture.architecture.json"), "components", "console")
|
||||||
|
|
||||||
|
_contains(node["tag"], f"app-*.js {len(scripts)}", "운영자 콘솔 노드의 스크립트 개수")
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_throttle_matches_the_rate_limit_constants():
|
||||||
|
node = _node(_spec("system-architecture.architecture.json"), "components", "throttle")
|
||||||
|
|
||||||
|
_contains(node["sublabel"], str(MAX_FAILURES_PER_WINDOW), "인증 스로틀 노드의 실패 허용 횟수")
|
||||||
|
_contains(node["sublabel"], str(WINDOW_SECONDS), "인증 스로틀 노드의 윈도 길이")
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_body_limit_matches_http_app():
|
||||||
|
node = _node(_spec("system-architecture.architecture.json"), "components", "http")
|
||||||
|
|
||||||
|
_contains(node["tag"], f"{_MAX_BODY_BYTES // (1024 * 1024)}MB", "http_app 노드의 바디 상한")
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_schema_version_matches_store_schema():
|
||||||
|
node = _node(_spec("system-architecture.architecture.json"), "components", "sqlite")
|
||||||
|
|
||||||
|
_contains(node["tag"], f"SCHEMA v{SCHEMA_VERSION}", "SQLite 노드의 스키마 버전")
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_scorer_version_matches_risk_scoring():
|
||||||
|
node = _node(_spec("system-architecture.architecture.json"), "components", "analysis")
|
||||||
|
|
||||||
|
_contains(node["tag"], f"RiskScorer {SCORER_VERSION}", "분석·채점 노드의 스코어러 버전")
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_llm_model_matches_the_default():
|
||||||
|
node = _node(_spec("system-architecture.architecture.json"), "components", "ollama")
|
||||||
|
|
||||||
|
_contains(node["sublabel"], DEFAULT_MODEL, "로컬 LLM 노드의 모델명")
|
||||||
|
|
||||||
|
|
||||||
|
def test_architecture_cards_name_the_actual_runtime_dependencies():
|
||||||
|
"""'런타임 서드파티 3종' 이라고 써 두었으니 그 3종이 실제 목록과 같아야 한다."""
|
||||||
|
requirements = [
|
||||||
|
line.split("==")[0].split(">=")[0].strip().lower()
|
||||||
|
for line in (ROOT / "requirements.txt").read_text(encoding="utf-8").splitlines()
|
||||||
|
if line.strip() and not line.startswith("#")
|
||||||
|
]
|
||||||
|
cards = " ".join(
|
||||||
|
item for card in _spec("system-architecture.architecture.json")["cards"] for item in card["items"]
|
||||||
|
).lower()
|
||||||
|
|
||||||
|
for package in requirements:
|
||||||
|
_contains(cards, package, "아키텍처 카드의 런타임 의존성 목록")
|
||||||
|
_contains(cards, f"{len(requirements)}종", "아키텍처 카드의 런타임 의존성 개수")
|
||||||
|
|
||||||
|
|
||||||
|
# --- dataflow ---------------------------------------------------------------
|
||||||
|
|
||||||
|
|
||||||
|
def test_dataflow_scorer_tag_matches_scorer_version():
|
||||||
|
node = _node(_spec("evidence-dataflow.dataflow.json"), "nodes", "scorer")
|
||||||
|
|
||||||
|
assert node["tag"] == SCORER_VERSION, (
|
||||||
|
f"RiskScorer 노드 태그({node['tag']!r})가 SCORER_VERSION({SCORER_VERSION!r})과 다르다"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_dataflow_prompt_version_tag_is_a_prefix_of_the_real_one():
|
||||||
|
node = _node(_spec("evidence-dataflow.dataflow.json"), "nodes", "llm")
|
||||||
|
|
||||||
|
assert PROMPT_VERSION.startswith(node["tag"]), (
|
||||||
|
f"LLM 노드 태그({node['tag']!r})가 PROMPT_VERSION({PROMPT_VERSION!r})의 접두어가 아니다"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_dataflow_prompt_evidence_cap_matches_the_constant():
|
||||||
|
node = _node(_spec("evidence-dataflow.dataflow.json"), "nodes", "llm")
|
||||||
|
|
||||||
|
_contains(node["sublabel"], f"{MAX_PROMPT_EVIDENCE}행", "LLM 노드의 프롬프트 입력 상한")
|
||||||
|
|
||||||
|
|
||||||
|
def test_dataflow_card_pool_ceilings_match_risk_scoring():
|
||||||
|
cards = " ".join(item for card in _spec("evidence-dataflow.dataflow.json")["cards"] for item in card["items"])
|
||||||
|
|
||||||
|
_contains(cards, f"presence {WEB_PRESENCE_MAX_POINTS}", "데이터흐름 카드의 presence 풀 상한")
|
||||||
|
_contains(cards, f"entity {WEB_ENTITY_MAX_POINTS}", "데이터흐름 카드의 entity 풀 상한")
|
||||||
|
|
||||||
|
|
||||||
|
def test_dataflow_knowledge_edge_matches_actual_fingerprint_scoring():
|
||||||
|
"""라벨이 '지문 유사도 0.9+ → 80점' 이라고 주장하니 실제로 그런지 채점해 본다.
|
||||||
|
|
||||||
|
이 둘은 이름 있는 상수가 아니라 risk_scoring 안의 인라인 리터럴이라,
|
||||||
|
import 대신 행위로 확인하는 것이 정확하다.
|
||||||
|
"""
|
||||||
|
spec = _spec("evidence-dataflow.dataflow.json")
|
||||||
|
label = next(flow["label"] for flow in spec["flows"] if flow["id"] == "fingerprint-match")
|
||||||
|
|
||||||
|
result = RiskScorer().score(
|
||||||
|
[
|
||||||
|
Evidence(
|
||||||
|
source=EvidenceSource.FINGERPRINT,
|
||||||
|
reason="지식DB 등록 이미지와 일치",
|
||||||
|
confidence=1.0,
|
||||||
|
data={"similarity": 0.9},
|
||||||
|
)
|
||||||
|
]
|
||||||
|
)
|
||||||
|
|
||||||
|
_contains(label, "0.9", "지식DB 엣지의 유사도 임계값")
|
||||||
|
_contains(label, str(result.score), "지식DB 엣지의 점수")
|
||||||
|
|
||||||
|
|
||||||
|
# --- workflow ---------------------------------------------------------------
|
||||||
|
|
||||||
|
|
||||||
|
def test_workflow_scorer_tag_matches_scorer_version():
|
||||||
|
node = _node(_spec("operator-review-workflow.workflow.json"), "nodes", "score")
|
||||||
|
|
||||||
|
assert node["tag"] == SCORER_VERSION, (
|
||||||
|
f"위험도 산출 노드 태그({node['tag']!r})가 SCORER_VERSION({SCORER_VERSION!r})과 다르다"
|
||||||
|
)
|
||||||
|
|
||||||
|
|
||||||
|
def test_workflow_llm_evidence_cap_matches_the_constant():
|
||||||
|
node = _node(_spec("operator-review-workflow.workflow.json"), "nodes", "llm")
|
||||||
|
|
||||||
|
_contains(node["sublabel"], f"{MAX_PROMPT_EVIDENCE}행", "LLM 노드의 프롬프트 입력 상한")
|
||||||
|
|
||||||
|
|
||||||
|
@pytest.mark.parametrize(
|
||||||
|
"spec_name, collection",
|
||||||
|
[
|
||||||
|
("system-architecture.architecture.json", "components"),
|
||||||
|
("evidence-dataflow.dataflow.json", "nodes"),
|
||||||
|
("operator-review-workflow.workflow.json", "nodes"),
|
||||||
|
("submission-lifecycle.lifecycle.json", "states"),
|
||||||
|
],
|
||||||
|
)
|
||||||
|
def test_node_ids_are_unique_within_a_spec(spec_name: str, collection: str):
|
||||||
|
"""위 조회들이 첫 일치만 보므로, id 중복은 조용한 오탐이 된다."""
|
||||||
|
ids = [node["id"] for node in _spec(spec_name)[collection]]
|
||||||
|
|
||||||
|
assert len(ids) == len(set(ids)), f"{spec_name} 에 중복 id 가 있다: {ids}"
|
||||||
Loading…
Reference in a new issue