cross-section dedup system (user tasks 2+3, 2026-09-25):

- tools/xref.py: master book list for ALL 12 sections (RAW 07-12 scraped: sections/07/RAW.md
  + data/isap-raw/), cross-ref matcher (CW gate + distinctive tokens + years + Cyrillic
  transliteration), stale MANIFEST 'Not downloadable' checker; data/MASTER-LIST.md generated
  (17 book-dupes in 01-06 found, e.g. sec01#51=sec06#14 Solomon)
- file-level dedup: 17 md5-identical files removed from later sections (kept in first),
  MANIFESTs/cards -> cross-ref rows, totals updated (sec01 102 / 02 37 / 03 125 / 04 38 /
  05 38 / 06 37), dedup rule in AGENTS.md + MANIFEST Notes
- sec05 MANIFEST phantom line '03 Aion' removed (Aion not in sec05 list; files in sec01)
- sec03 #44: 1968 Bodley file was #41's book (content 'English Fairy Tales') — removed,
  #44 keeps ABC-CLIO 2002

AGENTS.md

@@ -14,15 +14,22 @@ Section 06: research + user oracle DONE 2026-09-24 (28 карточек: **19
 7 rescues; каталог Касталии 1285 в data/catalogs + rule в gate v3); **downloads FINAL
 2026-09-25** (34 файла, 608 MB: RU 12 + EN 21 + DE 1 бонус; 6 кросс-рефов на sec01-03;
 EN: 9 с ia open-uploads + 12 с libgen после находки key-vs-f_id — rescues 09-t1, 13, 14, 17, 19, 20, 23;
-RU платные castalia-PDF не скачивались; sec03#20 RU-дыра пометка в MANIFEST). Section 07 pending; 08–12 scope
-decision pending.
+RU платные castalia-PDF не скачивались; sec03#20 RU-дыра пометка в MANIFEST). **2026-09-25:
+wiki-anchor audit (1 wrong QID fixed), cross-section FILE dedup (17 md5-дублей удалено,
+файл = только в первой секции), `data/MASTER-LIST.md` + `tools/xref.py` (все 12 секций,
+каждая книга ищется один раз), RAW 07–12 скачан (sections/07/RAW.md + data/isap-raw/).**
+Section 07 pending (RAW готов, ~26 NEW-книг + 3 кросс-рефа); 08–12 scope decision pending
+(RAW в data/isap-raw/, MASTER-LIST уже просчитал: 08=47 NEW/5 xref, 09=25/12, 10=38/4,
+11=9/14, 12=35/5).
 
 ## Repository layout
 
 ```
 AGENTS.md            # this file — plan, conventions, source status
 CONTEXT.md           # misc findings that fit no other category
-tools/               # search helpers (lg.py, rsl.py, sx.sh)
+data/MASTER-LIST.md  # CANONICAL: all 12 sections, cross-section dedup (tools/xref.py --write)
+data/isap-raw/       # RAW-списки ISAP 08–12 (scope pending); 07 в sections/07-complexes/RAW.md
+tools/               # search helpers (lg.py, rsl.py, sx.sh, xref.py, audit_anchors.py, …)
 authors/             # CANONICAL: one dossier per author (shared across all sections)
 sections/0N-<name>/  # one .md per BOOK (chapter-level list items are merged into the book file)
                      # + AUTHORS-EN.md = THIN INDEX (item → author → link to authors/<slug>.md)
@@ -725,6 +732,21 @@ unavailable (04 Chiron 1993, 05 1981, 15 SUNY 1997, 16 SUNY 1997, 23 Southern Bo
 ia-restricted (03, 14). Queue infra: watchdog + speed-probe + `timeout 1500` per file +
 unbuffered logs; ads.php throttle → pause, don't hammer.
 
+## Dedup rules (user, 2026-09-25) — КАЖДАЯ КНИГА ИЩЕТСЯ/СКАЧИВАЕТСЯ ОДИН РАЗ
+
+- **Book level:** `data/MASTER-LIST.md` (генерируется `tools/xref.py --write`) — все 12 секций,
+  каноническая карточка + «Also listed in». Перед новой секцией: `python3 tools/xref.py --write`
+  и работать по её NEW/xref-меткам (xref-строка в карточке = cross-ref, поиск НЕ проводится).
+  RAW новой секции кладётся в sections/0N/RAW.md (или data/isap-raw/), xref.py подхватывает автоматически.
+- **File level:** файл хранится ТОЛЬКО в первой секции, где книга появилась; поздние секции —
+  cross-ref «secNN: <file>» в MANIFEST/карточке. 2026-09-25: 17 md5-дублей удалено
+  (`tools/dedup_files.py`), в каждом MANIFEST — датированная Notes-строка.
+- **Профилактика дублей:** перед скачиванием в новой секции — md5-scan downloads/ по книге
+  (или по MASTER-LIST: если каноническая секция уже скачала — не скачивать).
+- **MANIFEST «Not downloadable»** — не источник истины по кросс-секционным книгам:
+  перед ❌/gap-выводами прогонять `tools/xref.py` (раздел stale-lines) — phantom-строки
+  (Aion в sec05) и устаревшие «not found» после rescues в других секциях.
+
 ## Download phase conventions (user rule, 2026-07-18)
 
 - **EN originals: libgen.vg FIRST** (the EN collection is bigger than the RU one — most trade