cross-section dedup system (user tasks 2+3, 2026-09-25):

- tools/xref.py: master book list for ALL 12 sections (RAW 07-12 scraped: sections/07/RAW.md
  + data/isap-raw/), cross-ref matcher (CW gate + distinctive tokens + years + Cyrillic
  transliteration), stale MANIFEST 'Not downloadable' checker; data/MASTER-LIST.md generated
  (17 book-dupes in 01-06 found, e.g. sec01#51=sec06#14 Solomon)
- file-level dedup: 17 md5-identical files removed from later sections (kept in first),
  MANIFESTs/cards -> cross-ref rows, totals updated (sec01 102 / 02 37 / 03 125 / 04 38 /
  05 38 / 06 37), dedup rule in AGENTS.md + MANIFEST Notes
- sec05 MANIFEST phantom line '03 Aion' removed (Aion not in sec05 list; files in sec01)
- sec03 #44: 1968 Bodley file was #41's book (content 'English Fairy Tales') — removed,
  #44 keeps ABC-CLIO 2002

downloads/01-fundamentals/MANIFEST.md

@@ -2,7 +2,7 @@
 
 ## Totals
 
-101 files, 0.9 GB (RU 44 / EN 57)
+102 files, 1.1 GB (RU 44 / EN 57)
 
 ## Files (per item)
 
@@ -375,6 +375,9 @@ EN full text still unavailable (2026-09-20, after 3-round soft libgen sweep + ia
 
 ## Notes
 
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).
+
+
 Phase 4, 2026-07-17. Rule: per language, all pdfs if any pdf exists, else all fb2, else all epub, else all doc.
 File naming: `NN-<slug>-<lang>-<edition>.<ext>`. flib = flibusta.is (`b/<id>`), lg = libgen.vg (`f_id`), ia = archive.org.