cross-section dedup system (user tasks 2+3, 2026-09-25):

- tools/xref.py: master book list for ALL 12 sections (RAW 07-12 scraped: sections/07/RAW.md
  + data/isap-raw/), cross-ref matcher (CW gate + distinctive tokens + years + Cyrillic
  transliteration), stale MANIFEST 'Not downloadable' checker; data/MASTER-LIST.md generated
  (17 book-dupes in 01-06 found, e.g. sec01#51=sec06#14 Solomon)
- file-level dedup: 17 md5-identical files removed from later sections (kept in first),
  MANIFESTs/cards -> cross-ref rows, totals updated (sec01 102 / 02 37 / 03 125 / 04 38 /
  05 38 / 06 37), dedup rule in AGENTS.md + MANIFEST Notes
- sec05 MANIFEST phantom line '03 Aion' removed (Aion not in sec05 list; files in sec01)
- sec03 #44: 1968 Bodley file was #41's book (content 'English Fairy Tales') — removed,
  #44 keeps ABC-CLIO 2002

downloads/05-ethnology/MANIFEST.md

@@ -2,7 +2,7 @@
 
 ## Totals
 
-**47 files, 447 MB** — RU 17 (85 MB) + EN 30 (362 MB). EN sweep complete 2026-09-23 (31 candidates,
+**38 files, 395 MB** — RU 17 (85 MB) + EN 30 (362 MB). EN sweep complete 2026-09-23 (31 candidates, — 9 файла удалено как дубли (dedup 2026-09-25)
 1 discarded: 08b 1971 = 37-pp fragment). No OCR (scans): 07, 10b, 17, 25-2010 (image epub), 28a.
 
 ## Files (per item)
@@ -11,24 +11,24 @@
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| 01-cw10-the-archaic-man-ru-2023.fb2 | 3.5 MB | cross-ref sec01 #34 (flib b/749588, Когито 2023, пер. Анваер) | content OK («Цивилизация в переходное время») |
+| — (cross-ref sec01: 34-cw10-civilization-ru-2023.b.fb2) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 02 — Memories, Dreams, Reflections (travels chs.) — ✅
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| 02-memories-dreams-reflections-ru.fb2 | 1.3 MB | cross-ref sec01 #07 (flib b/240130) | content OK |
+| — (cross-ref sec01: 07-memories-dreams-reflections-ru.b.fb2) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 06 — The Masks of God: Primitive Mythology — ✅
 
 | file | size | source | verify |
 |------|------|--------|--------|
 | EN | 06-campbell-masks-of-god-primitive-mythology-en-1959.epub | 3.5 MB | lg f/112989174 | «Primitive Mythology» |
-| EN | 06-campbell-masks-of-god-primitive-mythology-en-2018.epub | 3.8 MB | lg f/93492415 | Ch.1 «Enigma of the Inherited Image» |
-| RU | 06-campbell-masks-of-god-ru-2019-t1-c1.pdf | 6.5 MB | flib b/735217 (2019, т.1 ч.1) | 225 pp, «Джозеф Кемпбелл, МАСКИ БОГА» |
-| RU | 06-campbell-masks-of-god-ru-2019-t1-c2.pdf | 10.7 MB | flib b/735218 (2019, т.1 ч.2) | 261 pp |
-| RU | 06-campbell-masks-of-god-ru-t2-c1.pdf | 13.0 MB | flib b/735219 (т.2 полный, 428 pp) | content OK, супerset т.2 |
-| RU | 06-campbell-masks-of-god-ru-2021-t2-c2.pdf | 5.1 MB | flib b/735222 (2021, т.2 Книга II) | 180 pp, часть t2-c1 |
+| EN | — (cross-ref sec03: 48-masks-god-v1-primitive-en.epub) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t1c1.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t1c2.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t2c1.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t2c2.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
 
 Notes: RU edition = «Маски Бога. Изначальная мифология» (реиздание; оригинал списка = 1998 «Золотой век»).
 libgen-копии тех же изданий (148512261-65) были фрагментами (6/52 pp) и не взяты.
@@ -78,14 +78,14 @@ queue, re-discarded 2026-09-23).
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| EN | 12-eliade-myth-and-reality-en-1963.pdf | 2.4 MB | lg f/92483894 | 217 pp, World Perspectives Vol. 31 (Harper & Row) |
+| EN | — (cross-ref sec03: 24-myth-and-reality-en-1963.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
 | RU | 12-eliade-myth-reality-ru.fb2 | 852 KB | flib b/122236 («Аспекты мифа») | content OK |
 
 ### 13 — Rites and Symbols of Initiation — ✅
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| EN | 13-eliade-rites-and-symbols-of-initiation-en-1958.pdf | 5.5 MB | lg f/92483895 | 192 pp |
+| EN | — (cross-ref sec03: 26-rites-symbols-en-1958.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
 | EN | 13-eliade-rites-and-symbols-of-initiation-en-2012.epub | 218 KB | lg f/93168105 | Spring Publications 2012 ed., foreword Meade |
 | RU | 13-eliade-rites-and-symbols-of-initiation-ru-1999.fb2 | 782 KB | flib b/273442 («Тайные общества», 1999) | content OK |
 
@@ -184,7 +184,6 @@ Notes: EN full text — ia RESTRICTED (lending), libgen 0 (3 rounds).
 | 16 «Культурный комплекс» (Касталия 2018) | RU: retail only (libgen 0, flib 0 — homonym «Сингер» only); EN: not found (libgen 3 rounds + ia + flib) |
 | 17 «Самость, которой два миллиона лет» (Касталия 2021) | RU: retail only (labirint 794734/ozon) — EN ✅ выше |
 | 18 «Потерянный мир Калахари» (1973) | RU: no file (РГБ/libgen/flib/fantlab-editions); Soviet print — EN ✅ выше |
-| 03 Aion (Jung) | EN: ia RESTRICTED (lending), libgen 0 |
 | 14 Thresholds of Initiation (Henderson) | EN: ia RESTRICTED (lending), libgen 0 (3 rounds) — RU ✅ выше |
 | 04 Bührmann (Chiron 1993) | EN: not found (libgen 3 rounds, ia, flib) — rare Chiron volume |
 | 05 Burleson (1981) | EN: not found — rare 1981 volume |
@@ -193,12 +192,19 @@ Notes: EN full text — ia RESTRICTED (lending), libgen 0 (3 rounds).
 
 ## Cross-section
 
+- **2026-09-25:** строка «03 Aion (Jung)» удалена как phantom: Aion в списке секции 05 не
+  числится (RAW.md), item #03 = Adams «The Multicultural Imagination»; Aion EN+RU есть в
+  sec01 (2 файла, `05-cw9-2-aion-*`). Проверено `tools/xref.py`.
+
 - 01 (CW10) → sec01 #34 `downloads/01-fundamentals/34-cw10-civilization-ru-2023.b.fb2`
 - 02 (MDR) → sec01 #07 `downloads/01-fundamentals/07-memories-dreams-reflections-ru.b.fb2`
 - 19 (Heart of the Hunter) = sec04 #24 — EN file kept here
 
 ## Notes
 
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).
+
+
 - 2026-09-23: **EN sweep complete** — 30/31 candidates downloaded via libgen (queue + watchdog;
   speed-probe + CDN-edge re-draw in lgdl.py). 1 discarded: 08b «Princeton 1971» = 37-pp fragment.
   5 EN gaps genuinely unavailable (rare academic: Chiron/SUNY/1981) + 2 ia-restricted (03, 14).