cross-section dedup system (user tasks 2+3, 2026-09-25):

- tools/xref.py: master book list for ALL 12 sections (RAW 07-12 scraped: sections/07/RAW.md
  + data/isap-raw/), cross-ref matcher (CW gate + distinctive tokens + years + Cyrillic
  transliteration), stale MANIFEST 'Not downloadable' checker; data/MASTER-LIST.md generated
  (17 book-dupes in 01-06 found, e.g. sec01#51=sec06#14 Solomon)
- file-level dedup: 17 md5-identical files removed from later sections (kept in first),
  MANIFESTs/cards -> cross-ref rows, totals updated (sec01 102 / 02 37 / 03 125 / 04 38 /
  05 38 / 06 37), dedup rule in AGENTS.md + MANIFEST Notes
- sec05 MANIFEST phantom line '03 Aion' removed (Aion not in sec05 list; files in sec01)
- sec03 #44: 1968 Bodley file was #41's book (content 'English Fairy Tales') — removed,
  #44 keeps ABC-CLIO 2002

downloads/01-fundamentals/MANIFEST.md

@@ -2,7 +2,7 @@
 
 ## Totals
 
-101 files, 0.9 GB (RU 44 / EN 57)
+102 files, 1.1 GB (RU 44 / EN 57)
 
 ## Files (per item)
 
@@ -375,6 +375,9 @@ EN full text still unavailable (2026-09-20, after 3-round soft libgen sweep + ia
 
 ## Notes
 
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).
+
+
 Phase 4, 2026-07-17. Rule: per language, all pdfs if any pdf exists, else all fb2, else all epub, else all doc.
 File naming: `NN-<slug>-<lang>-<edition>.<ext>`. flib = flibusta.is (`b/<id>`), lg = libgen.vg (`f_id`), ia = archive.org.
 

downloads/02-dreams/MANIFEST.md

@@ -2,7 +2,7 @@
 
 ## Totals
 
-39 files, 0.3 GB (RU 16 / EN 23) + 3 rescue-файла 2026-09-25 (RU 2 + EN 1, +14 MB)
+37 files, 0.2 GB (RU 16 / EN 23) + 3 rescue-файла 2026-09-25 (RU 2 + EN 1, +14 MB) — 5 файла удалено как дубли (dedup 2026-09-25)
 
 ## Files (per item)
 
@@ -10,19 +10,19 @@
 
 | file | size | source | verify |
 |---|---|---|---|
-| 01-cw5-symbols-en.pdf | 24.6 MB | CarlJungCollectedWorks | 01 — CW5 Symbols of Transformation (Princeton) |
+| — (cross-ref sec01: 33-cw5-symbols-transformation-en-princeton-1954.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 02 — Two Essays on Analytical Psychology (CW 7, §§ 121-191, 202-220) — 1 file
 
 | file | size | source | verify |
 |---|---|---|---|
-| 02-cw7-two-essays-en.pdf | 3.5 MB | CarlJungCollectedWorks | 02 — CW7 Two Essays on Analytical Psychology (Princeton) — **rescue** (sec01 had no EN) |
+| — (cross-ref sec01: 02-cw7-two-essays-en-princeton-1966.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 03 — The Structure and Dynamics of the Psyche (CW 8) + «General Aspects of Dream Psychology», «On the Nature of Dreams», «The Structure of the Psyche» §§ 299-312 — 1 file
 
 | file | size | source | verify |
 |---|---|---|---|
-| 03-cw8-structure-dynamics-en.pdf | 38.0 MB | CarlJungCollectedWorks | 03 — CW8 The Structure and Dynamics of the Unconscious (Bollingen 65) |
+| — (cross-ref sec01: 03-cw8-structure-dynamics-en-princeton-1972.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 04 — The Archetypes and the Collective Unconscious (CW 9/I, §§ 70-79) — 1 file
 
@@ -71,7 +71,7 @@
 
 | file | size | source | verify |
 |---|---|---|---|
-| 10-cw18-symbolic-life-en-1953.pdf | 6.9 MB | CarlJungCollectedWorks | 10 — CW18 The Symbolic Life (Princeton 1953) |
+| — (cross-ref sec01: 06-cw18-symbolic-life-en-princeton-1978.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 11 — Children's Dreams: Notes from the Seminar Given in 1936-1940 (Philemon 2008) — 1 file
 
@@ -154,7 +154,7 @@
 
 | file | size | source | verify |
 |---|---|---|---|
-| 35-ego-archetype-en-1974.pdf | 31.0 MB | ego-and-archetype-by-edward-edinger | 35 — Ego and Archetype (1974) |
+| — (cross-ref sec01: 10-ego-archetype-en-shambhala-1992.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 39 — Understanding Dreams (M. Mattoon, Spring 1984) — 1 file
 
@@ -203,6 +203,9 @@
 
 ## Notes
 
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).
+
+
 Phase 6, 2026-07-18. Rule: per language, all pdfs if any pdf exists, else all fb2, else all epub, else all doc.
 File naming: `NN-<slug>-<lang>-<edition>.<ext>`. flib = flibusta.is (`b/<id>`), lg = libgen.vg (`f_id`), ia = archive.org.
 

downloads/03-myths-fairy-tales/MANIFEST.md

@@ -2,7 +2,7 @@
 
 ## Totals
 
-119 files, 1.3 GB (RU 51 / EN 68) + 7 rescue-файлов 2026-09-25 (EN +7, +142 MB: 24, 30, 43×2, 44×2, 66)
+125 files, 1.4 GB (RU 51 / EN 68) + 7 rescue-файлов 2026-09-25 (EN +7, +142 MB: 24, 30, 43×2, 44×2, 66) — 1 файла удалено как дубли (dedup 2026-09-25)
 
 ## Files (per item)
 
@@ -446,7 +446,7 @@ free-файл не найден (flib/libgen 0, verified 2026-09-25, sec06 sweep
 - `43-indian-fairy-tales-en-se-2021.epub` (0.65 MB) — lg f/113903507, Standard Ebooks 2021 ✅
 
 ### 44 — 2 files, 15 MB (rescue 2026-09-25)
-- `44-more-english-fairy-tales-en-bodley-1968.pdf` (7.3 MB) — lg f/101246384, «English Fairy Tales + More English Fairy Tales», Bodley Head 1968, ill. E. Ardizzone ✅
+- ~~44-more-english-fairy-tales-en-bodley-1968.pdf~~ — dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref: `41-jacobs-english-ft-en-1968.pdf` (sec03)
 - `44-more-english-fairy-tales-en-abcclio-2002.pdf` (7.9 MB) — lg f/91731102, ABC-CLIO 2002 (Zipes series) ✅
 
 ### 45 — 3 files, 24 MB
@@ -513,5 +513,9 @@ free-файл не найден (flib/libgen 0, verified 2026-09-25, sec06 sweep
 
 ## Conventions
 
-**119 files, 1.3 GB** (2026-09-20). EN: libgen.vg (first) + archive.org (CW13, Frazer 1922).
+**125 files, 1.4 GB** (2026-09-20). EN: libgen.vg (first) + archive.org (CW13, Frazer 1922).
 RU: flibusta.is (pdf/djvu via /b/<id>/download, fb2 direct) + libgen + lib.ru.
+
+## Notes
+
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).

downloads/04-pictures/MANIFEST.md

@@ -2,7 +2,7 @@
 
 ## Totals
 
-39 files, 1.3 GB (RU 17 / EN 22)
+38 files, 1.3 GB (RU 17 / EN 22) — 1 файла удалено как дубли (dedup 2026-09-25)
 
 ## Files (per item)
 
@@ -10,7 +10,7 @@
 
 | file | size | source | verify |
 |---|---|---|---|
-| 01-cw9-archetypes-en-routledge-1981.pdf | 9 MB | lg f/91730239 | pdftext: 2nd ed editorial note ✓ |
+| — (cross-ref sec02: 04-cw9-1-archetypes-en-1981.pdf) | — | sec02 file | dedup 2026-09-25: файл дублирует 02 (md5-идентичен) — файл удалён, cross-ref |
 | 01-cw9-archetypes-en-princeton-1980-a.pdf | 48 MB | lg f/92458298 | pdftext: "THE ARCHETYPES… 2nd ed, Bollingen XX" ✓ |
 | 01-cw9-archetypes-en-princeton-1980-b.pdf | 49 MB | lg f/92459383 | pdftext: same Princeton 2nd ed ✓ |
 | 01-cw9-archetypes-en-princeton-1977-a.pdf | 9 MB | lg f/100688964 | pdftext: 2nd ed, R.F.C. Hull tr. ✓ |
@@ -106,7 +106,7 @@
 |---|---|---|---|
 | 38-ottmann-color-symbolism-en-eranos.epub | 469 KB | lg f/107212960 | epub TOC verified: "edited by KLAUS OTTMANN", 7 lectures (Benz, Corbin, Huyghe, Izutsu, Portmann, Scholem, Zahan) — matches Касталия RU edition ✓ |
 
-## FINAL TALLY — section 04, 12 items, 39 files, 1.3 GB
+## FINAL TALLY — section 04, 12 items, 38 files, 1.3 GB
 
 | item | EN files | RU files |
 |---|---|---|
@@ -162,3 +162,7 @@ ETA total ≈ 10 h. All 12 items fully searched; items 11/24/26/31/32/38 complet
 Rule (user): per language, ALL pdfs if any pdf exists; else all fb2; else all epub; else all doc.
 Naming: `NN-<slug>-<lang>-<edition>.<ext>`. Verification: size == libgen filesize + magic sniff + content spot-check.
 Status: ⬜ pending / ⬇ downloading / ✔ verified / ✘ failed (tried alternatives)
+
+## Notes
+
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).

downloads/05-ethnology/MANIFEST.md

@@ -2,7 +2,7 @@
 
 ## Totals
 
-**47 files, 447 MB** — RU 17 (85 MB) + EN 30 (362 MB). EN sweep complete 2026-09-23 (31 candidates,
+**38 files, 395 MB** — RU 17 (85 MB) + EN 30 (362 MB). EN sweep complete 2026-09-23 (31 candidates, — 9 файла удалено как дубли (dedup 2026-09-25)
 1 discarded: 08b 1971 = 37-pp fragment). No OCR (scans): 07, 10b, 17, 25-2010 (image epub), 28a.
 
 ## Files (per item)
@@ -11,24 +11,24 @@
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| 01-cw10-the-archaic-man-ru-2023.fb2 | 3.5 MB | cross-ref sec01 #34 (flib b/749588, Когито 2023, пер. Анваер) | content OK («Цивилизация в переходное время») |
+| — (cross-ref sec01: 34-cw10-civilization-ru-2023.b.fb2) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 02 — Memories, Dreams, Reflections (travels chs.) — ✅
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| 02-memories-dreams-reflections-ru.fb2 | 1.3 MB | cross-ref sec01 #07 (flib b/240130) | content OK |
+| — (cross-ref sec01: 07-memories-dreams-reflections-ru.b.fb2) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 ### 06 — The Masks of God: Primitive Mythology — ✅
 
 | file | size | source | verify |
 |------|------|--------|--------|
 | EN | 06-campbell-masks-of-god-primitive-mythology-en-1959.epub | 3.5 MB | lg f/112989174 | «Primitive Mythology» |
-| EN | 06-campbell-masks-of-god-primitive-mythology-en-2018.epub | 3.8 MB | lg f/93492415 | Ch.1 «Enigma of the Inherited Image» |
-| RU | 06-campbell-masks-of-god-ru-2019-t1-c1.pdf | 6.5 MB | flib b/735217 (2019, т.1 ч.1) | 225 pp, «Джозеф Кемпбелл, МАСКИ БОГА» |
-| RU | 06-campbell-masks-of-god-ru-2019-t1-c2.pdf | 10.7 MB | flib b/735218 (2019, т.1 ч.2) | 261 pp |
-| RU | 06-campbell-masks-of-god-ru-t2-c1.pdf | 13.0 MB | flib b/735219 (т.2 полный, 428 pp) | content OK, супerset т.2 |
-| RU | 06-campbell-masks-of-god-ru-2021-t2-c2.pdf | 5.1 MB | flib b/735222 (2021, т.2 Книга II) | 180 pp, часть t2-c1 |
+| EN | — (cross-ref sec03: 48-masks-god-v1-primitive-en.epub) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t1c1.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t1c2.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t2c1.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
+| RU | — (cross-ref sec03: 48-maski-boga-ru-t2c2.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
 
 Notes: RU edition = «Маски Бога. Изначальная мифология» (реиздание; оригинал списка = 1998 «Золотой век»).
 libgen-копии тех же изданий (148512261-65) были фрагментами (6/52 pp) и не взяты.
@@ -78,14 +78,14 @@ queue, re-discarded 2026-09-23).
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| EN | 12-eliade-myth-and-reality-en-1963.pdf | 2.4 MB | lg f/92483894 | 217 pp, World Perspectives Vol. 31 (Harper & Row) |
+| EN | — (cross-ref sec03: 24-myth-and-reality-en-1963.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
 | RU | 12-eliade-myth-reality-ru.fb2 | 852 KB | flib b/122236 («Аспекты мифа») | content OK |
 
 ### 13 — Rites and Symbols of Initiation — ✅
 
 | file | size | source | verify |
 |------|------|--------|--------|
-| EN | 13-eliade-rites-and-symbols-of-initiation-en-1958.pdf | 5.5 MB | lg f/92483895 | 192 pp |
+| EN | — (cross-ref sec03: 26-rites-symbols-en-1958.pdf) | — | sec03 file | dedup 2026-09-25: файл дублирует 03 (md5-идентичен) — файл удалён, cross-ref |
 | EN | 13-eliade-rites-and-symbols-of-initiation-en-2012.epub | 218 KB | lg f/93168105 | Spring Publications 2012 ed., foreword Meade |
 | RU | 13-eliade-rites-and-symbols-of-initiation-ru-1999.fb2 | 782 KB | flib b/273442 («Тайные общества», 1999) | content OK |
 
@@ -184,7 +184,6 @@ Notes: EN full text — ia RESTRICTED (lending), libgen 0 (3 rounds).
 | 16 «Культурный комплекс» (Касталия 2018) | RU: retail only (libgen 0, flib 0 — homonym «Сингер» only); EN: not found (libgen 3 rounds + ia + flib) |
 | 17 «Самость, которой два миллиона лет» (Касталия 2021) | RU: retail only (labirint 794734/ozon) — EN ✅ выше |
 | 18 «Потерянный мир Калахари» (1973) | RU: no file (РГБ/libgen/flib/fantlab-editions); Soviet print — EN ✅ выше |
-| 03 Aion (Jung) | EN: ia RESTRICTED (lending), libgen 0 |
 | 14 Thresholds of Initiation (Henderson) | EN: ia RESTRICTED (lending), libgen 0 (3 rounds) — RU ✅ выше |
 | 04 Bührmann (Chiron 1993) | EN: not found (libgen 3 rounds, ia, flib) — rare Chiron volume |
 | 05 Burleson (1981) | EN: not found — rare 1981 volume |
@@ -193,12 +192,19 @@ Notes: EN full text — ia RESTRICTED (lending), libgen 0 (3 rounds).
 
 ## Cross-section
 
+- **2026-09-25:** строка «03 Aion (Jung)» удалена как phantom: Aion в списке секции 05 не
+  числится (RAW.md), item #03 = Adams «The Multicultural Imagination»; Aion EN+RU есть в
+  sec01 (2 файла, `05-cw9-2-aion-*`). Проверено `tools/xref.py`.
+
 - 01 (CW10) → sec01 #34 `downloads/01-fundamentals/34-cw10-civilization-ru-2023.b.fb2`
 - 02 (MDR) → sec01 #07 `downloads/01-fundamentals/07-memories-dreams-reflections-ru.b.fb2`
 - 19 (Heart of the Hunter) = sec04 #24 — EN file kept here
 
 ## Notes
 
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).
+
+
 - 2026-09-23: **EN sweep complete** — 30/31 candidates downloaded via libgen (queue + watchdog;
   speed-probe + CDN-edge re-draw in lgdl.py). 1 discarded: 08b «Princeton 1971» = 37-pp fragment.
   5 EN gaps genuinely unavailable (rare academic: Chiron/SUNY/1981) + 2 ia-restricted (03, 14).

downloads/06-religion/MANIFEST.md

@@ -1,7 +1,7 @@
 # Downloads — Section 06 Religion — FINAL 2026-09-25
 
 ## Totals
-38 файлов, 647 MB — RU 12 / EN 23 / bonus 2 (Jung on Christianity) / DE 1 (бонус-оригинал Кереньи).
+37 файлов, 645 MB — RU 12 / EN 23 / bonus 2 (Jung on Christianity) / DE 1 (бонус-оригинал Кереньи).
 Кросс-секционные файлы (items 01, 02, 03, 05, 06, 11) НЕ скачивались заново —
 см. ссылки на секции 01/02/03.
 2026-09-25: +11 EN-файлов после находки «key vs f_id» (см. Notes) — rescues: 09-t1, 13, 14, 17, 19, 20, 23.
@@ -61,7 +61,7 @@ RU: ПЛАТНО (castalia.ru PDF).
 ### 14 — The Self in Transformation (Solomon) — 1 file
 | file | size | source | verify |
 |---|---|---|---|
-| 14-solomon-self-transformation-en-2007.pdf | 2.1 MB | lg f/93253044 ed 138032430 | ✅ 353 pp, «First published 2007 by Karnac Books, © H. M. Solomon, ISBN 978-1-85575-570-3» |
+| — (cross-ref sec01: 51-self-transformation-en-karnac-2007.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
 
 RU: нет (❌).
 
@@ -190,6 +190,9 @@ RU: нет (❌).
 01→sec01#05, 02→sec02#06, 03→sec01#32, 05→sec03#09, 06→sec01#15, 11→sec03#20 (RU-дыра).
 
 ## Notes
+
+**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).
+
 - **2026-09-25 (КЛЮЧЕВОЙ): key-vs-f_id находка (указал пользователь).** В JSON-карточке издания
   `files` = `{public_key: {f_id: X, md5: Y}}` — КЕЙ и f_id-ЗНАЧЕНИЕ = РАЗНЫЕ файловые записи.
   `object=f&ids=<key>` возвращает устаревший/чужой файл (Solomon: key 92709688 = 20MB рус. антология;