cross-section dedup system (user tasks 2+3, 2026-09-25):

- tools/xref.py: master book list for ALL 12 sections (RAW 07-12 scraped: sections/07/RAW.md
  + data/isap-raw/), cross-ref matcher (CW gate + distinctive tokens + years + Cyrillic
  transliteration), stale MANIFEST 'Not downloadable' checker; data/MASTER-LIST.md generated
  (17 book-dupes in 01-06 found, e.g. sec01#51=sec06#14 Solomon)
- file-level dedup: 17 md5-identical files removed from later sections (kept in first),
  MANIFESTs/cards -> cross-ref rows, totals updated (sec01 102 / 02 37 / 03 125 / 04 38 /
  05 38 / 06 37), dedup rule in AGENTS.md + MANIFEST Notes
- sec05 MANIFEST phantom line '03 Aion' removed (Aion not in sec05 list; files in sec01)
- sec03 #44: 1968 Bodley file was #41's book (content 'English Fairy Tales') — removed,
  #44 keeps ABC-CLIO 2002
This commit is contained in:
Dmitry Kokorin 2026-09-25 23:25:05 +03:00
parent 4274488410
commit 7d3794560e
46 changed files with 1831 additions and 21889 deletions

View file

@ -2,7 +2,7 @@
## Totals
39 files, 0.3 GB (RU 16 / EN 23) + 3 rescue-файла 2026-09-25 (RU 2 + EN 1, +14 MB)
37 files, 0.2 GB (RU 16 / EN 23) + 3 rescue-файла 2026-09-25 (RU 2 + EN 1, +14 MB) — 5 файла удалено как дубли (dedup 2026-09-25)
## Files (per item)
@ -10,19 +10,19 @@
| file | size | source | verify |
|---|---|---|---|
| 01-cw5-symbols-en.pdf | 24.6 MB | CarlJungCollectedWorks | 01 — CW5 Symbols of Transformation (Princeton) |
| — (cross-ref sec01: 33-cw5-symbols-transformation-en-princeton-1954.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
### 02 — Two Essays on Analytical Psychology (CW 7, §§ 121-191, 202-220) — 1 file
| file | size | source | verify |
|---|---|---|---|
| 02-cw7-two-essays-en.pdf | 3.5 MB | CarlJungCollectedWorks | 02 — CW7 Two Essays on Analytical Psychology (Princeton) — **rescue** (sec01 had no EN) |
| — (cross-ref sec01: 02-cw7-two-essays-en-princeton-1966.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
### 03 — The Structure and Dynamics of the Psyche (CW 8) + «General Aspects of Dream Psychology», «On the Nature of Dreams», «The Structure of the Psyche» §§ 299-312 — 1 file
| file | size | source | verify |
|---|---|---|---|
| 03-cw8-structure-dynamics-en.pdf | 38.0 MB | CarlJungCollectedWorks | 03 — CW8 The Structure and Dynamics of the Unconscious (Bollingen 65) |
| — (cross-ref sec01: 03-cw8-structure-dynamics-en-princeton-1972.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
### 04 — The Archetypes and the Collective Unconscious (CW 9/I, §§ 70-79) — 1 file
@ -71,7 +71,7 @@
| file | size | source | verify |
|---|---|---|---|
| 10-cw18-symbolic-life-en-1953.pdf | 6.9 MB | CarlJungCollectedWorks | 10 — CW18 The Symbolic Life (Princeton 1953) |
| — (cross-ref sec01: 06-cw18-symbolic-life-en-princeton-1978.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
### 11 — Children's Dreams: Notes from the Seminar Given in 1936-1940 (Philemon 2008) — 1 file
@ -154,7 +154,7 @@
| file | size | source | verify |
|---|---|---|---|
| 35-ego-archetype-en-1974.pdf | 31.0 MB | ego-and-archetype-by-edward-edinger | 35 — Ego and Archetype (1974) |
| — (cross-ref sec01: 10-ego-archetype-en-shambhala-1992.pdf) | — | sec01 file | dedup 2026-09-25: файл дублирует 01 (md5-идентичен) — файл удалён, cross-ref |
### 39 — Understanding Dreams (M. Mattoon, Spring 1984) — 1 file
@ -203,6 +203,9 @@
## Notes
**2026-09-25 (cross-section dedup):** md5-сверка всех downloads/ — 17 пар идентичных файлов (книга, уже скачанная в ранней секции, повторно скачана в поздней). Файлы УДАЛЕНЫ из поздней секции, в MANIFEST/карточках — cross-ref на раннюю. Правило: файл хранится ровно в одной секции — первой, где книга появилась. Инструмент: `tools/dedup_files.py` (разовый) + `tools/xref.py` (профилактика).
Phase 6, 2026-07-18. Rule: per language, all pdfs if any pdf exists, else all fb2, else all epub, else all doc.
File naming: `NN-<slug>-<lang>-<edition>.<ext>`. flib = flibusta.is (`b/<id>`), lg = libgen.vg (`f_id`), ia = archive.org.