logstable

Text Chunker 引き継ぎ — BASELINE-5 → v4.1-final

BASELINE-5(v3.x)から v4.1-final への移行を 14 バッチ(6-A〜6-N)で整理。削減約 -900 行 + 語彙統一 + ゼロ長保護則 + round-trip 修正。

Text Chunker 引き継ぎ — BASELINE-5 → v4.1-final

0. 一行サマリ

BASELINE-5(v3.x)から v4.1-final への移行完了。 14 バッチ(6-A〜6-N)で純削減 約 −900 行。アーキテクチャは簡素化され、語彙は直感的になり、ゼロ長 chunk の保護則が明文化され、分割ソース / bundle の round-trip 検証が All files match (23 files) で通過。

1. 到達点

1.1 検証済み状態

項目状態
bundle.mjs✓ 5 css + 18 js → 287,028 bytes
verify.mjs✓ All files match (23 files)
循環依存✓ 0 件
dev ESM✓ 全 23 ファイルが HTTP 200/304 で読込完了
@file: マーカー✓ 全ファイル === 付き
@import: → 実 import✓ 1:1 対応

1.2 ファイル構成

public/tools/text-chunker/
├── index.html entry template(分割ソース版)
├── manifest.json
├── package.json
├── scripts/ (bundle.mjs / split.mjs / verify.mjs)
├── styles/ (00-base / 10-layout / 20-components / 30-editor / 40-theme-light)
├── js/ (00-main 〜 180-boot, 全 18 ファイル)
└── bundle/index.html bundle 生成物(単一 HTML)

v3.x との差分:

  • js/100-detail-panel.js 削除
  • js/40-candidates.js に findFenceCandidates 追加
  • index.html の構造明確化(<link> + <script type="module" src>)

2. バッチ別サマリ(6-A〜6-N)

Batch 6-A: データモデル + migration

対象: js/60-model.js / js/110-ui.js / js/160-dialogs.js / js/180-boot.js

  • SplitParams から margin / overlapLines / minFill / autoSplitOnPaste 削除
  • OutputSettings を beforeSection / afterSection / copyWrapBefore / copyWrapAfter / copyAppliesLineEnding に変更
  • ChunkRec から doneText / doneSource / doneIndex / doneTotal / doneAt / anchorLocked 削除、commitVersion / commitText / commitAt 追加
  • migrateParams / migrateOutput / migrateChunk を新形式に
  • SettingsRec.schemaVersion = 2

Batch 6-B: done → commit + version

対象: js/140-workflow.js / js/90-editor.js / js/120-crud.js / js/130-tree.js / js/60-model.js / js/180-boot.js / js/170-wireui.js

  • finalizeDone → commitChunk
  • copyAndMarkDoneChunk → copyAndCommitChunk
  • advanceToNextNonDone → advanceToNextUncommitted
  • _fStatusCache / ensureFStatusChildren 削除
  • refreshEditorRanges の readOnly 分岐削除
  • migrateChunk の commitText = doneSource に修正

Batch 6-C: anchor / split after / boundaries / gap 削除

対象: index.html / js/90-editor.js / js/120-crud.js / js/140-workflow.js / js/130-tree.js / js/170-wireui.js / js/180-boot.js / js/110-ui.js / js/160-dialogs.js

  • js/100-detail-panel.js 削除
  • #detailPanel / #splitAfterBtn / #markChunkBtn / #fChunkStatus を HTML から削除
  • changeFilterFn / pendingMark* / overlapRangePlugin を editor から削除
  • toggleMarkChunk / cancelMarkChunk 削除
  • insertCheckpointMenuItems 削除
  • updateDoneEditBanner 削除
  • 動的 import を静的化

Batch 6-D: overlap / minFill / lastAfter / When 削除

対象: js/170-wireui.js / js/80-split.js / js/70-compose.js / js/90-editor.js

  • overlapStart / overlapLines / minFill 削除
  • wrapperVisibility / resolveBefore / resolveAfter / isEffectivelyEmpty 削除
  • enforceI2 強化(非重複保証)
  • C9 修正: EditorView import 追加

Batch 6-E: copy wrap + fence 候補 + D1/D2

対象: js/40-candidates.js / js/70-compose.js / js/80-split.js / js/90-editor.js

  • findFenceCandidates 追加(コードブロック境界優先分割)
  • expandByLines 追加(Copy wrap 実装)
  • composeOutput の forCopy wrap 適用
  • computeChunkOverhead に wrap 分を反映
  • enforceI2 確定版

対象: index.html / js/170-wireui.js / js/140-workflow.js / js/180-boot.js / js/120-crud.js / js/160-dialogs.js

  • Row 1 に ? Legend 追加
  • Row 2: ✓ Commit / ⋮ 追加、🔍 / ? 削除
  • Row 3: [Text|Diff] / ⇤ / 📋 Copy / 🔍 / ⚡Live
  • Footer: [IDB] / [LF] / [UTF-16] chip 追加、MvN 削除
  • File ▾ から Export/Import JSON / Storage usage を Footer chip に移動

Batch 6-G: snippet 統合 + text/chunk 同一化 + F1

対象: index.html / js/170-wireui.js / js/160-dialogs.js

  • editSnippets を Output dialog 内に統合(<details> 折り畳み)
  • Chunks ▾ に Text グループ追加
  • F1 解消: 動的 import を静的化

Batch 6-H: Split text at chunk start (new document)

対象: js/120-crud.js / js/170-wireui.js / js/130-tree.js / index.html / js/180-boot.js

  • 解釈 C を実装: master を 2 doc に分割
  • 選択チャンクは後半 doc に残る
  • commit 履歴は chunk と一緒に移動
  • toast に [Open] アクション

Batch 6-I: UI polish(C1〜C8, C11)

対象: index.html / js/110-ui.js / js/90-editor.js / js/120-crud.js / js/130-tree.js / js/160-dialogs.js / js/170-wireui.js

  • C1: Copy 主 / Commit 副
  • C3: ⚡Live を Footer に復帰
  • C5: Storage chip からサイズ表示削除
  • C6: ? を Row 1 へ
  • C7: Chunks ▾ の Move/Merge 削除
  • C8: enforceI2 trim の toast 通知
  • C11: split toast に [Open]
  • toast(..., opts.autoMs) 追加

Batch 6-J: unpinned 語彙 + autoPinOnInteraction + ゼロ長保護則

対象: js/60-model.js / js/80-split.js / js/90-editor.js / js/120-crud.js / js/130-tree.js / index.html / js/160-dialogs.js / js/180-boot.js

  • state: 'auto' → 'unpinned'
  • chunkKey prefix auto@ → unpinned@
  • promoteAutoOnEdit → promoteUnpinnedOnEdit
  • autoPinOnInteraction 設定追加(既定 true)
  • unpinChunk 新設(releaseChunk はエイリアス)
  • enforceI2 をゼロ長免除に変更
  • dropUnprotectedZeroLength 追加
  • updateCursorChunk にゼロ長完全一致
  • ZeroLenMarker 追加
  • dimPlugin にゼロ範囲分岐
  • createNewChunkAfter を pin 済みで作成
  • ∅ バッジ / ⚠ SR バッジ分離

Batch 6-K: commit → snapshot 語彙統一

対象: index.html / js/140-workflow.js / js/170-wireui.js / js/160-dialogs.js / js/130-tree.js

  • UI 文言を commit → snapshot に統一
  • 内部名(commitChunk / commitVersion / commitText / commitAt / commitAutoPin)は永続化互換のため維持
  • Snapshotted: N / No changes since snapshot. / Snapshot #N → vM 等

Batch 6-L: 完全版再出力(統合)

対象: index.html / js/130-tree.js / js/140-workflow.js / js/170-wireui.js / js/180-boot.js

  • 適用順序の依存関係を解消
  • 5 ファイルの完全版を出力

Batch 6-M: Round-trip 修正

対象: 全 18 JS + 5 CSS ファイル / js/160-dialogs.js

  • @file: マーカーを === 形式に統一:
    • CSS: /* === @file: styles/xx-name.css === */
    • JS: // === @file: js/xx-name.js ===
  • @import: directive の直後に実 import 文を 1:1 配置(規約 §6.4 準拠)
  • 160 → 170 の直接 import を削除:
    • refreshFooterChips() → svc.refreshFooterChips?.() に変更(3 箇所)
    • 循環依存 160 ⇄ 170 ⇄ 140 ⇄ 160 を切断
  • 160-dialogs.js の NOTE コメントを import 群の後ろに移動(round-trip 差分検出回避)

Batch 6-N: P0/P1 バグ修正

#バグ対象修正
Q1mapImportedChunk の v1→v2 変換が暗黙160-dialogs.jsv1/v2/auto/done の全変換経路をコメントで明記
Q2dropUnprotectedZeroLength の Store 削除失敗を握り潰し90-editor.jsconsole.warn + dirtyChunkIds に再登録し、次回 persistNow で再試行
Q5chooseEnd が毎回候補配列を再構築80-split.jshints 引数追加、splitGap で hc / fc / bp を一度だけ構築
Q9showManualCopySheet の未使用 n 引数140-workflow.js引数から削除、呼び出し側も更新
UX4Diff ヘッダの .badge にスタイルなしstyles/30-editor.css#diffView .diffHeader .badge を追加

3. 主要な設計判断

3.1 done → commit + version 化

根拠:

  • 編集ロック(done の副作用)は開発/運用の妨げ
  • 進捗管理(index/total)は Diff で代替可能
  • commit を version として保持することで差分確認が自然

トレードオフ:

  • 「凍結した出力」という概念は薄れる
  • Changes ビューが commitVersion > 0 前提に変わる
  • UI 語は snapshot に変更して git 連想を回避

3.2 overlap 廃止 → copy wrap

根拠:

  • チャンク境界の重複は並び替え・結合・fit を破壊する
  • ユーザーの意図は「コピー時に前後の文脈を含めたい」という出力の話
  • forCopy 拡張は物理範囲に影響しない

3.3 anchor 廃止

根拠:

  • anchor と pin の違いが直感的でない
  • 全 chunk を対称に ChangeSet.mapPos で追従させれば十分
  • snapshot 済みは Move 対象外とするだけで暗黙の保護が成立

3.4 boundaries 廃止

根拠:

  • 編集ロックと組み合わさって分かりにくい
  • breakdown popover の方が情報が集約されている
  • master 上で自由編集 → chunk が追従、で十分

3.5 編集ロック撤廃

根拠:

  • filter があると「別の場所を編集しようとすると弾かれる」UX トラップ
  • chunk の視覚表示(dimmed / band / gutter)だけ維持すれば、編集中の chunk は自明

3.6 auto → unpinned

根拠:

  • 「自動」の意味不明(何が自動か)
  • pinned の直接対義語が自然
  • 動詞 Pin / Unpin と整合
  • 内部の app.autos は「自動生成された list」の意味で維持

3.7 commit → snapshot (UI のみ)

根拠:

  • git の commit と誤解される
  • 編集ロックを含意しない “snapshot” が実態に合う
  • 内部名は永続化スキーマ互換のため維持
  • 将来 v5.0 で全面 rename 可能

3.8 ゼロ長 chunk の保護則

根拠:

  • pin / snapshot はユーザーの明示的な操作
  • 履歴を守るには実体のない位置でも保持が必要
  • 非保護のゼロ長は「無関心な chunk」として削除
  • createNewChunkAfter は pin 済みで作成して直後の消失を防ぐ

3.9 循環依存の切断(6-M)

問題: 160-dialogs.js が 170-wireui.js の refreshFooterChips を直接 import し、170 → 140 → 160 → 170 の循環を形成。bundle は hoisting で救われるが dev ESM では TDZ の懸念。

解決: svc.refreshFooterChips?.() 経由に変更。svc は 10-utils.js が export し、180-boot.js の Object.assign(svc, {...}) で populate される。

4. 削減と追加

4.1 削減されたもの

対象削減行数(概算)
js/100-detail-panel.js370
#detailPanel HTML + CSS120
_fStatusCache / ensureFStatusChildren100
#fChunkStatus HTML + CSS60
finalizeDone / markNotDone80
overlapStart / computeOverlaps / overlapRangePlugin90
toggleAnchorLock / anchorLocked 分岐30
manualSplitAtCursor('end')20
Align to next20
minFill パラメータ + 参照30
overlapLines パラメータ + 参照80
lastAfter パラメータ + 参照15
wrapper.when パラメータ + 参照20
changeFilterFn25
pendingMark*40
insertCheckpointMenuItems30
updateDoneEditBanner10
Mark chunk 関連60
合計約 1,200 行

4.2 追加されたもの

対象追加行数(概算)
commitChunk / copyAndCommit / undoLastCommit60
expandByLines40
findFenceCandidates30
unpinChunk / dropUnprotectedZeroLength60
ZeroLenMarker / dimPlugin ゼロ範囲40
promoteUnpinnedOnEdit / autoPinOnInteraction30
splitTextAtChunkStart100
Footer storage / line ending / count mode chip130
beforeSnippets / afterSnippets UI 統合80
Migration v3 → v4.160
breakdown popover 拡張30
import 文(round-trip 対応)90
=== マーカー統一46
合計約 800 行

純削減: 約 −400 行(CSS 削除分を含めると −900 行)

5. 主要な API / 型の変更

5.1 ChunkRec

state: 'auto' | 'pinned' | 'done'
state: 'unpinned' | 'pinned'
doneText: string | null
doneSource: string | null
doneIndex: number | null
doneTotal: number | null
doneAt: number | null
anchorLocked: boolean
commitVersion: number
commitText: string | null // source slice
commitAt: number | null

5.2 SplitParams

margin: number
overlapLines: number
minFill: number
autoSplitOnPaste: boolean

5.3 OutputSettings

wrapper: { open, close, when }
defaultBefore: string
defaultAfter: string
lastAfter: string | null
beforeSection: string
afterSection: string
copyWrapBefore: number
copyWrapAfter: number
copyAppliesLineEnding: boolean

5.4 SettingsRec

schemaVersion: 1
schemaVersion: 2
noteSnippets: string[]
wrapperPresets: any[]
gapWhitespace: 'exclude' | 'include'
beforeSnippets: string[]
afterSnippets: string[]
autoPinOnInteraction: boolean // 新規

6. UI 変更の変遷

6.1 Row 2

段階内容
BASELINE-5◀ ▶ · chunkStatus · 🔍 · ?
6-F◀ ▶ · chunkStatus · ✓ Commit · ⋮
6-I◀ ▶ · chunkStatus · 📋 Copy · ✓ · ⋮
6-L同上(Snapshot 語彙反映)

6.2 Row 3

段階内容
BASELINE-5↤ ↦ · Content|Changes · ⇤ ⊕ · Copy&Commit · ↶ · ⋮
6-C↤ ↦ · Content|Changes · ⇤ · Copy&Commit · ↶ · ⋮
6-F[Text|Diff] · ⇤ · 📋 Copy · 🔍 · ? · ⚡Live
6-I[Text|Diff] · ⇤ · 🔍
段階内容
BASELINE-5Ln · Total · Sel · Mv · ⚡Live · chunkStatus
6-F[IDB] · Ln · Total · Sel · [LF] · [UTF-16]
6-I[IDB] · [⚡Live] · Ln · Total · Sel · [LF] · [UTF-16]

7. リスクと未確定事項

#内容状態
1commitAutoPin の既定値true(実装済み)
2autoSplit の扱い継続(footer トグル)
3既存 done の migrationstate='pinned' + commitVersion=1 + commitText=doneSource
4state: 'auto' の migration'unpinned' に rename(migrateChunk)
5Changes ビューの差分アルゴリズム現行 renderSimpleDiff を継続
6snippet 配列の分離before / after 独立。noteSnippets は beforeSnippets に移行
7svc レジストリの必要性循環依存解消のため 160 → 170 で必要。他は将来縮小検討
8app.chunks / app.autos の二重配列v5.0 で統合予定
9内部名 commit* と UI 語 snapshotv5.0 で全面 rename 予定

8. ファイル適用順序

8.1 完全版ファイル(そのまま上書き配置)

#ファイル完全版バッチ
1js/00-main.jsBASELINE-5
2js/10-utils.jsBASELINE-5
3js/20-count.jsBASELINE-5
4js/30-safe-pos.jsBASELINE-5
5js/40-candidates.js6-E
6js/50-storage.jsBASELINE-5
7js/60-model.js6-J
8js/70-compose.js6-E(+6-M で === 追加)
9js/80-split.js6-N(Q5 + 6-M ===)
10js/90-editor.js6-N(Q2 + 6-M ===)
11js/110-ui.js6-I(+6-M ===)
12js/120-crud.js6-J(+6-M ===)
13js/130-tree.js6-L
14js/140-workflow.js6-N(Q9 + 6-M ===)
15js/150-checkpoint.jsBASELINE-5
16js/160-dialogs.js6-N(Q1 + 6-M 循環切断 + NOTE 位置)
17js/170-wireui.js6-L
18js/180-boot.js6-L
19index.html6-M(分割ソース版、<link> + <script src>)
20styles/00-base.css6-M(===)
21styles/10-layout.css6-M(===)
22styles/20-components.css6-M(===)
23styles/30-editor.css6-N(UX4 + 6-M ===)
24styles/40-theme-light.css6-M(===)

8.2 削除ファイル

#ファイル削除バッチ
1js/100-detail-panel.js6-C

8.3 依存関係マップ

10-utils ← 全ファイル(svc レジストリもここ)
60-model ← 70, 80, 90, 110, 120, 130, 140, 150, 160, 170, 180
70-compose ← 80, 90, 120, 140, 160, 170
80-split ← 90, 120, 140, 160, 170, 180
90-editor ← 120, 140, 160, 170, 180
110-ui ← 120, 130, 140, 160, 170, 180
120-crud ← 130, 140, 170, 180
130-tree ← 140, 170, 180
140-workflow ← 170, 180
150-checkpoint ← 120, 160, 180
160-dialogs ← 180(170 へは import しない → 循環切断)
170-wireui ← 180
180-boot ← 00-main

重要な順序制約:

  • 10-utils.js は svc の exporter。全ファイルが参照
  • 60-model.js は他の全ファイルに先行(state: 'unpinned' を export)
  • 160-dialogs.js は 170-wireui.js を import しない(svc 経由のみ)
  • 170-wireui.js は他ファイルを自由に import して良い(DAG 末端)

9. bundle の所在

public/tools/text-chunker/bundle/index.html

再生成:

Terminal window
cd public/tools/text-chunker
node scripts/html-build/bundle.mjs --project text-chunker
node scripts/html-build/verify.mjs --project text-chunker
# 期待: ✓ All files match (23 files)
python -m http.server 8000
# /public/tools/text-chunker/ で dev ESM
# /public/tools/text-chunker/bundle/ で bundle 版

10. 検証手順(v4.1-final)

  1. 全ファイル配置後、bundle.mjs 実行 → 循環依存警告が 0 件であること
  2. verify.mjs 実行 → All files match (23 files)
  3. dev ESM 起動 → 全 23 ファイルが HTTP 200/304 で読込完了
  4. サイドバーに Unpinned バッジが出る
  5. Footer に [IDB] [⚡Live] が出る
  6. Row 2 の主ボタンが 📋 Copy(青)
  7. 空ドキュメントで 1 unpinned chunk [0,0) が自動生成される
  8. 何か入力すると autoPinOnInteraction により pinned 化
  9. 設定 → “Pin an unpinned chunk when edited or renamed” が表示される
  10. ゼロ長 pinned を作成 → 編集で消えない
  11. ゼロ長 unpinned を作成 → 自動削除される
  12. Split into new document → 2 doc に分かれる

11. 既知の制約

#内容影響対応予定
1expandByLines は O(n) で lineStarts を毎回再構築大規模 doc で copy 連打時に劣化v4.2 でメモ化
2computeChunkOverhead は二重 composeOutputbreakdown popover でのみ実行、頻度低現状維持
3chunkSeparatorPlugin は app.chunks のみ対象unpinned には widget が出ない(仕様通り)—
4app.chunks / app.autos の二重配列保守性負債v5.0 で統合
5内部名 commit* と UI 語 snapshot の乖離開発者の混乱リスクv5.0 で rename

12. 将来の検討事項

#内容優先度
1commit* 内部名を snapshot* に全面 rename(v5.0)中
2expandByLines の lineStarts メモ化低
3ゼロ長 chunk の Add marker here 明示作成中
4ゼロ長 chunk の name 必須化低
5カーソル位置での Split here コンテキストメニュー中
6app.chunks / app.autos の単一配列化中
7svc レジストリの必要性見直し低
8自動テストフレームワーク導入(node --test)中

13. 参照

14. 着手時の注意

  • 適用順は §8.3 の依存関係マップを厳守
  • 10-utils.js は svc を export(変更しない)
  • 60-model.js は他の全ファイルに先行
  • 160-dialogs.js は 170-wireui.js を import しない(svc.refreshFooterChips?.() 経由)
  • 各ファイルの先頭は // === @file: ... === または /* === @file: ... === */
  • 各 JS ファイルは // @import: directive の直後に実 import を 1:1 で持つ(複数行 import 禁止)
  • index.html は分割ソース版(<link> + <script type="module" src>)。CSS/JS は直書きしない
  • 変更後は必ず bundle.mjs + verify.mjs を実行し、All files match (23 files) を確認
  • UI 語の変更(unpinned / snapshot)は内部名と分離して管理
  • ゼロ長 chunk の保護則は enforceI2 と dropUnprotectedZeroLength の協調動作で実現