buid_shard/
├── output1
│   ├── unit_128
│   │   ├── shard_000000.bin
│   │   ├── shard_000001.bin
│   │   ├── shard_000002.bin
│   │   ├── shard_000003.bin
│   │   ├── shard_000004.bin
│   │   ├── shard_000005.bin
│   │   ├── shard_000006.bin
│   │   ├── shard_000007.bin
│   │   ├── shard_000008.bin
│   │   ├── shard_000009.bin
│   │   ├── shard_000010.bin
│   │   ├── shard_000011.bin
│   │   ├── shard_000012.bin
│   │   ├── shard_000013.bin
│   │   ├── shard_000014.bin
│   │   ├── shard_000015.bin
│   │   ├── shard_000016.bin
│   │   ├── shard_000017.bin
│   │   ├── shard_000018.bin
│   │   ├── shard_000019.bin
│   │   ├── shard_000020.bin
│   │   ├── shard_000021.bin
│   │   ├── shard_000022.bin
│   │   ├── shard_000023.bin
│   │   ├── shard_000024.bin
│   │   ├── shard_000025.bin
│   │   ├── shard_000026.bin
│   │   ├── shard_000027.bin
│   │   ├── shard_000028.bin
│   │   ├── shard_000029.bin
│   │   ├── shard_000030.bin
│   │   ├── shard_000031.bin
│   │   ├── shard_000032.bin
│   │   ├── shard_000033.bin
│   │   ├── shard_000034.bin
│   │   └── shard_000035.bin
│   ├── unit_256
│   │   └── shard_000000.bin
│   ├── unit_32
│   │   └── shard_000000.bin
│   ├── unit_64
│   │   ├── shard_000000.bin
│   │   └── shard_000001.bin
│   ├── duplicate_index.jsonl
│   ├── histogram.json
│   ├── manifest.json
│   ├── sample_index.jsonl
│   ├── stats.json
│   └── unk_index.jsonl
├── output2
│   ├── unit_128
│   │   ├── shard_000000.bin
│   │   ├── shard_000001.bin
│   │   ├── shard_000002.bin
│   │   ├── shard_000003.bin
│   │   ├── shard_000004.bin
│   │   ├── shard_000005.bin
│   │   ├── shard_000006.bin
│   │   ├── shard_000007.bin
│   │   ├── shard_000008.bin
│   │   └── shard_000009.bin
│   ├── unit_256
│   ├── unit_32
│   ├── unit_64
│   │   └── shard_000000.bin
│   ├── duplicate_index.jsonl
│   ├── histogram.json
│   ├── manifest.json
│   ├── sample_index.jsonl
│   ├── stats.json
│   └── unk_index.jsonl
├── output_small
│   ├── unit_2
│   ├── unit_4
│   ├── unit_8
│   ├── sample_index.jsonl
│   └── unk_index.jsonl
├── data.jsonl
├── data1.jsonl
├── shard.py
├── test_overflow.py
└── tree.txt