minbpe
minbpe
minbpe
Andrej Karpathy 的 BPE（Byte Pair Encoding）分词器最小实现。
特点
- 干净、可读的 BPE 实现
- 与 GPT-4 Tokenizer 兼容的算法
- 纯 Python，无依赖
- 教学友好，附测试和示例
核心概念
- BPE 是 LLM pipeline 中”隐藏的坑”
- Tokenization 问题常被忽视但影响巨大
- OpenAI 的 tiktoken 库基于相同算法
minbpe
Andrej Karpathy 的 BPE（Byte Pair Encoding）分词器最小实现。