Metadata-Version: 2.1
Name: llm_tokenizers
Version: 0.1.0
Summary: LLM tokenizers tools
Author-email: Fang JiaWei <fjw12998@hotmail.com>
Project-URL: Homepage, https://gitee.com/sky_flash/llm_tokenizers
Project-URL: Documentation, https://gitee.com/sky_flash/llm_tokenizers/docs
Classifier: Programming Language :: Python :: 3
Classifier: Programming Language :: Python :: 3.8
Classifier: Programming Language :: Python :: 3.9
Classifier: Programming Language :: Python :: 3.10
Classifier: Programming Language :: Python :: 3.11
Classifier: Programming Language :: Python :: 3.12
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Requires-Python: >=3.8
Description-Content-Type: text/markdown
License-File: LICENSE

# llm_tokenizers

#### 介绍
收集llm的各种 tokenizer

#### 软件架构
软件架构说明


#### 项目安装教程

1.  克隆项目到本地：
```bash
git clone https://gitee.com/sky_flash/llm_tokenizers.git
``` 
2. 进入项目目录：
```bash
cd llm_tokenizers
```
3. 使用 pip 安装依赖：
```bash
pip install -r requirements.txt
```

#### 软件包安装程

#### 使用说明

1.  xxxx
2.  xxxx
3.  xxxx

#### 项目打包

1.  确保已安装构建工具：
```bash
pip install build
```
 
2. 在项目根目录下执行打包命令：
```bash
python -m build
```
打包完成后，生成的 `.whl` 和 `.tar.gz` 文件会保存在 `dist/` 目录下。

3. 安装打包好的 `.whl` 文件（以生成的文件名为例）：
```bash
pip install dist/llm_tokenizers-0.1.0-py3-none-any.whl
```

#### 参与贡献

1.  Fork 本仓库
2.  新建 Feat_xxx 分支
3.  提交代码
4.  新建 Pull Request


#### 特技

1.  使用 Readme\_XXX.md 来支持不同的语言，例如 Readme\_en.md, Readme\_zh.md
2.  Gitee 官方博客 [blog.gitee.com](https://blog.gitee.com)
3.  你可以 [https://gitee.com/explore](https://gitee.com/explore) 这个地址来了解 Gitee 上的优秀开源项目
4.  [GVP](https://gitee.com/gvp) 全称是 Gitee 最有价值开源项目，是综合评定出的优秀开源项目
5.  Gitee 官方提供的使用手册 [https://gitee.com/help](https://gitee.com/help)
6.  Gitee 封面人物是一档用来展示 Gitee 会员风采的栏目 [https://gitee.com/gitee-stars/](https://gitee.com/gitee-stars/)
