简体中文：这是一个用于测试分词器的中文句子。它包含标点符号，数字 123 和英文 words。北京、上海、广州、深圳。
繁體中文：這是繁體中文的測試文字。臺灣、香港與澳門。電腦、軟體、網路、資訊。
成语：一帆风顺 千里之行始于足下 画蛇添足 井底之蛙 塞翁失马焉知非福
日本語：日本語のテキストです。ひらがな、カタカナ、漢字が混在しています。トークナイザーのテスト。東京都千代田区千代田１−１
ひらがな：あいうえお かきくけこ さしすせそ たちつてと なにぬねの はひふへほ まみむめも やゆよ らりるれろ わをん がぎぐげご ぱぴぷぺぽ っ ゃゅょ
カタカナ：アイウエオ カキクケコ ヴ ヷ ヸ ァィゥェォ ャュョ ッ ー コンピューター プログラミング
日本語の記号：「かぎかっこ」『二重かぎかっこ』【すみつき】〈山がた〉《二重山がた》〔亀甲〕 〜 ～ ・ ‥ … 。、
半角と全角：ｱｲｳ アイウ ABC ＡＢＣ 123 １２３
한국어와 혼합: 漢字와 한글, 日本語と한국어, 中文和韩文
粤语：佢哋喺邊度食飯？我唔知道。你哋幾時返嚟？
CJK Extension B (4-byte UTF-8): 𠀀 𠜎 𠜱 𠝹 𡃁 𡈽 𪚥 𫠠; Extension A: 㐀 㐁 䶵; compatibility: 豈 更 車 賈 滑 串 句 龜 (U+F900..)
Kangxi radicals (NFKC-sensitive): ⼀ ⼆ ⼈ ⼉ ⼊ ⼋ ⼌ ⼍ ⼎ ⼏ ⼐ ⼑ ⼒ ⼓; CJK radicals supplement: ⺀ ⺁ ⺂ ⺃
Bopomofo: ㄅㄆㄇㄈ ㄉㄊㄋㄌ ㄍㄎㄏ ㄐㄑㄒ ㄓㄔㄕㄖ ㄗㄘㄙ ㄚㄛㄜㄝ; Yi: ꀀ ꀁ ꀂ; Nüshu: 𛅰
Enclosed and squared: ㊗ ㊙ ㊚ ㊛ ㈠ ㈡ ㈢ 🈚 🈯 🈲 🈶 🉐 🉑 ㋐ ㋑ ㋒
Mixed with emoji and numbers: 我爱🦀Rust编程! 第1名 第２名 100% 完成 ✅ 2026年10月18日 19:04
Vertical presentation forms: ︵ ︶ ︷ ︸ ︹ ︺ ︻ ︼ ︽ ︾ ︿ ﹀
Long run without spaces: 天地玄黄宇宙洪荒日月盈昃辰宿列张寒来暑往秋收冬藏闰余成岁律吕调阳云腾致雨露结为霜金生丽水玉出昆冈剑号巨阙珠称夜光果珍李柰菜重芥姜海咸河淡鳞潜羽翔
Ideographic description: ⿰⿱⿲⿳⿴⿵⿶⿷⿸⿹⿺⿻; ideographic iteration mark 々 and 〆 〇 〡 〢 〣
