7.8.11. TokenDelimitNull#
7.8.11.1. 概要#
TokenDelimitNull は TokenDelimit に似ています。違いは区切り文字です。 TokenDelimit は空白文字( U+0020 )を使いますが、 TokenDelimitNull はNUL文字( U+0000 )を使います。
7.8.11.2. 構文#
TokenDelimitNull には、引数がありません。
TokenDelimitNull
7.8.11.3. 使い方#
TokenDelimitNull もタグテキストに適切です。
以下は TokenDelimitNull の例です。
実行例:
tokenize TokenDelimitNull "Groonga\u0000full-text-search\u0000HTTP" NormalizerAuto
# [
# [
# 0,
# 1337566253.89858,
# 0.000355720520019531
# ],
# [
# {
# "position": 0,
# "force_prefix": false,
# "value": "groongau0000full-text-searchu0000http"
# }
# ]
# ]