跳到主要内容

ICU

icu tokenizer 基于国际化组件统一编码（ICU）开源项目构建，该项目为软件国际化提供关键工具。通过使用 ICU 的分词算法，该 tokenizer 可以准确地将文本分割为世界上大多数语言的单词。

配置​

要使用 icu tokenizer 配置分析器，请在 analyzer_params 中将 tokenizer 设置为 icu。

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "icu",
}
// java
// node
// go
# curl

icu tokenizer 可以与一个或多个 filter 结合使用。例如，以下代码定义了一个使用 icu tokenizer 和删除标点符号 filter 的分析器：

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "icu",
    "filter": ["removepunct"]
}
// java
// node
// go
# curl

定义 analyzer_params 后，您可以在定义 collection schema 时将其应用到 VARCHAR 字段。这允许 Milvus 使用指定的分析器处理该字段中的文本，以实现高效的分词和过滤。有关详细信息，请参阅示例用法。

示例​

在将分析器配置应用到您的 collection schema 之前，请使用 run_analyzer 方法验证其行为。

分析器配置​

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "icu",
}
// java
// node
// go
# curl

使用 run_analyzer 验证​

PythonJavaNodeJSGocURL
# Sample text to analyze
sample_text = "Привет! Как дела?"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)
// java
// javascript
// go
# restful

预期输出​

['Привет', '!', ' ', 'Как', ' ', 'дела', '?']