跳到主要内容

Standard Tokenizer

Milvus 中的 standard tokenizer 基于空格和标点符号分割文本，适用于大多数语言。

配置​

要使用 standard tokenizer 配置分析器，请在 analyzer_params 中将 tokenizer 设置为 standard。

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
const analyzer_params = {
    "tokenizer": "standard",
};
analyzerParams = map[string]any{"tokenizer": "standard"}
# restful
analyzerParams='{
  "tokenizer": "standard"
}'

standard tokenizer 可以与一个或多个 filter 结合使用。例如，以下代码定义了一个使用 standard tokenizer 和 lowercase filter 的分析器：

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["lowercase"]
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("lowercase"));
const analyzer_params = {
    "tokenizer": "standard",
    "filter": ["lowercase"]
};
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"lowercase"}}
# restful
analyzerParams='{
  "tokenizer": "standard",
  "filter": [
    "lowercase"
  ]
}'

为了简化设置，您可以选择使用 standard 分析器，它将 standard tokenizer 与 lowercase filter 结合。

定义 analyzer_params 后，您可以在定义 collection schema 时将其应用到 VARCHAR 字段。这允许 Milvus 使用指定的分析器处理该字段中的文本，以实现高效的分词和过滤。有关详细信息，请参阅示例用法。

示例​

在将分析器配置应用到您的 collection schema 之前，请使用 run_analyzer 方法验证其行为。

分析器配置​

PythonJavaNodeJSGocURL
analyzer_params = {
    "tokenizer": "standard",
    "filter": ["lowercase"]
}
Map<String, Object> analyzerParams = new HashMap<>();
analyzerParams.put("tokenizer", "standard");
analyzerParams.put("filter", Collections.singletonList("lowercase"));
// javascript
analyzerParams = map[string]any{"tokenizer": "standard", "filter": []any{"lowercase"}}
# restful

使用 run_analyzer 验证​

PythonJavaNodeJSGocURL
# Sample text to analyze
sample_text = "The Milvus vector database is built for scale!"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)
// java
// javascript
// go
# restful

预期输出​

['the', 'milvus', 'vector', 'database', 'is', 'built', 'for', 'scale']