跳到主要内容

Removepunct

removepunct filter 删除标点符号、空格和换行符，而某些 tokenizer（如 jieba、lindera 和 icu）通常会保留这些内容。当您希望在 token 流中减少噪音时可以使用它。

配置​

removepunct filter 是内置在 Milvus 中的。要使用它，只需在 analyzer_params 内的 filter 部分中指定其名称即可。

PythonJavaNodeJSGocURL
{
    "tokenizer": "jieba",
    "filter": ["removepunct"]
}
// java
// node
// go
# restful

removepunct filter 对 tokenizer 生成的 term 进行操作，因此必须与 tokenizer 结合使用。

定义 analyzer_params 后，您可以在定义 collection schema 时将其应用于 VARCHAR field。这允许 Milvus 使用指定的 analyzer 处理该 field 中的文本，以实现高效的分词和过滤。有关详细信息，请参阅 示例使用。

示例​

在将 analyzer 配置应用到您的 collection schema 之前，使用 run_analyzer 方法验证其行为。

Analyzer 配置​

PythonJavaNodeJSGocURL
{
    "tokenizer": "icu",
    "filter": ["removepunct"]
}
// java
// node
// go
# restful

使用 run_analyzer 验证​

PythonJavaNodeJSGocURL
# Sample text to analyze
sample_text = "Привет! Как дела?"

# Run the standard analyzer with the defined configuration
result = MilvusClient.run_analyzer(sample_text, analyzer_params)
print(result)
// java
// javascript
// go
# restful

预期输出​

['标点', '符号', '会', '被', '删除']