跳到主要内容

使用 Milvus Operator 配置 Milvus

在生产环境中,您需要根据机器类型和工作负载为 Milvus 集群分配资源。您可以在部署期间配置,或在集群运行时更新配置。

本主题介绍在使用 Milvus Operator 安装 Milvus 集群时如何配置它。

本主题假设您已部署 Milvus Operator。更多信息请参见部署 Milvus Operator

使用 Milvus Operator 配置 Milvus 集群包括:

  • 全局资源配置
  • 私有资源配置

私有资源配置将覆盖全局资源配置。如果您同时配置了全局资源和某个组件的私有资源,该组件将优先响应私有配置。

配置全局资源

使用 Milvus Operator 启动 Milvus 集群时,您需要指定一个配置文件。这里的示例使用默认配置文件。

kubectl apply -f https://raw.githubusercontent.com/zilliztech/milvus-operator/main/config/samples/milvus_cluster_default.yaml

配置文件的详细信息如下:

apiVersion: milvus.io/v1beta1
kind: Milvus
metadata:
name: my-release
labels:
app: milvus
spec:
mode: cluster
dependencies: {}
components: {}
config: {}

字段 spec.components 包括所有 Milvus 组件的全局和私有资源配置。以下是用于配置全局资源的四个常用字段。

  • image:使用的 Milvus docker 镜像。
  • resources:分配给每个组件的计算资源。
  • tolerationsnodeSelector:K8s 集群中每个 Milvus 组件的调度规则。更多信息请参见 tolerationsnodeSelector
  • env:环境变量。

如果您想配置更多字段,请参见此处的文档。

要为 Milvus 集群配置全局资源,请创建一个 milvuscluster_resource.yaml 文件。

示例

以下示例为 Milvus 集群配置全局资源。

apiVersion: milvus.io/v1beta1
kind: Milvus
metadata:
name: my-release
labels:
app: milvus
spec:
mode: cluster
components:
nodeSelector: {}
tolerations: {}
env: {}
resources:
limits:
cpu: '4'
memory: 8Gi
requests:
cpu: 200m
memory: 512Mi

运行以下命令以应用新配置:

kubectl apply -f milvuscluster_resource.yaml

如果 K8s 集群中存在名为 my-release 的 Milvus 集群,集群资源将根据配置文件进行更新。否则,将创建一个新的 Milvus 集群。

配置私有资源

最初在 Milvus 2.0 中,Milvus 集群包括七个组件:proxy、root coord、data coord、query coord、index node、data node 和 query node。然而,随着 Milvus 2.1.0 发布了一个新组件 mix coord。Mix coord 包括所有协调器组件。因此,启动 mix coord 意味着您不需要安装和启动包括 root coord、data coord 和 query coord 在内的其他协调器。

用于配置每个组件的常用字段包括:

  • replica:每个组件的副本数。
  • port:每个组件的监听端口号。
  • 全局资源配置中的四个常用字段:imageenvnodeSelectortolerationsresources(见上文)。更多可配置字段,请点击此文档中的每个组件。

此外,在配置 proxy 时,还有一个额外的字段叫做 serviceType。这个字段定义了 Milvus 在 K8s 集群中提供的服务类型。

要为特定组件配置资源,首先在 spec.componets 字段下添加组件名称,然后配置其私有资源。

目的参数
性能调优
数据和元数据
管理
配额和限制

示例

下面的示例在 milvuscluster.yaml 文件中配置了 proxy 和 datanode 的副本数和计算资源。

apiVersion: milvus.io/v1beta1
kind: Milvus
metadata:
name: my-release
labels:
app: milvus
spec:
mode: cluster
components:
resources:
limits:
cpu: '4'
memory: 8Gi
requests:
cpu: 200m
memory: 512Mi
rootCoord:
replicas: 1
port: 8080
resources:
limits:
cpu: '6'
memory: '10Gi'
dataCoord: {}
queryCoord: {}
indexCoord: {}
dataNode: {}
indexNode: {}
queryNode: {}
proxy:
replicas: 1
serviceType: ClusterIP
resources:
limits:
cpu: '2'
memory: 4Gi
requests:
cpu: 100m
memory: 128Mi
config: {}
dependencies: {}

此示例不仅配置了全局资源,还为 root coord 和 proxy 配置了私有计算资源。当使用此配置文件启动 Milvus 集群时,私有资源配置将应用于 root coord 和 proxy,而其余组件将遵循全局资源配置。

运行以下命令以应用新配置:

kubectl apply -f milvuscluster.yaml

下一步