qdrant-minimize-latency

クエリレイテンシのスケーリング

単一のクエリのレイテンシは、クエリ実行パス内で最も遅いコンポーネントによって決まります。スループットと相関することもありますが、常にそうとは限りません。スループットとレイテンシは、反対方向のチューニング目標です。

低レイテンシの最適化では、単一のクエリでリソースを最大限に活用することを目指します。一方、スループットの最適化では、並列に実行できるクエリ数を増やすため、クエリあたりのリソース使用量を最小限に抑えることを目指します。

レイテンシを下げるためのパフォーマンスチューニング

• セグメント数を CPU コア数に合わせて増やします（default_segment_number: 16）［レイテンシの最小化］(https://skills.qdrant.tech/md/documentation/ops-optimization/optimize/?s=minimizing-latency)
• 量子化ベクトルと HNSW を RAM に保持します。Qdrant 1.19 以降では memory: pinned を指定します。1.18 以前では、量子化ベクトルに always_ram: true、HNSW に hnsw_config.on_disk: false を指定します［メモリ階層］(https://skills.qdrant.tech/md/documentation/ops-configuration/memory-tiers/?s=legacy-settings)
• クエリ時の hnsw_ef を減らします（再現率と速度のトレードオフです）［検索パラメーター］(https://skills.qdrant.tech/md/documentation/ops-optimization/optimize/?s=fine-tuning-search-parameters)
• ローカル NVMe を使用し、ネットワーク接続ストレージは避けます

メモリ不足とレイテンシ

レイテンシにとって、RAM は最も重要なリソースです。ワーキングセットが利用可能な RAM を超えると、OS キャッシュの退避によって、深刻かつ継続的なレイテンシの低下が発生します。

• まず RAM を垂直スケーリングで増やします。ワーキングセットが 80% を超える場合は特に重要です。
• 量子化を使用します。スカラー量子化では 4 倍、バイナリー量子化では最大 32 倍削減できます［量子化］(https://skills.qdrant.tech/md/documentation/manage-data/quantization/)
• フィルタリングの頻度が低い場合は、ペイロードインデックスをディスクに移します。Qdrant 1.19 以降では memory: cold、1.18 以前では on_disk: true を指定します［ディスク上のペイロードインデックス］(https://skills.qdrant.tech/md/documentation/manage-data/indexing/?s=on-disk-payload-index)
• optimizer_cpu_budget を設定して、バックグラウンド最適化で使用する CPU を制限します
• インデックス作成をスケジュールします。ピーク時間帯は indexing_threshold を高く設定します

レイテンシを抑えるための垂直スケーリング

RAM を増やし、CPU を高速化すると、レイテンシを直接削減できます。ノードのサイジングのガイドラインについては、［垂直スケーリング］(../scaling-data-volume/vertical-scaling/SKILL.md)を参照してください。

避けるべきこと

• 同じノードでレイテンシとスループットを同時に最適化できると期待しないでください
• レイテンシに敏感なワークロードで、少数の大きなセグメントを使用しないでください（セグメントごとの検索に時間がかかります）
• RAM 使用率を 90% 超にしないでください（キャッシュの退避による深刻なレイテンシ低下が数日続くことがあります）
• パフォーマンスのデバッグ時に、オプティマイザーの状態を無視しないでください
• 負荷テストをせずに RAM を減らさないでください（キャッシュの退避によって、レイテンシの問題が数日続くことがあります）