この記事のポイント
- キオクシアは、SSDを活用した「KIOXIA AiSAQ™」で単一サーバー上に48億個の高次元ベクトル検索データベースを構築しました。
- NVIDIA GPUアクセラレーションにより、インデックス構築時間を最大7.8倍高速化することに成功しました。
- この成果は、大規模な検索拡張生成（RAG）ソリューションの実現に向けた重要な進歩です。
- SSDベースのベクトル検索により、DRAM使用量を抑え、生成AIのスケーラビリティ課題に対応します。
- キオクシアは、1兆ベクトル規模のデータベース展開を目指し、KIOXIA AiSAQの開発を継続します。
キオクシア、単一サーバーで48億ベクトル検索を達成
キオクシア株式会社は、オープンソースとして公開しているSSDを活用した生成AI用ベクトル探索ソフトウェア「KIOXIA AiSAQ™（アイザック）」の近似最近傍検索（ANNS）技術を駆使し、単一サーバー上で48億個の高次元ベクトル検索を実現しました。この実証実験では、NVIDIA cuVSを通じてGPUアクセラレーションを活用し、インデックス構築時間の大幅な短縮も実証されています。これらの成果は、検索拡張生成（RAG）ソリューションにおける重要な進展であり、48億ベクトルを超える大規模展開のサポートに向けて、キオクシアはさらなる開発を進めています。
GPU活用でインデックス構築時間を7.8倍高速化
大規模ベクトルデータベースにおけるインデックス構築時間は、AI業界にとって重要な課題となっています。キオクシアはNVIDIAとのコラボレーションにより、1024次元の高次元ベクトルにおけるKIOXIA AiSAQを使ったインデックス構築時間を最大20倍、エンドツーエンド構築時間を最大7.8倍高速化することに成功しました。具体的には、CPU使用時で28.4日かかっていたインデックス構築が、NVIDIA Hopper GPU 4基使用時には1.4日に短縮されました。エンドツーエンドテストにおいても、31日から4日への短縮という劇的な改善が見られました。
SSDベースのベクトル検索で大規模運用を現実化
従来のベクトルデータベースでは、10億個規模のベクトルをDRAMだけで運用することは現実的ではなく、SSD上で数百億個に迫るベクトルデータを運用することが期待されています。キオクシアは、KIOXIA AiSAQ技術を活用し、Milvusデータベース環境において、1台のクエリサーバーで数10億規模の検索を実現し、RAGアプリケーションにおけるレイテンシー要件を満たすことができました。さらに、GPUアクセラレーションによるインデックス構築時間の短縮は、大規模データベース運用をより現実的なものとしています。
NVIDIAとの連携がAIの可能性を拡張
NVIDIAのストレージテクノロジー担当バイスプレジデント、ジェイソン・ハーディ氏は、「ベクトルデータベースは、膨大な非構造化データセット全体で意図、文脈、類似性をリアルタイムで理解する必要があるアプリケーションの基盤となります。NVIDIA cuVSライブラリーを活用したGPUアクセラレーションにより、キオクシアは、これまでにない効率でインデックスを構築し、高次元ベクトルデータベースの大規模化をサポートしています。」とコメントしています。
KIOXIA AiSAQ™が生成AIのスケーラビリティ課題を解決
キオクシアが昨年公開したオープンソースソフトウェア「KIOXIA AiSAQ」は、SSDから直接ベクトル検索を可能にし、DRAM使用量を抑えることで、生成AIにおけるRAGのスケーラビリティの課題に取り組んでいます。KIOXIA AiSAQ技術は、高い拡張性を提供し、マルチテナント環境や大規模モノリシックインデックス導入の両方に適しています。この技術は、ハイブリッドクラスタリングとグラフ検索を組み合わせた革新的なグローバルインデックスアルゴリズムを活用し、超大規模環境においても効率的なベクトル検索を提供します。性能とベクトル数のスケーラビリティのバランスを柔軟に調整できるKIOXIA AiSAQソフトウェアは、大規模導入をより容易にし、拡張性を高めます。
フラッシュメモリとGPUでAIの未来を切り拓く
キオクシア株式会社の常務執行役員SSD事業部長、横塚賢志氏は、「ベクトルデータベースを数十億規模に拡張するには、メモリ技術とデータ処理技術の両方を見直す必要があります。KIOXIA AiSAQのSSDベースのベクトル検索と、インデックス構築のためのNVIDIA GPUアクセラレーションを組み合わせることで、大規模展開における実用的なインデックス構築を実現します。今後も業界のイノベーターとして、フラッシュメモリを活用し、AIの可能性を押し広げていきます。」と述べています。
1兆ベクトル規模のデータベース展開を目指して
キオクシアは、インテリジェントデータ処理をサポートするストレージ主導のAIソリューションの推進に引き続き注力し、1兆ベクトル規模のデータベース展開に向けてKIOXIA AiSAQの開発を継続していきます。
「KIOXIA AiSAQ™」の公開先：
https://github.com/kioxia-jp/aisaq-diskann
※本ベンチマークでは、合計19.66 TBのベクトルデータが処理されました。性能やベンチマーク結果は、ホストデバイス、読み書き条件、データサイズ、その他の要因によって異なる場合があります。
KIOXIA AiSAQは、キオクシアの商標です。
記載されている社名・製品名・サービス名などは、それぞれ各社が商標として使用している場合があります。
出典: 元記事を読む
※現在お読みいただいているこの記事は、国内外のニュースソース等から取得した情報を自動翻訳した上で掲載しています。
内容には翻訳による解釈の違いが生じる場合があり、また取得時の状況により本文以外の情報や改行、表などが正しく反映されない場合がございます。
順次改善に努めてまいりますので、参考情報としてご活用いただき、必要に応じて原文の確認をおすすめいたします。