向量資料庫：解鎖結構化 AI 在非結構化世界的潛力

前言

近年來，向量資料庫受到廣泛關注，許多公司籌集了大量資金來建立這些資料庫，並被專家稱為AI時代的新一代資料庫。然而，對於一些項目而言，它們可能是一個過度複雜的解決方案，傳統資料庫或numpy ND陣列可能已足夠。儘管如此，向量資料庫仍然極具吸引力，特別是當需要為大型語言模型（如GPT-4）提供長期記憶時。在這篇簡單易懂的文章中，我們將探討向量資料庫是什麼，它們如何運作，以及它們的應用場景和可用選項。

為什麼我們需要向量資料庫？

為什麼我們需要向量資料庫？現今超過80％的數據是非結構化的，包括社交媒體帖子、圖像、視頻和音頻數據，而將這些資料儲存在關聯式資料庫中是很困難的。例如，在處理圖像時常常需要手動分配關鍵字或標籤，因為僅通過像素值來搜索相似圖像是不可行的。非結構化文本、音頻和影片資料也面臨相同的挑戰。而透過向量資料庫的建立，得使用向量嵌入（Vector embeddings）來解決這個問題。

向量嵌入和索引

向量資料庫依賴於兩個關鍵組件：向量嵌入（Embeddings）和索引（Indexes）。向量嵌入是一種將數據轉換為連續向量表示的技術。這種轉換可以幫助將非結構化的原始數據（如文字、圖像或聲音）轉換為電腦可以理解和處理的形式。在向量資料庫中，將數據轉換為嵌入形式可以使數據在向量空間中佔據特定位置，使得相似的數據在空間中靠近，不相似的數據則遠離，並進行相似搜索。

例如，我們可以使用向量嵌入將一個句子轉換為數字表示，並找到與該句子意義相似的其他句子。這在文本相似性搜索及推薦系統中非常有用。

假設我們有一個照片的向量嵌入，它代表一張狗的圖片。我們可以通過在向量空間中計算距離，找到與這張圖片最相似的其他狗的圖片。這樣的相似性搜索也可用於圖像檢索和圖像相似性比較。

然而，僅將數據存儲為向量嵌入是無法進行高效搜索的。為了解決這個問題，向量需要進行索引。索引是一種將向量映射到數據結構的過程，從而實現更快的搜索。不同的索引技術存在，使其成為獨立的研究領域。對於向量資料庫的高效搜索操作，索引是不可或缺的。