環球觀熱點:AI時代的“Killer App”,一文了解向量數據庫是什么
最近,又一個概念火了——向量數據庫。
首先是,4月一個月內多家向量數據庫創業公司獲大額新融資,引發市場熱議。
(資料圖片僅供參考)
其次行情方面,龍頭A股星環科技、北交所云創數據等股價連續異動,其中云創數據自底部以來股價已接近翻倍。
此外,8日開始,分析師們“后知后覺”開始密集推出研報進行覆蓋。
多家創業公司獲大額新融資
據華福證券梳理,隨著大模型帶來的應用需求提升,4月以來多家海外知名向量數據庫創業企業傳出融資喜訊。
4月28日,向量數據庫平臺Pinecone宣布獲得1億美元(約7億元)B輪融資,由Andreessen Horowitz領投,ICONIQ Growth等跟投。
4月22日,向量數據庫平臺Weaviate宣布獲得5000萬美元(約3.5億元)B輪融資,由Index Ventures領投,Battery Ventures等跟投。
此外,4月6日Chroma獲1800萬美元種子輪融資,4月19日Qdrant獲750萬美元種子輪融資。
什么是向量數據庫?
據東北證券研報,向量數據庫是專門用來存儲和查詢向量的數據庫,其存儲的向量來自于對文本、語音、圖像、視頻等的向量化。
同傳統數據庫相比,向量數據庫不僅能夠完成基本的CRUD(添加、讀取查詢、更新、刪除)等操作,還能夠對向量數據進行更快速的相似性搜索,商業價值提升明顯。
向量數據庫有啥用?
東北證券指出,向量數據庫一個很重要的功能是拓展大模型的邊界,分為時間邊界和空間邊界。
第一,時間邊界的擴展,指的是向量數據庫能夠使得大模型LLM擁有“長期記憶”。
眾所周知,目前的大模型(無論是NLP領域的GPT系列還是CV領域的ResNET系列)都是預先訓練Pretrain的大模型,有著非常明晰的訓練截止日Cut-off Date,這導致這些模型對于訓練截止日之后發生的事情一無所知。
而隨著向量數據庫的引入,其內部存儲的最新的信息向量能夠極大地拓展大模型的應用邊界,向量數據庫可以使得大模型保持準實時性,提高大模型的適用性,并使得大模型能夠動態調整。也就是說,向量數據庫使得大模型的長期記憶得到了可能。
例如,假設一個預訓練的新聞摘要模型在2021年底完成了訓練,到了2023年,許多新聞事件和趨勢已經發生了變化。為了使大模型能夠處理這些新信息,可以使用向量數據庫來存儲和查詢2023年的新聞文章向量。
同樣,在推薦系統中,預訓練的大模型可能無法識別新用戶和新產品的特征,通過向量數據庫,可以實時更新用戶和產品的特征向量,從而使大模型能夠根據最新的信息為用戶提供更精準的推薦。
此外,向量數據庫還可以支持實時監測和分析。例如,在金融領域,預訓練的股票預測模型可能無法獲取訓練截止日期之后的股票價格信息。通過將最新的股票價格向量存儲在向量數據庫中,大模型可以實時分析和預測未來股票價格走勢。還有就是在客服領域,向量數據庫將使得大模型可以追溯到對話的開始。
第二,空間邊界的擴展,指的是向量數據庫能夠協助解決目前企業界最擔憂的大模型泄露隱私的問題。
用戶給出的Prompt可能會包含一些敏感信息。根據媒體報道,員工A用ChatGPT幫自己查一段代碼的bug,而這段源代碼與半導體設備測量數據有關;員工B想用ChatGPT幫自己優化一段代碼,就直接將與產量和良品率記錄設備相關的一段代碼輸入了其中。
這些行為直接導致了三星關鍵數據的泄露,而ChatGPT本身其實也出現過隱私泄露事件,使得有一小部分的對話歷史/支付數據會被其他用戶查看,這些數據都極為敏感,而通過本地部署,向量數據庫能夠在很大程度上解決這個問題。
向量數據庫本地部署后可以存儲企業有關的大量隱私數據,在本地部署或者專有云部署大模型后,通過特別的Agent大模型可以在有保護的情況下訪問向量數據庫的隱私數據,進而可以在不向外網暴露公司的隱私的情況下,使得公司的業務得到大模型的助力。
此外,多模態搜索也是向量數據庫的拿手好戲。
東北證券指出,向量數據庫自帶多模態功能,這意味著它能夠通過機器學習方法處理和理解來自不同源的多種模態信息,如文本、圖像、音頻和視頻等,數據向量化過程使得這些不同模態數據的內部隱藏信息得以暴露,進而為多模態應用提供支持。
一個典型的應用場景是多語言搜索,向量數據庫支持跨語言的信息檢索,用戶可以使用英語、法語、中文等多種語言搜索圖書庫,而無需事先對書名進行多語言翻譯處理。這得益于向量表示能夠捕捉到語義相似性,使得來自不同語言的查詢和內容能夠相互匹配。
再一個,東北證券指出,即使不考慮需要LLM支持的邊界拓展型應用和多模態搜索,近似搜索功能就可以給向量數據庫帶來巨大的商業化潛力。比如推薦系統、圖像檢索、語音識別和處理、生物信息學等。
市場空間巨大,行業處于從0-1階段
東北證券指出,向量數據庫市場空間巨大,目前處于從0-1階段,預測到2030年,全球向量數據庫市場規模有望達到500億美元,國內向量數據庫市場規模有望超過600億人民幣。
其認為,向量數據庫是AI時代的Killer App。AI時代一切AI化,而AI化的本質則是向量化,向量化計算成本高昂,海量的高維向量勢必需要專門的數據庫進行存儲和處理,向量數據庫應運而生,向量數據庫在拓展AI全新應用場景的同時,也將對傳統數據庫產品形成替代,進而成為AI時代的Killer App。
相關公司方面,全球范圍內來看,目前向量數據庫以初創公司為主,包括Pinecone、Milvus、Weaviate、Vespa等。
目前全球已有的向量數據庫產品主要包括Pinecone、Milvus、Weaviate、Vespa等,其中超過70%的向量數據庫選擇了開源,超過一半的向量數據庫具有云化部署的能力,大部分向量數據庫產品在進行ANN相似性搜索時采用HNSW(HierarchicalNavigable Small World)算法。
風險提示及免責條款 市場有風險,投資需謹慎。本文不構成個人投資建議,也未考慮到個別用戶特殊的投資目標、財務狀況或需要。用戶應考慮本文中的任何意見、觀點或結論是否符合其特定狀況。據此投資,責任自負。關鍵詞: