利用多模態大模型

實現自然語言與視頻圖像的

跨模態信息檢索應用

輸入一句話、一個詞就能秒級檢索目標圖像

目標檢索變得更廣、更準、更快、更易

讓安防錄像回溯不再局限于

傳統時空、報警等檢索方式

大幅提升目標和事件的查找效率

讓安防業務管理更高效、更智能

01
搜得廣開放式語義檢索，搜人搜車搜物

基于多模態大模型，文搜存儲產品實現了海量視圖數據的開放式語義檢索，不再局限于傳統的錄像回放及固定屬性查找。

根據需求，在搜索框內輸入文字描述（一句話或一個詞等），例如輸入“打電話”、“白色面包車”、 “騎電瓶車未戴頭盔”、“自行車”、“小推車”、“小狗”等開放文字語義描述，即可搜索出相關目標。

搜索范圍廣，既支持人、機動車、非機動車等安防場景的高頻目標搜索 ，也廣泛支持特定物品、異常行為等特征搜索。

利用多模態大模型技術，提取圖像與擬搜索語言的特征，并將圖像特征與搜索語言中關鍵語義特征對齊，實現高精度搜索。

如能夠理解 “穿紅色衣服”、“黑色背包”、“戴帽子”、“拉桿箱”、“棍棒”等對目標的文字描述，精準搜索出相關目標。針對常見目標的檢索，TOP20命中率可達90%以上。（數據來自海康威視實驗室）

采用數據三級緩存、均衡抽樣、異步加載等創新技術，實現文本搜索結果的秒級顯示。

極簡操作，輕松搜索

除了手動輸入文本進行檢索外，貼合用戶常用情景，增設找人、找機動車、找非機動車、找寵物、找常用物品等快捷搜索入口，還支持用戶自定義編輯搜索慣語，讓操作更簡單，使用更便捷。

文搜存儲系列產品基于海康威視觀瀾大模型技術體系，實現智能化應用的變革。觀瀾大模型中的圖文多模態大模型，在大語言模型的基礎上，使用圖文多模態數據進行持續預訓練，獲得視覺感知和視覺認知能力。受益于圖文多模態大模型強大的感知能力和跨任務泛化能力，視覺智能業務的應用門檻被顯著降低。

文搜存儲系列產品是多模態大模型算法與嵌入式智能硬件結合的應用突破，通過面向平臺的模型設計、大小模型蒸餾、跨層混合精度量化等大模型部署技術與嵌入式智能硬件創新設計，實現多模態大模型在輕量化嵌入式硬件平臺上落地，讓多模態大模型技術實現普惠應用，使更多行業和用戶享受大模型帶來的智能與便捷。