NVIDIA AI Blueprint: 视频搜索与摘要 (VSS)

目录

• 概述
• 用例 / 问题描述
• 智能体工作流
• 软件组件
• 目标受众
• 仓库结构概览
• 文档
• 先决条件
• 硬件要求
• 快速入门指南
• 许可证

概述

NVIDIA 视频搜索与摘要 (VSS) Blueprint 提供了一套参考架构，用于构建视觉智能体 (Vision Agents) 和基于 AI 的视频分析应用。这些架构整合了加速视觉微服务、视觉语言模型 (VLM) 和大语言模型 (LLM)，使您可以将其集成到现有应用中，作为独立微服务运行，或作为大型视觉智能体的组成部分使用。

VSS 分为三个处理和分析领域：实时视频智能（特征提取、嵌入，以及发布结果到消息代理的流式理解）、下游分析（将元数据富集为轨迹、事件和已验证警报）以及 智能体与离线处理（用于搜索、问答、摘要和片段检索的编排工具，包括通过 Model Context Protocol 实现的功能）。

本仓库实现了该蓝图，并支持 NVIDIA build 体验，用于实现由生成式 AI、VLM、LLM 以及下述堆栈中配置的 NVIDIA NIM 微服务所驱动的自然语言视频智能体功能（搜索、摘要、视觉问答及相关工作流）。

用例 / 问题描述

NVIDIA 视频搜索与摘要 AI Blueprint 旨在解决部署视觉智能体的挑战，使其能够与海量存储或流式视频数据进行交互。该方案可用于创建视觉 AI 智能体，广泛应用于智能空间监控、仓库自动化和标准作业程序 (SOP) 验证等多种场景。在这些领域，快速且准确的视频分析对于优化决策制定和提升运营效率至关重要。

智能体工作流

我们提供了多个参考 智能体工作流 (Agent Workflows)，展示了智能体如何利用各个组件：

工作流	描述
问答与报告生成 (快速入门)	对短视频片段进行视频检索、基于 VLM 的问答以及报告生成
警报验证	使用感知（对象检测、跟踪）和行为分析实时处理视频以生成警报，随后通过 VLM 验证以减少误报
实时警报	通过 VLM 对视频流进行持续处理，以实现异常检测
视频搜索	使用视频嵌入 (alpha) 对视频存档进行自然语言搜索
长视频摘要	通过分块和稠密字幕聚合，对长时视频录像进行分析和摘要

软件组件

1. NIM 微服务: 此蓝图中使用的模型包括：

   • Cosmos-Reason2-8B
   • NVIDIA Nemotron-Nano-9B-v2

2. 实时视频智能: 实时视频智能层可从视频数据中实时提取丰富的视觉特征、语义嵌入和上下文理解，并将结果发布到消息代理，供下游分析和智能体工作流使用。它提供了三个核心微服务用于视频流处理。

3. 下游分析: 下游分析层处理并富集由实时视频智能微服务生成的元数据流，将原始检测结果转化为可执行的洞察和已验证的警报。

4. 智能体与离线处理: 顶层智能体利用模型上下文协议 (Model Context Protocol, MCP) 通过统一的工具接口访问视频分析数据、事件记录和视觉处理能力。它集成了多种基于视觉的工具，包括：使用视觉语言模型 (VLM) 进行视频理解、使用嵌入进行语义视频搜索、针对长时录像分析的长视频摘要，以及视频快照/片段检索。

目标受众

本蓝图专为易于设置而设计，具有扩展性。