“本文正在参加 人工智能创作者扶持计划 ”
欢迎关注我的公众号 [极智视界]，获取我的更多经验分享
大家好，我是极智视界，本文介绍 实战多模态视频检索，并提供完整项目工程源码。
本文介绍的实战多模态视频检索，提供完整的可以一键执行的项目工程源码，获取方式有两个：
(1) 本文工程项目资源下载，链接：download.csdn.net/download/we…
(2) 加入我的知识星球「极智视界」，星球内还有更多项目源码下载，链接：t.zsxq.com/0aiNxERDq
多模态文本-视频检索是指通过同时处理文本和视频数据，实现文本到视频的检索。这种技术在视频搜索、视频推荐等领域都有广泛的应用。
具体来说，多模态文本-视频检索的过程可以分为两个阶段。首先，我们需要将文本数据和视频数据转换成向量表示。在得到文本和视频的向量表示之后，我们可以使用一些相似度度量方法来计算它们之间的相似度。常用的相似度度量方法包括余弦相似度、欧几里得距离等等。通过计算文本和视频之间的相似度，我们可以实现文本到视频的检索。
多模态文本-视频检索的应用非常广泛。例如，在视频搜索领域，我们可以使用多模态文本-视频检索技术来实现基于文本的视频搜索。具体来说，我们可以让用户输入一个文本查询，然后使用多模态文本-视频检索技术来搜索与查询相关的视频。在视频推荐领域，我们可以使用多模态文本-视频检索技术来实现基于用户兴趣的视频推荐。具体来说，我们可以根据用户的历史行为和兴趣，生成一个文本查询，然后使用多模态文本-视频检索技术来推荐与查询相关的视频。
这里分享的一个实战项目就是多模态文本-视频检索，主要采用BLIP大模型的多模态能力，项目以
在视频中检测 “打架” 行为为示例进行展示，当然当你拿到项目工程后，你可以很方便的扩展到其他行为的识别检索，因为本身输入的检索文本和待检测视频是不限定的。
下面开始。
项目的整体目录架构如下：
在拿到项目工程后，首先需要搭建开发环境，然后就可以愉快的一键执行了。这里使用 Anaconda 进行 conda 环境的管理，安装 Anaconda 的过程略过。下面是项目执行的流程：
# 构建conda虚拟环境
conda create -n blip_py38 python=3.8.5
# 激活conda虚拟环境
conda activate blip_py38
# 安装依赖
pip install -i https://pypi.douban.com/simple -r requirements.txt
### 一键执行检测
./run_demo.sh
可在 demo.py 中对 question 和 读取的视频 进行配置，如下：
if __name__ == '__main__':
question = ['Are there any fighting?'] # question
input_path = './video' # video
save_path = "./res" # res
## run
video_search(input_path, save_path, question)
在 demo.py中还有一些超参可以根据自己的实际情况进行更改，比如跳帧帧率、输入图像的shape、推送过滤阈值、图像打成patch的大小等。
检测结果存放于 res 文件夹，以下是我对于一个在bili上随便下载的打架视频的检测结果展示：
可以看到效果还是挺好的。
好了，以上分享了 实战多模态文本-视频检索，包括完整的项目工程源码分享，希望我的分享能对你的学习有一点帮助。
【公众号传送】
畅享人工智能的科技魅力。邀请您加入我的知识星球，星球内有丰富的AI技术应用相关技术文章、资源、项目源码，涵盖人脸、检测、分割、多模态、自动驾驶、工业等实用、好玩的项目应用，一定会对你的学习有所帮助。t.zsxq.com/0aiNxERDq
