“本文正在参加 人工智能创作者扶持计划 ”
欢迎关注我的公众号 [极智视界],获取我的更多经验分享
大家好,我是极智视界,本文介绍 实战多模态视频检索,并提供完整项目工程源码。
本文介绍的实战多模态视频检索,提供完整的可以一键执行的项目工程源码,获取方式有两个:
(1) 本文工程项目资源下载,链接:download.csdn.net/download/we…
(2) 加入我的知识星球「极智视界」,星球内还有更多项目源码下载,链接:t.zsxq.com/0aiNxERDq
多模态文本-视频检索是指通过同时处理文本和视频数据,实现文本到视频的检索。这种技术在视频搜索、视频推荐等领域都有广泛的应用。
具体来说,多模态文本-视频检索的过程可以分为两个阶段。首先,我们需要将文本数据和视频数据转换成向量表示。在得到文本和视频的向量表示之后,我们可以使用一些相似度度量方法来计算它们之间的相似度。常用的相似度度量方法包括余弦相似度、欧几里得距离等等。通过计算文本和视频之间的相似度,我们可以实现文本到视频的检索。
多模态文本-视频检索的应用非常广泛。例如,在视频搜索领域,我们可以使用多模态文本-视频检索技术来实现基于文本的视频搜索。具体来说,我们可以让用户输入一个文本查询,然后使用多模态文本-视频检索技术来搜索与查询相关的视频。在视频推荐领域,我们可以使用多模态文本-视频检索技术来实现基于用户兴趣的视频推荐。具体来说,我们可以根据用户的历史行为和兴趣,生成一个文本查询,然后使用多模态文本-视频检索技术来推荐与查询相关的视频。
这里分享的一个实战项目就是多模态文本-视频检索,主要采用BLIP大模型的多模态能力,项目以
在视频中检测 “打架” 行为为示例进行展示,当然当你拿到项目工程后,你可以很方便的扩展到其他行为的识别检索,因为本身输入的检索文本和待检测视频是不限定的。
下面开始。
项目的整体目录架构如下:
在拿到项目工程后,首先需要搭建开发环境,然后就可以愉快的一键执行了。这里使用 Anaconda 进行 conda 环境的管理,安装 Anaconda 的过程略过。下面是项目执行的流程:
# 构建conda虚拟环境
conda create -n blip_py38 python=3.8.5
# 激活conda虚拟环境
conda activate blip_py38
# 安装依赖
pip install -i https://pypi.douban.com/simple -r requirements.txt
### 一键执行检测
./run_demo.sh
可在 demo.py
中对 question 和 读取的视频 进行配置,如下:
if __name__ == '__main__':
question = ['Are there any fighting?'] # question
input_path = './video' # video
save_path = "./res" # res
## run
video_search(input_path, save_path, question)
在 demo.py
中还有一些超参可以根据自己的实际情况进行更改,比如跳帧帧率、输入图像的shape、推送过滤阈值、图像打成patch的大小等。
检测结果存放于 res
文件夹,以下是我对于一个在bili上随便下载的打架视频的检测结果展示:
可以看到效果还是挺好的。
好了,以上分享了 实战多模态文本-视频检索,包括完整的项目工程源码分享,希望我的分享能对你的学习有一点帮助。
【公众号传送】
畅享人工智能的科技魅力。邀请您加入我的知识星球,星球内有丰富的AI技术应用相关技术文章、资源、项目源码,涵盖人脸、检测、分割、多模态、自动驾驶、工业等实用、好玩的项目应用,一定会对你的学习有所帮助。t.zsxq.com/0aiNxERDq