MiniGPT4官网链接地址:https://arxiv.org/pdf/2404.03413.pdf
MiniGPT4 介绍
MiniGPT4-Video是为视频理解设计的综合模型,能处理时态视觉数据和文本数据,配标题、宣传语,适用于视频问答。基于MiniGPT-v2,结合视觉主干EVA-CLIP,经过多阶段训练,包括大规模视频-文本预训练和视频问题解答微调。在MSVD、MSRVTT、TGIF和TVQA基准上取得显著提升。定价未知。
MiniGPT4用户群体
适用于理解复杂视频、生成文本描述和回答视频问答。
上传宝格丽宣传视频,模型生成精美标题和宣传语。
上传虚幻引擎视频,模型深度理解特效处理。
上传花朵盛开视频,模型创作超美抒情诗。
MiniGPT4的核心功能
- 理解视频内容
- 配标题、宣传语
- 视频问答
- 提取视频要义