原文链接：cloud.tencent.com/developer/a…

背景

最近萌生了一个想法，就是短视频给人传递信息的速度要远远超过枯燥无味的文字，而众所周知，短视频也是媒体人花费很多经历所创造出来的。

我猜想大概的过程是这样的：

• 选取一个好的题材
• 更具题材写一篇稿子
• 通过稿子里面的一些关键字来搜索一些和主题相关的图片素材，或者电影的片段。
• 然后基于以上内容，通过一些视频剪辑工具，将素材和稿子合并起来，然后在增加配音。

大概是上面这几个步骤就完成了一个短视频的输出，可能我上面描述的过于清爽，实际上，上面每一步都很浪费时间，这也就是出一个精品不容易的原因。

那么，有没有想过，如果有现在有一封题材比较好的稿子，能否直接通过稿子生成短视频呢？

当你看到这篇文章的时候，那不好意思，这个想法已经实现了：这里是GitHub仓库地址：github.com/bravekingzh…

原理

其实现原理可以大致的描述一下：

• 将文本进行分段，现在没有想到好的办法，就是通过标点符号句号分段，分成一个个的句子
• 通过句子生成图片，生成声音，图片开源的有很多，本方案采用 stable-diffusion，语言转文字使用 edge-tts
• 在通过 opencv 将图片合并为视频，目前输出 mp4 格式的视频，句子作为字母贴到视频内容的底部区域。
• 音频是一个有时间概念的东西，恰好可以通过音频控制一张画面的播放时长
• 在通过 ffmpeg 将音频合并到原始视频中。

最终，一个有画面，有字幕，有声音的视频就出现了，咱们实现了一个 文本转视频。

成果

这个工具可以将一段文本转换为视频，并保存到指定的本地，初衷是想实现小说的可视化视频阅读。

if __name__ == '__main__':
   text_test= '''
   一个风和日丽的早上，我骑着自行车去学校，在路上遇到了彩虹，当时我的心情非常的愉快。
'''
   convertTextToVideo(models[0], text_test)

复制

文本转视频后的效果可以查看 demos/demo.mp4

细节

文字生成图片

文字生成图片，发现中文生成图片的效果不是很理想，因为是使用开源社区的stable-diffusion 这些模型，我想如果接入百度的文心一言文字生成图片，也许效果会稍微好点，毕竟某度还是更加懂中文的。

def generateImage(model, prompt):
    body = {
        "inputs": translate_to_english(prompt)
    }
    r = requests.post("https://api-inference.huggingface.co/models/" + model,
                      data=json.dumps(body), headers=headers)
    # 将图片写入到 images 目录下，每个图片使用(时间戳+model).png 来命名
    timeStamp = str(int(time.time()))
    imagePath = "images/" + timeStamp + 
        "-" + model.split("/")[-1] + ".png"
    with open(imagePath, "wb") as f:
        f.write(r.content)
        f.close()
    voicePath = "voices/" + timeStamp + 
        "-" + model.split("/")[-1] + ".mp3"

复制

视频字幕

视频上字幕其实做了取巧，直接把文字贴在图片上，但是注意opencv 不太好处理中文字，对英文还算好，妥协之下还是选择了PIL库。注意字幕有长短，还有换行的处理，以及给字幕一些背景，因为，字幕颜色和图片相近，容易看不到字。以及怎么摆放。

 for image_file in image_files:
        if image_file.endswith(".png"):

            text_color = (255, 255, 255)  # 白色文字
            background = (0, 0, 0,128)  # 黑色背景半透明
            image_path = "images/" + image_file
            draw_text = sentences[image_files.index(image_file)]
            add_text_to_image(draw_text, image_path,
                              text_color, background, padding=10)
            image = cv2.imread(image_path)
            resized_image = cv2.resize(image, (frame_width, frame_height))
            output_video.write(resized_image)
            # 添加停顿帧
            duration = get_duration_from_vtt(
                f"voices/{find_file_name_without_extension(image_file)}.mp3.vtt")
            print(duration)
            for _ in range(int(duration * 30)):
                output_video.write(resized_image)

复制

添加音频

音频直接是一句子转声音，这个有很多库可以用，但是免费的还是edge-tts好用一些，效果会好一些，因此本项目采用edge-tts。

def convert_text_to_speech(text, output_file):
        # 指定输出目录
    output_directory = os.path.join(current_directory,"voices")
    # 创建输出目录（如果不存在）
    os.makedirs(output_directory, exist_ok=True)
    # 执行命令，并将工作目录设置为输出目录
    try:
        command = ['edge-tts', '--voice', 'zh-CN-XiaoyiNeural', '--text', text, '--write-media', output_file, '--write-subtitles', f'{output_file}.vtt']
        result = subprocess.run(command, cwd=current_directory, timeout=10)
        print(result)
        duration = get_duration_from_vtt(output_file + ".vtt")
        # 删除 无效音频 or 重新生成？
        if duration == 0.1:
            os.remove(output_file + ".vtt")
            os.remove(output_file)

    except subprocess.CalledProcessError as e:
        print("Command execution failed with return code:", e.returncode)
        print("Command output:", e.output)

复制

图片音频同步

图片如何和播放的声音同步，这是一个有趣的问题，我们知道图片和声音都是通过句子生成的，而声音天然就有时长这个属性，因此，在融入视频的时候，基于这个时长来做停顿帧就可以了。

  # 添加停顿帧
            duration = get_duration_from_vtt(
                f"voices/{find_file_name_without_extension(image_file)}.mp3.vtt")
            print(duration)
            for _ in range(int(duration * 30)):
                output_video.write(resized_image)