WhisperFusion

WhisperFusion官网链接地址：https://github.com/collabora/WhisperFusion

网站默认显示语言：英语

WhisperFusion 介绍

WhisperFusion是基于WhisperLive和WhisperSpeech功能的产品，通过集成Mistral大型语言模型（LLM）实现与AI的无缝对话。Whisper和LLM经过TensorRT引擎优化，提升性能和实时处理能力。WhisperSpeech使用torch.compile优化，产品定位于提供超低延迟的AI实时对话体验。

WhisperFusion用户群体

用户可以通过使用预构建的TensorRT-LLM Docker容器快速开始与WhisperFusion进行交互，也可以构建适用于不同cuda架构的docker镜像。

1. 在网站上与WhisperFusion的AI进行实时对话

2. 通过WhisperFusion的小程序进行语音转文字交互

3. 使用WhisperFusion插件在桌面客户端上进行实时语音识别

WhisperFusion的核心功能

• 实时语音转文字：利用OpenAI WhisperLive实现实时语音转文字。
• 大型语言模型集成：整合Mistral大型语言模型，增强对转录文本的理解和语境。
• TensorRT优化：LLM和Whisper均优化为TensorRT引擎，确保高性能和低延迟处理。
• torch.compile：WhisperSpeech使用torch.compile来加速推断，通过将PyTorch代码即时编译为优化内核，使PyTorch代码运行更快。