It achieves state-of-the-art performance on streaming benchmarks and supports a real-time demo system with ASR and TTS running at 2 FPS on two 80G accelerators
大多数人认为实时视频处理需要极高的计算资源和帧率才能有效,但作者仅用两块80G加速器就实现了2 FPS的实时系统,并达到了最先进的性能。这一结果挑战了高性能视频处理需要大量计算资源的共识,暗示通过优化算法和架构可以显著降低实时视频处理的计算门槛。