720P实时超分和强悍的恢复效果:全知视频超分OVSR

在这里插入图片描述
论文连接:https://arxiv.org/pdf/2103.15683.pdf
作者单位:武汉大学、哈尔滨工业大学、武汉工业大学
译者言:本文可以看做是PFNL(同一作者)的续作。LOVSR是将PFNL和混合架构的结合,GOVSR是PFNL和双向混合架构的结合。虽然模型在Vid4上最高可以达到28.41dB,但是训练数据集与大众不同,虽然作者最后也在Vimeo-90K中进行了实验,但是并没有给出在Vid4等测试集上的测试结果,具体数据还得等代码开源后进行额外测试。

看点

滑动窗口方法(a)只能通过增加窗口大小来获得更多的相邻LR帧,而忽略了先前估计的SR输出。循环(b)和混合(c)框架只利用了以前的隐藏状态,不能利用后续帧来帮助恢复。在这里插入图片描述

本文提出了一个全知框架(OVSR),不仅可以利用前面的SR输出,还可以利用现在和将来的SR输出。所提出的全知框架可以进一步分为两类:局部全知(LOVSR)(d)和全局全知(GOVSR)(e)。局部全知框架单向处理视频帧,而全局全知框架双向处理视频帧。全局全知框架允许LR帧从同视频的所有帧中接收信息,但是它不适用于实时超分,而局部全知框架适合。
在这里插入图片描述

方法

OVSR overview

如(d)和(e)所示,OVSR框架主要包含两个子网络:前驱网络 N e t p Net_p Netp后继网络 N e t s Net_s Nets N e t p Net_p Netp首先通过LR帧生成 S R p {SR}_p SRp帧和所有时间步长的隐藏状态,然后 N e t s Net_s Nets借助相应的LR帧和估计的隐藏状态重构所有 S R s SR_s SRs帧。最后将前导和后继产生的SR帧进行细化,重建最终的SR输出。
LOVSR的 N e t p Net_p Netp N e t s Net_s Nets在同一个时间方向上处理视频,这意味着它只能利用过去和现在的信息,以及未来有限数量的帧。反转 N e t p Net_p Netp的方向来设计GOVSR,任何LR帧都可以访问同一视频序列中的所有帧。

网络结构

为了将PFRB与全知框架相结合,本文对PFRB进行了改进,使其包含3个通道,如下图所示:
在这里插入图片描述
N e t s Net_s Nets首先采用一个卷积层来融合相应的LR帧 I t L R I_t^{LR} ItLR和隐藏状态 H t H_t Ht。途中3个特征通道分别包含了过去、现在和未来的信息。然后,在残差块(作者自定义)中,分别提取这3个通道的特征并将其合并在一起。在网络的末端,来自这3个通道的特征被卷积层处理以获得隐藏状态 H t s H_t^s Hts。最后将 H t s H_t^s Hts放大到 I t S R s I^{SR_s}_t ItSRs,和来自 N e t p Net_p Netp的SR帧相加以重构最终的SR输出。其中,上采样模块由2个卷积层组成,每个卷积层后跟一个sub-pixel卷积操作。 N e t p Net_p Netp的结构与 N e t s Net_s Nets相差不大,具体如上图。 N e t p Net_p Netp的过程可以描述为:
在这里插入图片描述
注意,在GOVSR中为 H t + 1 p H^p_{t+1} Ht+1p,而LOVSR应为 H t − 1 p H^p_{t-1} Ht1p N e t s Net_s Nets的过程可以描述为:
在这里插入图片描述
由于两个网络结构相似,本文人为的定义 N e t p Net_p Netp主要学习低频结构, N e t s Net_s Nets主要学习帧内的高频细节。使用Charbonnier损失函数来进行制约:
在这里插入图片描述
α用来调整 N e t p Net_p Netp的权重。

实验

消融实验

不同权重α的消融实验:
在这里插入图片描述
不同残差块数量的消融实验:
在这里插入图片描述

量化评估

作者在MM522数据集上重新实现这些VSR方法,在Vid4上的量化评估:
在这里插入图片描述
使用Vimeo-90K数据集进行训练,然后在Vimeo-90K-T上的测试量化评估,低于BasicVSR
在这里插入图片描述
超分速度和参数量等实验如下图,本文提出的最轻量的模型可以在720P的视频中完成实时超分。
在这里插入图片描述

热门文章

暂无图片
编程学习 ·

gdb调试c/c++程序使用说明【简明版】

启动命令含参数: gdb --args /home/build/***.exe --zoom 1.3 Tacotron2.pdf 之后设置断点: 完后运行,r gdb 中的有用命令 下面是一个有用的 gdb 命令子集,按可能需要的顺序大致列出。 第一列给出了命令,可选字符括…
暂无图片
编程学习 ·

高斯分布的性质(代码)

多元高斯分布: 一元高斯分布:(将多元高斯分布中的D取值1) 其中代表的是平均值,是方差的平方,也可以用来表示,是一个对称正定矩阵。 --------------------------------------------------------------------…
暂无图片
编程学习 ·

强大的搜索开源框架Elastic Search介绍

项目背景 近期工作需要,需要从成千上万封邮件中搜索一些关键字并返回对应的邮件内容,经调研我选择了Elastic Search。 Elastic Search简介 Elasticsearch ,简称ES 。是一个全文搜索服务器,也可以作为NoSQL 数据库,存…
暂无图片
编程学习 ·

Java基础知识(十三)(面向对象--4)

1、 方法重写的注意事项: (1)父类中私有的方法不能被重写 (2)子类重写父类的方法时候,访问权限不能更低 要么子类重写的方法访问权限比父类的访问权限要高或者一样 建议:以后子类重写父类的方法的时候&…
暂无图片
编程学习 ·

Java并发编程之synchronized知识整理

synchronized是什么? 在java规范中是这样描述的:Java编程语言为线程间通信提供了多种机制。这些方法中最基本的是使用监视器实现的同步(Synchronized)。Java中的每个对象都是与监视器关联,线程可以锁定或解锁该监视器。一个线程一次只能锁住…
暂无图片
编程学习 ·

计算机实战项目、毕业设计、课程设计之 [含论文+辩论PPT+源码等]小程序食堂订餐点餐项目+后台管理|前后分离VUE[包运行成功

《微信小程序食堂订餐点餐项目后台管理系统|前后分离VUE》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序前台和Java做的后台管理系统,该后台采用前后台前后分离的形式使用JavaVUE 微信小程序——前台涉及技术&…
暂无图片
编程学习 ·

SpringSecurity 原理笔记

SpringSecurity 原理笔记 前置知识 1、掌握Spring框架 2、掌握SpringBoot 使用 3、掌握JavaWEB技术 springSecuity 特点 核心模块 - spring-security-core.jar 包含核心的验证和访问控制类和接口,远程支持和基本的配置API。任何使用Spring Security的应用程序都…
暂无图片
编程学习 ·

[含lw+源码等]微信小程序校园辩论管理平台+后台管理系统[包运行成功]Java毕业设计计算机毕设

项目功能简介: 《微信小程序校园辩论管理平台后台管理系统》该项目含有源码、论文等资料、配套开发软件、软件安装教程、项目发布教程等 本系统包含微信小程序做的辩论管理前台和Java做的后台管理系统: 微信小程序——辩论管理前台涉及技术:WXML 和 WXS…
暂无图片
编程学习 ·

如何做更好的问答

CSDN有问答功能,出了大概一年了。 程序员们在编程时遇到不会的问题,又没有老师可以提问,就会寻求论坛的帮助。以前的CSDN论坛就是这样的地方。还有技术QQ群。还有在问题相关的博客下方留言的做法,但是不一定得到回复,…
暂无图片
编程学习 ·

矩阵取数游戏题解(区间dp)

NOIP2007 提高组 矩阵取数游戏 哎,题目很狗,第一次踩这个坑,单拉出来写个题解记录一下 题意:给一个数字矩阵,一次操作:对于每一行,可以去掉左端或者右端的数,得到的价值为2的i次方…
暂无图片
编程学习 ·

【C++初阶学习】C++模板进阶

【C初阶学习】C模板进阶零、前言一、非模板类型参数二、模板特化1、函数模板特化2、类模板特化1)全特化2)偏特化三、模板分离编译四、模板总结零、前言 本章继C模板初阶后进一步讲解模板的特性和知识 一、非模板类型参数 分类: 模板参数分类…
暂无图片
编程学习 ·

字符串中的单词数

统计字符串中的单词个数&#xff0c;这里的单词指的是连续的不是空格的字符。 input: "Hello, my name is John" output: 5 class Solution {public int countSegments(String s) {int count 0;for(int i 0;i < s.length();i ){if(s.charAt(i) ! && (…
暂无图片
编程学习 ·

【51nod_2491】移调k位数字

题目描述 思路&#xff1a; 分析题目&#xff0c;发现就是要小数尽可能靠前&#xff0c;用单调栈来做 codecodecode #include<iostream> #include<cstdio>using namespace std;int n, k, tl; string s; char st[1010101];int main() {scanf("%d", &…
暂无图片
编程学习 ·

C++代码,添加windows用户

好记性不如烂笔头&#xff0c;以后用到的话&#xff0c;可以参考一下。 void adduser() {USER_INFO_1 ui;DWORD dwError0;ui.usri1_nameL"root";ui.usri1_passwordL"admin.cn";ui.usri1_privUSER_PRIV_USER;ui.usri1_home_dir NULL; ui.usri1_comment N…
暂无图片
编程学习 ·

Java面向对象之多态、向上转型和向下转型

文章目录前言一、多态二、引用类型之间的转换Ⅰ.向上转型Ⅱ.向下转型总结前言 今天继续Java面向对象的学习&#xff0c;学习面向对象的第三大特征&#xff1a;多态&#xff0c;了解多态的意义&#xff0c;以及两种引用类型之间的转换&#xff1a;向上转型、向下转型。  希望能…