InstructIR：按照人类指令进行高质量图像恢复

你只需要使用文字描述就能修复和改善图片

比如说，如果你有一张因为雨滴而看起来模糊的照片，你可以告诉它：请去掉照片上的雨滴，但保持图片内容不变”，它就能自动帮你操作。

它能够处理包括去噪、去雨、去模糊、去雾以及（低光）图像增强等问题。

主要功能：接收图像和人类书面指令作为输入，根据这些指令对图像进行改善；支持多种图像恢复任务，包括去噪、去雨、去模糊、去雾和图像增强；实现了状态最先进的恢复效果，提供了高质量的图像输出。

工作原理：

InstructIR使用一个文本编码器将人类提供的自然语言指令转换为模型可以理解的向量表示。这些指令明确指导模型关注图像的哪些退化问题，并提供改善的方向。

全能图像恢复模型：采用NAFNet作为图像恢复的核心模型架构，它是一个高效且性能卓越的图像处理网络。NAFNet能够处理多种图像退化类型，为全方位图像恢复提供支持。

指令条件块（ICB）：InstructIR引入了ICB来实现任务特定的转换，根据文本编码器输出的指令向量，ICB能够调整图像模型的处理流程，使模型能够针对具体的退化类型进行专门的恢复处理。

多任务学习与任务路由：通过利用任务路由技术，InstructIR能够在单一模型中学习并执行多种图像恢复任务。模型根据输入的人类指令自动判断需要执行的任务类型，并采取相应的恢复策略。

项目地址：https://mv-lab.github.io/InstructIR/

GitHub：https://github.com/mv-lab/InstructIR/

在线演示：https://huggingface.co/spaces/marcosv/InstructIR