Hybrides Frequenzmodulationsnetzwerk für die Bildrestauration

Bildrestauration umfasst die Wiederherstellung eines hochwertigen Bildes aus seiner korrumpierten Version. Dieses Papier präsentiert ein effektives und effizientes Framework für die Bildrestauration, genannt CSNet, basierend auf „Kanal + Raum“ hybrider Frequenzmodulation. Verschiedene Merkmalskanäle enthalten unterschiedliche Degradationsmuster und -grade, jedoch ignorieren die meisten aktuellen Netzwerke die Bedeutung der Kanalinteraktionen. Um dieses Problem zu lindern, schlagen wir ein frequenzbasiertes Modulationsmodul für Kanalmerkmale vor, das Kanalinteraktionen durch die Fourier-Transformation in Kanaldimension erleichtert. Darüber hinaus entwickeln wir basierend auf unseren Beobachtungen ein mehrstufiges, frequenzbasiertes räumliches Merkmalmodulationsmodul, um die Gleichstromkomponente der Merkmale mit äußerst leichten lernbaren Parametern zu verfeinern. Dieses Modul beinhaltet ein dicht verbundenes, grob-zu-fein Lernparadigma zur Verbesserung des mehrstufigen Repräsentationslernens. Zusätzlich führen wir eine frequencies-inspirierte Verlustfunktion ein, um omni-frequentes Lernen zu ermöglichen. Umfangreiche Experimente auf neun Datensätzen zeigen, dass das vorgeschlagene Netzwerk den Stand der Technik für drei Bildrestaurationsaufgaben erreicht, einschließlich Bildentnebelung, Bilddefokus-Entschärfung und Bildentschneien. Der Code und die Modelle sind verfügbar unter https://github.com/c-yn/CSNet.