Recientemente, se ha incrementado el interés en los modelos de difusión debido a su destacada capacidad generativa, especialmente en la generación de imágenes. Estos modelos operan sobre una distribución implícita derivada del conjunto de datos de entrenamiento, transformando ruido aleatorio en datos ajustados mediante un proceso inverso que puede describirse como un desnoisado gradual.
Un modelo lineal simple de difusión se utiliza para explorar cómo se generan las correlaciones, relacionando el desnoisado óptimo mediante proyección PCA con el modelo de covarianza picosa. La relación entre el nivel de ruido y la cantidad de datos de entrenamiento es cuantificada analíticamente, observando cómo las frecuencias bajas emergen primero en el proceso generativo y son más alineadas al dato verdadero conforme avanza la generación basada en sus valores propios.
Específicamente, se demuestra que el modelo de difusión lineal converge en promedio al vector propio principal de los datos subyacentes, similar al método de iteración de poder. A través de simulaciones numéricas, se evidencia que las frecuencias bajas emergen antes en el proceso generativo, sugiriendo que el modelo actúa como una “máquina de correlación” donde se ajusta continuamente el ruido aleatorio al entorno de la distribución de datos.
Los experimentos muestran que al aplicar desnoisadores basados en PCA, la correlación de los vectores de base ruidosos con sus versiones limpias decae conforme aumenta el nivel de ruido, determinado por los valores propios y el tamaño del conjunto de datos. Además, se extiende empíricamente este resultado a desnoisadores profundos no lineales, donde los Jacobianos operan de manera similar al caso lineal en las últimas etapas de generación de imagen.
La constancia del modelo de difusión lineal en su convergencia a la iteración de poder sugiere que al aumentar la cantidad de datos de entrenamiento, se logra una mejor aproximación de la distribución de datos original, resaltando la importancia de los desnoisadores en el proceso generativo. Asimismo, se destaca que las frecuencias bajas, correspondientes a grandes valores propios, emergen más pronto en el proceso inverso.
Con estos hallazgos, queda demostrado que el poder iterativo de correlación asegura la convergencia a estimaciones más precisas de las componentes principales del dataset natural, apoyando la aplicabilidad de nuestro análisis en un contexto más amplio, más allá del caso lineal simplificado. En conclusión, el progreso de la investigación sobre modelos de difusión avanza al interconectar métodos prevalentes como la iteración de poder con bases teóricas ricas, lo que promete una mejor comprensión y optimización de sus aplicaciones en el mundo real.