The Home of Dementia - AI Art and Human Experiences [en/spa]

Usually I write here my adventures with my AI, and sometimes, do creative writing. Today I come with something different, that I guess gonna please the other people around who is playing with VQGAN AI's.

I'm always looking for new tools to improve my AI artworks. In fact, not only tools, but articles about this AI, and also I look for another artworks made with VQGAN, and whatever thing related to this topic. There are tens of Google Colab Notebooks around, many are just modifications of another ones. Along this month I have found some very interesting, many were broken, sadly. But I have been fixing these little bugs in many of them, and adding some features from ones to the the others. It still a work in progress, but now they are totally functional, and I'm gonna share them with all of you.

There are four notebooks:

1. Enhanced Original VQGAN+CLIP Notebook

2. Mse regularized Modified VQGAN+CLIP Notebook

3. VQGAN+CLIP with Video Features Notebook

4. Real ESRGAN 4x Notebook

The first notebook, is the original one with some extra features. Custom directories, custom connection to Google Drive, some anti-disconnect features, and a clean finish that makes easy to use it.

About the second one, is a versión of the first one that gives more detailed, and cohesive results. What it does, to explain it in a simple way, is to decrease gradually the amount of randomness in each iteration. In around 200 iterations, the randomness becomes almost inexistent. This is good because as you know, with the regular notebooks (like the first one), the AI is in a rush to transform things. So many times, the AI ruins stuff we already liked, so we usually have to stop at 200-500 iterations. With this Notebook, you don't have to worry anymore, the stuff you got at the beginning gonna be preserved, and you can let it run thousands of iterations to get most detail as possible. In the other hand, you should consider the bad side of this. You're are cutting out the AI wings, as it is not gonna bring new things after 250 iterations. It still a WIP, and I would like to add several stuff, for example, a proper prompting menu.

The third one, gonna make happy many people around. At least, Castleberry for sure, as we have mentioned how cool would be get fixed this notebook. So it was no longer working but after fix some stuff is up again. You can make videos with zoom, rotation, and translation. I'd would like to make some improvements to it in a future.

And the last one, is an awesome upscaling AI. It gonna scale your images at four times its original size. You should consider that depending of which GPU you have got, it might run out of memory. It worked fine upscaling images from 500x500 pixels to 2000x2000. Higher than that, I ran out of memory.

And that's all for today, I'm about to mention everybody that have seen around playing with VQGAN, at the bottom of this section.

Normalmente escribo acerca de mis aventuras con mi IA, y a veces hago un poco de prosa. Pero hoy traigo algo distinto, que creo que va a complacer a la otra gente que veo por aquí jugando con VQGAN IA's.

Siempre estoy buscando nuevas herramientas para mejorar las obras que hago con la IA. De hecho, no sólo miro herramientas, también artículos acerca de esta IA, otras obras hechas con VQGAN, y cualquier cosa relacionada con este tema. Hay decenas de Google Colab Notebooks, y muchos son modificaciones de otros. A lo largo de este mes, he encontrado bastantes que son interesantes, pero la mayoría no funcionaban apropiadamente, o ni iban. Así que me he dedicado a ir arreglando estos pequeños fallos, y añadiendo algunas funcionalidades de unos a otros. Siguen quedando cosas que añadir y arreglar, pero ya son totalmente funcionales, y quiero compartirlos con todos vosotros.

Hay cuatro notebooks:

1. Enhanced Original VQGAN+CLIP Notebook

2. Mse regularized Modified VQGAN+CLIP Notebook

3. VQGAN+CLIP with Video Features Notebook

4. Real ESRGAN 4x Notebook

El primero, es el original con algunas funciones extra. Posibilidad de conectarse a Google Drive, directorios al gusto, una funcionalidad para evitar desconexiones, y un acabado limpio que hace más fácil usarlo.

Acerca del segundo, es una versión del primero que ofrece resultados mas detallados y cohesivos. Explicado de una forma simple, lo que hace es reducir progresivamente la aleatoriedad en cada iteración. En unas 200 iteraciones, la aleatoriedad es casi inexistente. Esto es bueno, por que como ya sabéis, con el típico notebook (como el primero), la IA está ansiosa de transformar cosas. Así que, a menudo" la IA estropea cosas que nos han gustado, y normalmente necesitamos pararla entre 200 y 500 iteraciones. Con este Notebook, se acabó preocuparse por ello, la imagen que se ha estado formando al principio, ya no cambiara de forma sustancial, así que puedes dejarla "cocinándose" miles de iteraciones para conseguir el máximo de detalle. De todas formas, hay que considerar el lado negativo de todo esto. Le estás cortando las alas, y no te traerá nada nuevo después de unas 250 iteraciones. Este notebook está todavía en proceso de construcción, y me gustaría añadirle unas cuantas cosas más, por ejemplo, un menú decente para el prompt.

El tercero hará feliz a bastante gente, creo. Al menos a Castleberry, ya que hemos mencionado alguna vez lo bueno que estaría conseguir reparar este notebook. No funcionaba pero después de algunos arreglos ya está en marcha otra vez. Se pueden hacer videos con zoom, rotación y translación. Me gustaría hacerle unas cuentas mejoras en un futuro.

Para acabar, el último es una IA para escalado que me ha dado buen resultado. Escala imágenes a cuatro veces su tamaño. Hay que tener en cuenta que, dependiendo de la GPU que te hayan asignado, podrías quedarte corto de memoria en la máquina. Me ha funcionado bien escalando imágenes de 500x500 pixels a 2000x2000. Con imágenes más grandes que estas, me quedé sin memoria y no fue posible escalarlas.

Y aquí acabo por hoy, voy a mencionar a todo el mundo que he visto jugando con VQGAN por aquí.

cc: @castleberry, @nikv, @dbddv01, @eve66, @lavista, and maybe @kitzune is interested as well.