Calibración, flats y apilado en PI

[Fgomezm]

Comparto las respuestas que amablemente me envió Ignaciodb a través de MPs.

A su sugerencia dejaré el tema abierto para así compartirlo con otros foreros

"Enviado: Dom Nov 03, 2013 12:09 pm

por ignacio_db

Hola Fernando, veo que estas haciendo buen progreso.

Tema flats: son muuuy importantes, no solo para sacar el viñeteo y las motas de povlo, sino también para eliminar la variaciones de sensibilidad de los pixels, que terminan pareciendo ruido peinado en las dslr. La clave para sacar buenos flats es buscar una fuente uniforme de luz (en el espacio y en el espectro), y hacer una exposición correcta (llenar los pixel wells a la mitad en promedio, por ej., en una cámara de 14 bits debes medir 131000 ADUs aprox. en cada canal).

Me da la impresión que una sola capa de difusión no alcanza para uniformar la luz. Te recomiendo agregarle otra separada unos 10 cm o más.

En cuanto al espectro, fijate como la cámara ve la luz led a través del telescopio. Si tiene mucho color (sin balance de blancos, y con los canales RGB todos en 1), es un problema, porque los pixel de un color se van a llenar más que otros. Hasta un 20% de diferencia entre canales se banca, pero más empieza a ser un problema. Yo uso la pantalla de mi laptop como fuente de luz, donde despliego una imagen de color plano ajustada para que me de "blanco" desde mi cámara. (Las cámaras modificadas por lo general viran al rojo).

Probá de neutralizar el master flat que tenes, utilizando el soft fitswork que es gratis. Tiene una función exactamente para ésto.

Flexión diferencial: no te preocupes, mi setup es exactamente igual, ya que las anillas del guía le quedan grandes al telefoto que uso, por lo que complementé con goma de alta densidad, en exceso, y ajusto con todo las anillas (con tornillos). Así más o menos funciona pero no es ideal. Inclusive la felpa en al anillas del telescopio principal es un problema en éste sentido. Lo ideal es montar el teles guía directo a la OTA (y no a sus anillas), o mejor aún, al draw tube del focuser. Si no, guiar off-axis, aunque tiene otras complicaciones.

Por último, no tengo problema en contestar consultas en privado, pero salvo que sean muuuy especiales, lo mejor me parece canalizar éstas por el foro. No solo porque otros te puedan aportar mejores ideas o soluciones, si no también porque las respuestas quedan disponibles para toda la comunidad.

Pensalo, y si te parece, hace un copy/paste de éste intercambio en el foro, y la seguimos por ahí.

abz

Ignacio

Re: Calibración y apilado con PI

Enviado: Dom Nov 03, 2013 11:39 am

por Fgomezm

Las imágenes corresponden al Master Flat, a una calibración sin Flat y a un calibración con Flat

Calibración y apilado con PI

Enviado: Dom Nov 03, 2013 11:36 am

por Fgomezm

Ignacio:

Ayer sábado estuve literalmente “todo el día” trabajando con la calibración y alineación con el Pixinsight y entre otras cosas, comprendí tus consejos de eliminar los “outliers” con las herramientas estadísticas de Pixel rejections.

También tengo bastante armada una biblioteca de darks a diferentes temperaturas y un master bias con 30 tomas.

Como dijo una vez Bertrand Rusell “Una no sabe en el grado de incertidumbre que vive hasta que trata de hacer algo preciso”

Con los darks y bias anduve bastante bien ,así como en la secuencia que hay que seguir con el Pixinsight. Descargué un tutorial que habían recomendado en el foro de Espacio Profundo y puse manos a la obra.

El gran problema con el que me tope fueron los flats. Cuando los aplicaba me distorsionaban tremendamente la imagen. Aparecía un halo azulado sobre los bordes y el centro rojo. Además se colaban unos artefactos raros que supongo correspondían al lugar donde estaban las motas de polvo del sensor.

Adjunto unas imágenes.

Luego de mucho batallar creo haberme dado cuenta que el problema era como tenía seteado los tiempos de exposición de los flats en el Maxim Dl .

Entonces busque una prueba que había hecho con el APT y encontré unos flats que había tomado seteando la cámara en prioridad de apertura AV y dejando que ella calculara automáticamente el tiempo de exposición.

Con estos flats el asunto mejoró mucho pero lamentablemente no tengo casi ningún flat sacado así.

Como yo automatizo la secuencia de captura con el Maxim DL y este programa pide que se ingrese un tiempo de exposición para los flats, yo había probado varias combinaciones y finalmente me había quedado con un juego de valores que andaban bien con mis configuraciones de telescopios.

Aparentemente esto no es así y tendré que esperar a hacer un nuevo juego completo de capturas de lights y flats para seguir probando.

Si tienes alguna recomendación para la toma de los flats te la agradezco mucho ya que me gustaría tener tus consejos. Yo utilizo una caja iluminada casera con un 6 leds blancos dentro y una placa difusora por delante.

Respecto al comentario sobre la flexión diferencial es otro tema que tengo que mejorar y mucho.

En la foto de la nebulosa Mistral, donde aquellos hot pixeles delataban el problema, se ve claro que al final de la sesión el tubo guía se tomó una moto y se fue lejos.

También noté esto durante la alineación porque el PI muestra valores de ajustes dx y dy crecientes entre tomas consecutivas.

Mecánicamente yo tengo todo bastante rígido pero creo que el problema puede radicar en que hace un tiempo cambié las anillas de 3 tornillos para el tubo guía por unas anillas de acople rápido que son dos semicircunferencias abisagradas. Como el diámetro del tubo guía (yo uso un refractor APO Meade de 80mm, que pesa sus buen kilito) era un poco menor que el de las anillas, se me ocurrió la brillante idea de complementar la holgura con bandas de goma.

Esto elimina las vibraciones pero debe ser pésimo para la flexión diferencial porque la goma se debe ir comprimiendo hacia el lado que empuja la gravedad. Voy a hacerme una pieza en plástico rígido para sustituir la goma.

Aún con buen guiado hay ocasiones en que a las largas focales de 2000mm las estrellas me aparecen ovaladas Podría ser la flexión diferencial la causa de ello?

Tengo más dudas que certezas, pero eso es un buen síntoma

Gracias por tu tiempo.

Fernando"

[ricardo]

Buenisima data, a ignacio hay que exprimirlo porque la tiene atada. Lo unico que me quedo picando fue el siguiente parrafo

La clave para sacar buenos flats es buscar una fuente uniforme de luz (en el espacio y en el espectro), y hacer una exposición correcta (llenar los pixel wells a la mitad en promedio, por ej., en una cámara de 14 bits debes medir 131000 ADUs aprox. en cada canal).

Deben ser 13100 ADU, porque sino las cuentas no me dan para 14 bits.

Saludos y buenos cielos!

[Fgomezm]

Me quedaron claros los consejos para los flats.

Los leds blancos emiten en azul y logran la luz blanca a partir de un fósforo especial que tienen depositado sobre el chip. Su espectro es muy fuerte en el azul y eso tiñe la luz de mi caja de flats. Cambiaré las luces leds por algunas lamparitas incandescentes de 12V que tienen un espectro continuo.

También descargué el fitworks y ya hice la neutralización del flat.

Respecto a la cuenta en ADUs no me doy cuenta como recabarla. En el cabezal EXIF no aparece y supongo que la podría ver con la función Statistics del PI pero no interpreto los datos.

Como sea, hoy terminé de procesar mi primer imágen en Pixinsight desde las tomas individuales hasta el final.

O sea hice el preprocesado (calibración, alineación, apilado) y el procesado.

Se trata de la zona de Alfa Crux y son 5 lights de 3 min cada uno tomados, hace unos meses atrás, desde el fondo de casa con el Refractor Meade de 80mm f/6.

Las distorsiones de las estrellas en los bordes son debidas a la fuerte distorsión de curvatura que presenta este telescopio.

Fernando

[esteki]

Yo uso la pantalla de mi laptop como fuente de luz, donde despliego una imagen de color plano ajustada para que me de "blanco" desde mi cámara. (Las cámaras modificadas por lo general viran al rojo).

Probá de neutralizar el master flat que tenes, utilizando el soft fitswork que es gratis. Tiene una función exactamente para ésto.

Una duda con respecto a esto, si la cámara está modificada, para hacer flats hay que calibrar el blanco en la cámara o en la imágen que emite la pantalla de la notebook?. O sea que si proyecto por pantalla un fondo blanco y poniendo una tela blanca en el tubo no es correcto el flat? (sin tocar nada en la cámara)

Gracias desde ya

[Fgomezm]

Yo uso la pantalla de mi laptop como fuente de luz, donde despliego una imagen de color plano ajustada para que me de "blanco" desde mi cámara. (Las cámaras modificadas por lo general viran al rojo).

Probá de neutralizar el master flat que tenes, utilizando el soft fitswork que es gratis. Tiene una función exactamente para ésto.

Una duda con respecto a esto, si la cámara está modificada, para hacer flats hay que calibrar el blanco en la cámara o en la imágen que emite la pantalla de la notebook?. O sea que si proyecto por pantalla un fondo blanco y poniendo una tela blanca en el tubo no es correcto el flat? (sin tocar nada en la cámara)

Gracias desde ya

En este tema hay que tener en cuenta dos cosas

A-La tonalidad (incluyendo consideraciones de espectro) de la luz utilizada para el flat

B-La curva de respuesta de la cámara.

A Si utilizas una pantalla de computadora como esta tiene elementos triestímulo puede reproducir cualquier color del espectro combinando los niveles de los canales rojo, azul y verde.

De esa forma reproduce el blanco y por lo general se estipula el valor de la temperatura de color equivalente de ese blanco del monitor.

Si se utiliza una caja iluminada con leds blancos, como es mi caso, entonces esto cambia un poco. Este tipo de Leds en realidad son azules y es mediante una capa de fósforo por delante del chip que se corrige el espectro de frecuencias de forma de tener una curva parecida a la de la luz blanca.

La componente azul siempre es muy fuerte y termina tiñendo la luz de azul.

Lo mejor sería utilizar una lámpara incandescente que tiene un espectro continuo, aunque está un poco más sobrecargado sobre los rojos que sobre los azules.

B- Suponiendo que hayamos sorteado bien el problema del espectro de la luz blanca ahora hay que tener algo más en consideración si la cámara esta modificada.

La sustitución del filtro IR de la cámara lleva asociado un incremento de la respuesta en los rojos.

Por lo tanto si fotografiamos una pantalla blanca la imagen obtenida no será blanca sino algo rojiza.

De hecho luego de la modificación de las Canon el balance automático de blancos quede inoperante y es necesario (para fotografia diurna) realizar el balance de blancos en forma manual. Si no se corrige las fotos diurnas quedan todas teñidas

Pero volviendo al problema de los flats para fotografía astronómica las soluciones pueden ser dos

1- Generar en la pantalla de la computadora un “blanco ficticio” tal que cuando es fotografiado con la cámara modificada la imagen final del flat sea blanca.

Ese es método que entendí utilizaba Ignacio_db

Ese “blanco ficticio” debería tener algo menos de rojo que el habitual y por lo tanto sería un luz virando hacia el cyan.

(Ahora si con una cámara con respuesta incrementada en los rojos fotografiamos luz de leds blancos, que tienen un componente azul fuerte, entonces la situación se autocompensaría parcialmente y se obtendría un flat virando, en menor proporción, hacia el magenta)

2-La otra posibilidad es fotografiar con la cámara modificada directamente una luz blanca (por ej. un blanco en la pantalla de la computadora) y luego corregir por software.

El Maxim DL, en sus rutinas de calibrado, tiene prevista esta corrección pero el Pixinsight no.

La sugerencia de Ignacio_db es en este caso corregir el flat con una función específica del programa Fitswork. Es muy sencillo de hacer y el flat queda completamente neutro.

[ignacio_db]

Buenisima data, a ignacio hay que exprimirlo porque la tiene atada. Lo unico que me quedo picando fue el siguiente parrafo

La clave para sacar buenos flats es buscar una fuente uniforme de luz (en el espacio y en el espectro), y hacer una exposición correcta (llenar los pixel wells a la mitad en promedio, por ej., en una cámara de 14 bits debes medir 131000 ADUs aprox. en cada canal).

Deben ser 13100 ADU, porque sino las cuentas no me dan para 14 bits.

Saludos y buenos cielos!

jajaja no se en que estaba pensando, el número correcto es la mitad del rango en cada canal. Para 14bits, el rango de ADUs es 16384, por lo tanto tenemos que tratar de estar en la mitad de ese valor, cerca de 8192.

En rigor, lo ideal, es llenar el pixel full-well a la mitad, por lo que entra en juego la ganancia e-/ADU de la cámara. Lo que estamos buscando es tomar los flats en la zona "más" lineal del sensor, con la mejor S/R y el mejor rango dinámico, parejo en los tres canales. Esto último no solo para no colorear los lights cuando son divididos por el master flat, sino también para que el ruido que introduce la calibración sea parejo en los tres canales.

Para medir el nivel de ADUs en PI, abrimos un flat frame crudo (cr2) en PI, con el formato setteado en CFA monocromo (sin debayerizar), sin ajustar el punto zero y con los ajustes de balance de blancos desactivados y los tres canales con peso 1 (igual que cuando procesamos crudos cr2). Abrimos el módulo Image>Statistics, y lo setteamos con rango de 16-bits (esto no tiene que ver con los bits de la cámara, sino con el formato cr2 en sí). Ahora el valor promedio o la mediana nos da el número que buscamos. Si la dslr es de 12 bits, el número debe rondar las 2000 cuentas, si es the 14 bits, debe andar cerca de 8000.

Con respecto al balance de blancos cuando se toman los flats, en realidad no importa, ya que si hacemos las cosas correctamente, trabajamos con las cuentas crudas de cada canal (datos crudos) que son independiente de cómo ponderamos cada canal para representar color. Si importa el espectro emisor de la fuente de luz que utilicemos y la sensibilidad espectral de la cámara a través del tren óptico, para llenar parejo los pixels de cada color.

abz

Ignacio

[esteki]

O sea que si tengo una dslr por más que tenga un filtro IR sustituido (baader) y los flats tomados como sugieren muchos (pantalla de notebook blanca con tela blanca en tubo) en modo av, no me preocupo entonces porque salgan algo virados al rojo?. Recientemente modifiqué mi canon y sabía que para fotos diurnas hay que poner un balance de blancos personalizado, pero en astrofotos al trabajar en raw supuestamente esto no afecta porque el color se calibraba después al procesar, estoy en lo cierto?

[ignacio_db]

O sea que si tengo una dslr por más que tenga un filtro IR sustituido (baader) y los flats tomados como sugieren muchos (pantalla de notebook blanca con tela blanca en tubo) en modo av, no me preocupo entonces porque salgan algo virados al rojo?. Recientemente modifiqué mi canon y sabía que para fotos diurnas hay que poner un balance de blancos personalizado, pero en astrofotos al trabajar en raw supuestamente esto no afecta porque el color se calibraba después al procesar, estoy en lo cierto?

Como dije, no des bola a los colores que ves en la pantalla, ya que siempre hay un balance de blancos involucrado. Mirá los datos crudos (números), haciendo las tomas a través del tren óptico en la misma configuración que usaste para los lights (incluyendo filtros, etc.).

Algo que olvidé de mencionar en mi post anterior, es que el formato CFA monocromo es el adecuado para ver los niveles (ADUs) promedio del sensor, pero no dividido por canal de color. Para eso hay que debayerizar la toma con la herramienta correspondiente en PI.

abz

Ignacio

[Fgomezm]

Voy a resumir lo que he entendido hasta ahora

1- No tiene sentido realizar la corrección del tinte del flat (producto del espectro de la luz iluminante , del tren óptico (incluyendo filtros) y de la respuesta en frecuencia de la cámara) mirando la imagen en la pantalla porque siempre hay de por medio un balance de blancos.

2- El método correcto es ver los valores de los datos en los canales R, G, B del flat y luego ajustar las ponderaciones (supongo que en la matriz Bayer) para que el resultado final sea neutro.

Si bien creo entender el fundamento no sé a ciencia cierta como se podría hacer esto.

3- El método aproximado es “romper” la matriz Bayer para el flat de forma que no pueda reproducir colores y de esa forma la imagen sea neutra.

El Maxim DL lo hace durante el calibrado a través de la opción Boxcar Filter. Aparentemente lo que hace este filtro es aplicar un Kernel de manera de difuminar los pixeles circundantes y de esta forma se pierde la estructura de la Matriz Bayer.

Personalmente siempre utilicé esta opción Boxcar Filter pero honestamente nunca me había puesto a pensar que era lo que hacía.

En este link hay una discusión interesante sobre el tema y explican un método para hacer esta operación con el Pixinsight. Ya lo probé y funciona.

http://pixinsight.com/forum/index.php?topic=4536.0

"Hi Edo!

Had the same issue with my flats. Solved this in Pixinsight

with the Process ChannelMatch. The basic idea is to move

all pixels half a pixel up and right. This brings the different histogrammpeaks together to one.

Steps:

1.)Convert RAW file with Process "ConverttoRGBColor" to a Pseudo RGB File

2.)Move each pixel 0.5 Pixel right and down with ChannelMatch - the settings are:

X-Offset R 0.5, G 0.5, B 0.5 Y-Offset R -0.5, G -0.5, B -0.5

3.)Convert PseudoRGB File back to RAW with "ConvertroGrayscale"

This gets you a RAW gray flatfield for use in calibration.

You can check the process with the histogramm on.

It worked fine for me.

Aloha Gerald"

También adjunto un artículo interesante de un italiano que explica este tema de neutralizar el Master Flat mejor que yo.

Fernando

Lorenzo Comolli's Astronomy HomePage.pdf

[Fgomezm]

Algo que olvidé de mencionar en mi post anterior, es que el formato CFA monocromo es el adecuado para ver los niveles (ADUs) promedio del sensor, pero no dividido por canal de color. Para eso hay que debayerizar la toma con la herramienta correspondiente en PI.

abz

Ignacio

Ignacio:

Apliqué el procedimiento para obtener la cuenta ADU pero no logro que me aparezca el valor absoluto.

Lo que hice fue tomar el crudo de la Canon (Cr2) y abrirlo con los seteos de la conversión DSLR_Rraw a FIT tal como tu indicaste. Obtengo así un flat en escala de grises (CFA monocromo) y luego lo debayerizo para ver los valores en los canales R, G, B.

Esto funcion bien, pero no obtengo valores absolutos.

Por ejemplo los valores para el flat (tomado con la cámara en posición AV) son de R=1275, G=2075, B=1552. Luego repetí el procedimiento exponiendo durante 10 s para que la imagen saturara y la cuenta me dió R=3752, G=3752, B= 3752. Jamás puedo llegar a una cuenta igual a 2^14.

De todas formas pensé el tema en porcentajes y obtuve para la Canon 1000D los siguientes pesos de los canales en el flat.

R=26%, G=42%, B=32%

Supongo que lo que habría que hacer es corregir la transformación de forma que los 3 canales pesen por igual 1/3. No tengo idea de como hacerlo

Como también tengo una Canon 400D sin modificar repetí la prueba y los resultados fueron

R=21%, G=43%, B=35%

En este caso la respuesta en los rojos es menor que la de la Canon modificada.

Editado 6 de Noviembre del 2013 por Invitado

[Fgomezm]

Volviendo a leer todo creo entender ahora que la forma de corregir las ponderaciones de los canales para que las cuentas finales den 1/3 en cada canal es ajustar la composición RGB de la luz iluminante.

Un poco truculento pero efectivo.

Fernando

[ignacio_db]

Voy a resumir lo que he entendido hasta ahora

1- No tiene sentido realizar la corrección del tinte del flat (producto del espectro de la luz iluminante , del tren óptico (incluyendo filtros) y de la respuesta en frecuencia de la cámara) mirando la imagen en la pantalla porque siempre hay de por medio un balance de blancos.

2- El método correcto es ver los valores de los datos en los canales R, G, B del flat y luego ajustar las ponderaciones (supongo que en la matriz Bayer) para que el resultado final sea neutro.

Si bien creo entender el fundamento no sé a ciencia cierta como se podría hacer esto.

3- El método aproximado es “romper” la matriz Bayer para el flat de forma que no pueda reproducir colores y de esa forma la imagen sea neutra.

El Maxim DL lo hace durante el calibrado a través de la opción Boxcar Filter. Aparentemente lo que hace este filtro es aplicar un Kernel de manera de difuminar los pixeles circundantes y de esta forma se pierde la estructura de la Matriz Bayer.

Personalmente siempre utilicé esta opción Boxcar Filter pero honestamente nunca me había puesto a pensar que era lo que hacía.

En este link hay una discusión interesante sobre el tema y explican un método para hacer esta operación con el Pixinsight. Ya lo probé y funciona.

http://pixinsight.com/forum/index.php?topic=4536.0

"Hi Edo!

Had the same issue with my flats. Solved this in Pixinsight

with the Process ChannelMatch. The basic idea is to move

all pixels half a pixel up and right. This brings the different histogrammpeaks together to one.

Steps:

1.)Convert RAW file with Process "ConverttoRGBColor" to a Pseudo RGB File

2.)Move each pixel 0.5 Pixel right and down with ChannelMatch - the settings are:

X-Offset R 0.5, G 0.5, B 0.5 Y-Offset R -0.5, G -0.5, B -0.5

3.)Convert PseudoRGB File back to RAW with "ConvertroGrayscale"

This gets you a RAW gray flatfield for use in calibration.

You can check the process with the histogramm on.

It worked fine for me.

Aloha Gerald"

También adjunto un artículo interesante de un italiano que explica este tema de neutralizar el Master Flat mejor que yo.

Fernando

1. Correcto

2. Lo ideal es ajustar el color de la fuente de luz y la exposición para que los datos den un nivel medio similar en los 3 canales y a mitad de la escala. Ojo que la canon 1000D es de 12 bits, así que debés buscar valores alrededor de 2000 cuentas.

3. No. Si haces las cosas como te indico en 2, el flat es neutro por construcción. Si tus flats tienen color, el método del filtro boxar y de Gerald (son similares) lo neutralizan, pero se pierde la información de la sensibilidad de cada pixel (ya que promedian cada grupo de RGGB). Prefiero el método de Fitswork, donde ésto se preserva, y las variaciones de sensibilidad a nivel pixel son normalizadas correctamente al dividir por el master flat.

abz

Ignacio