Desarrollo de un Multimarcador para Realidad Aumentada

Desde Diciembre del 2012 me empeñe en desarrollar mi propia detección de marcadores en CSharp y XNA, para ello estoy empleando OpenCvSharp, un marco de trabajo muy bueno que esta siendo portado desde OpenCv.

Para el desarrollo de diferentes pasos me he inspirado en js-aruco que me permitió entender los pasos para desarrollar la homografía. La codificación del marcador es propia y esta basada en una secuencia de 2 a la 9 combinaciones, es decir el marcador esta dividido en un tablero de 7 x 7 partes (49), de las cuales solo tomo 9 que son las centrales. La parte exterior permite crear una bloque totalmente negro que separa el marcador de la parte blanca, la segunda cuadricula interior determina la orientación y la siguiente cuadricula es la que permite determinar la codificación, cuyo resultado son 512 marcadores posibles.

Una vez ubicado e identificado el marcador, el siguiente reto fue determinar la rotación, traslación y escalado. Fue realmente una tarea ardua, debido a que se tenía que transmitir estos valores a 3D en XNA, que de por si es ya es difícil sino tienes mucha experiencia en trabajar con 3D. Luego de mucho investigar en la matemática proyectiva y funciones recomendadas  (ProjectPoints2, SolvePnP, Rodrigues, etc.) que fueron casi un dolor agudo de cabeza por los datos de entrada como de salida (interpretación); me decidí hacerlo a mi modo…. básicamente basarme en el ángulo de rotación y su cambio según los sentidos de orientación que me permite trasladar y rotar el objeto en 3D según el movimiento del marcado. Esto me  permite economizar en tiempo de ejecución y memoria.

El escalado fue mucho más sencillo pues tomé como referencia el perímetro y en función de este determinar el tamaño del modelo a presentar.

Este es el video de muestra del avance logrado; ahora queda optimizar el código y documentarlo para su posterior liberación.

Juan Cadillo

Usando la Realidad Aumentada en la Educación

En estos días vengo desarrollado una librería que me permita detectar marcadores usando C# y el framework XNA, al que he denominado    Huandoy. Dentro de todo el trabajo desarrollado este permitirá avanzar e integrar una plataforma importante para construir videos y general juego de realidad aumentada orientados a la Educación. Estos son mis primeros avances… aún queda un camino por recorrer y espero poder compartir este proyecto de manera abierta.

El pase de diapositivas requiere JavaScript.

Primer video de prueba del marcador integrado a XNA

Además comparto con ustedes el vídeo de la ponencia que dicte para Congreso “La Escuela del Futuro”

Y la entrevista que me hizo el programa Ayer y Hoy del Canal Frecuencia Latina

Nuestro Libro de Realidad Aumentada

El Libro de Realidad Aumentada que estamos construyendo es el resultado del trabajo conjunto entre los niños y niñas con su docente; es una experiencia que busca lograr aprendizajes significativos para los niños así como para el docente.

Los contenidos del Libro han sido elaborados en base a lo observado en las visitas al Museo Arqueológico de Ancash, para ello el paso previo fue una visita libre la museo, con el objetivo de que los niños puedan identificar las salas temáticas del Museo y en base a ellos recoger información.

La información que se muestra en el Libro parte de definir que es un museo, descripción breve del Museo Arqueológico de Ancash, el Poblamiento de América, los Primeros Pobladores del Perú, la Cultura Chavín, la Cultura Recuay, el Parque Lítico de la Cultura Recuay.

La próxima semana avanzaremos con Huilcahuain, Ichich Huilcahuain, el concepto de la muerte y las chullpas (videos que nos falta editar).

La subsiguientes semanas trataremos  la Cultura Wari y Mochica para terminar con el Imperio Inca.

Aquí nuestros videos:

Instrucciones para instalar y usar el Libro de Realidad Aumentada:

El modelo del libro de REALIDAD AUMENTADA  puede ser descargado de:

http://www.ziddu.com/download/15261273/LIBRORA.pdf.html

La demostración de la aplicación de realidad aumentada construida para el proyecto  esta en este enlace (por motivos de tamaño del archivo  solo suben las 3 primeros hojas)

Descargar el archivo del enlacehttp://www.ziddu.com/download/15269698/libroRAMuseo.rar.html

Descomprimirlo y ejecutar el archivo:  multiMarker1p.exe que esta dentro de la carpeta libroRAMuseo

Imprima el libro de Realidad aumentada en formato A3 que es el que usamos, en el formato A4  a veces no funcionan bien el reconocimiento de marcadores.

REQUISITOS DE INSTALACION

1.      Tener instalada una cámara Web (WebCam) de por lo menos 3.0 Mpx. Usando los controladores respectivos ofrecidos por el fabricante.

2.      Tener instalado la Máquina Virtual de Java (jre). Esta se encuentra en la dirección web:

http://www.box.net/shared/a1fa9mk2qb

o en su defecto en la página del fabricante

http://www.java.com/es/download/manual.jsp

3.      Instalar en el siguiente orden: OpenCV_1.0.exe, WinVDIG_101.exe y QuickTimeInstaller.exe. Software que se encuentran en un repositorio acondicionado en la Red. (Reiniciar si está utilizando Windows XP)

OpenCV_1.0.exe. Puede ser descargado de:

la URL del proyecto

http://www.box.net/shared/cndyb04x7n

O del Fabricante

http://sourceforge.net/projects/opencvlibrary/files/opencv-win/1.0/OpenCV_1.0.exe/download

WinVDIG_101.exe. Puede ser descargado de:

http://www.box.net/shared/11dp8vghsr

O del fabricante

http://www.eden.net.nz/7/20071008/  (debe descargar la versión 1.0.1) otras versiones dan problemas con el uso de processing

QuickTimeInstaller.exe. Puede ser descargado de:

http://www.ziddu.com/download/15241209/QuickTimeInstaller.exe.html

O del fabricante

http://www.apple.com/es/quicktime/download/

Juan Cadillo