Translate

sábado, 7 de septiembre de 2013

Reconocimiento de caras en Android



Introducción

A continuación describo los elementos para construir una app en Android para reconocimiento de caras.

Algoritmos de reconocimiento de caras en Android con OpenCV

Para que nuestros robots puedan reconocernos deberíamos tener a nuestra disposición  alguna librería que nos permitiera incorporar esta función.

En OpenCV existen tres algoritmos de reconocimiento de caras:

- Eigenfaces
- Fisherfaces
- LBPH (Local Binary Patterns Histograms)

Los dos primero Eigenfaces y Fisherfaces se basan en la reducción de la dimensionalidad. En una imagen de 100x100 píxeles existen 10.000 píxeles o dimensiones si estamos hablando de un clasificador. Pero de esas 10.000, ¿cúantas son de verdad necesarias para reconocer una imagen?. El análisis de componentes principales nos ordena la importancia de estas dimensiones para que podamos trabajar con muchas menos.







Caras reducidas a sus componentes principales.


LPBH en cambio no se basa en la comparación directa de imágenes con dimensionalidad reducida. Se basa en la extracción de características relevantes de cada imagen.
Para cada pixel se obtiene un histograma local. Los píxeles de alrededor se traducen a 1 y 0 dependiendo de si tienen más intensidad o menos que el pixel centra, y se asigna ese valor al píxel central.



La imagen se divide en una cantidad m de regiones y se extrae un hostigrama de cada una. Estos histogramas luego se concatenan.

JavaCV y OpenCV 

La implementación de estos algoritmos están descritos en la documentación de OpenCV :http://docs.opencv.org/trunk/modules/contrib/doc/facerec/facerec_tutorial.html

El problema es que estas funciones no están disponibles directamente en la librería de OpenCV Android. Afortunadamente existe un proyecto denominado JavaCV que pone a disposición de los desarrolladores en Java para Android y otros sistemas todas las funciones de OpenCV, FFmpeg y otras librerías-
La página del proyecto nos da indicaciones detalladas de cómo incorporar la librería a un proyecto Android: https://code.google.com/p/javacv/

Implementación

Con la ayuda de OpenCV implementé una pequeña aplicación de prueba. Esta aplicación está subida al play store y tiene disponible el códifuente en gitHub.
La aplicación en el modo entrenamiento localiza caras en la imagen mediante un clasificador en cascada haar. El rectángulo obtenido sirve para entrenar al algoritmo o para que el algoritmo lo clasifique. Cuando se clasifica una imagen se obtiene también un indicador de la “confianza” en la clasificación.
Aunque la implementación realizada permite utilizar cualquiera de los tres algoritmos incluidos, el que se ha elegido finalmente para la app es LPBH, pues es el único que me ha dado un resultado aceptable en condiciones reales.



La entrada en play store: Reconocimiento de caras OpenCV , https://play.google.com/store/apps/details?id=org.opencv.javacv.facerecognition




Instrucciones de uso:

 Se necesitan al menos tener dos caras guardadas para que pueda empezar a reconocer

 Modo Entrenar: Escribir el nombre de la persona, enfocar  y cuando empiece a aparecer un recuadro localizando una cara pulsar el botón "Rec". Pulsar Rec varias veces para almacenar diferentes gestos. Para tener mejores resultados, hacer la grabación con iluminación adecuada.

 Modo Buscar. Enfocar a una cara y si la reconoce aparecerá su nombre. Un icono aparecerá verde, amarillo o rojo dependiendo del grado de confianza en el reconocimiento.

Icorporación al robot:


jueves, 11 de julio de 2013


Robot controlado por teléfono Android.


Después de más de un año, el proyecto de Robot Personal va tomando forma y estos son los avances.

El objetivo del proyecto era desarrollar un pequeño robot controlado por un teléfono Android como base para probar tecnología de visión e IA. No debería ser solo un juguete controlado como un mando a distancia, sino que debería ser autónomo, pudiendo circular, recibir órdenes habladas y responder hablando, como debería hacer un robot. Para este objetivo, pensé en reutilizar el software que existe disponible en la red de manera gratuita, y sobre este desarrollar las funcionalidades deseadas.
Los móviles actuales aportan cualidades únicas para hacer de pequeños controladores de robot. Son ligeros, integran multitud de sensores incluyendo la cámara, tienen una enorme potencia de cálculo y conectividad. En concreto en este proyecto he utilizado un teléfono Android Nexus 4 como cerebro del robot.
El hardware por supuesto podría ser desarrollado más profesionalmente y ser comercializado después para tener robots autónomos por la casa. Estos robots podrían usarse para jugar, para vigilar o  transportar cosas, con solo acoplar un teléfono de los que tengamos al hardware,
Voy a resumiros el trabajo realizado hasta ahora. Si alguien está interesado, quiere colaborar o incluso piensa que podemos comercializar un hardware basado en estos desarrollos, puede contactar conmigo. 

 

El Hardware


Estos son los componentes actuales:
Tarjeta IOIO. Es el elemento a través del cual el teléfono se comunicaría con los motores y los sensores. La tarjeta IOIO se puede conectar con el teléfono por medio de un conector USB o por medio de una bluetooth añadiendo a la tarjeta un “dongle”. Este es el método de conexión usado actualmente.
Control de motores a cargo  del controlador de doble puente H - L298.  Por medio de la señal  PWM se regula la corriente que llega a los  motores del chasis y también se utiliza su salida +5V para alimentar a los servos analógicos de la “cabeza”.
Dos sensores ultrasónicos para evitar obstáculos no detectados por el sistema de visión y para dar marcha atrás. Últimamente he integrado un sensor de infrarrojos de distancia que da mejor resultados que los ultrasónicos.
Un kit pan/tilt para dar movilidad a la “cabeza” del robot. Dos servos analógicos controlan el kit.
Un chip brújula GY-26-USART para conocer la orientación. Se podría haber utilizado la brújula del teléfono pero está sujeta a magnetizarse por la presencia de elementos metálicos cercanos. Esta brújula está montada actualmente en una torre para aislarse lo más posible de elementos con hierro del propio robot y del suelo de la casa, como vigas.
La alimentación es con dos baterías lipo de 7.4V, una para la tarjeta IOIO y otra para el L298. La alimentación independiente me evita los reset de la tarjeta IOIO cuando los motores empiezan aconsumir


Esquema:




El software.


Para un robot autónomo que pretenda poder hacer diversas tareas, el software es la parte que se llevará más horas de trabajo. Para incorporar capacidades al robot he partido de un enfoque “de abajo a arriba”, donde las funcionalidades de bajo nivel dan pie a la incorporación de funcionalidades de mayor nivel. Todas las pruebas son en un entorno normal de una casa, no en zonas o secciones preparadas o pintadas especialmente para el robot.
Software base “Open Source” incorporado:
OpenCV. Para proceso de imágenes. Existen versiones para Andorid e iOs. Es una de las liberías de proceso de imágenes más importantes que existen
Chatter. Es un “bot de conversación” similar al que se puede encontrar en algunos asistentes que parecen conversar con nosotros, pero modificado para que pueda reconocer órdenes y enviarlas al planificador de acciones.
Y los módulos principales que incorpora actualmente, desarrollados por mí .
Cámara. Capacidad básica de ver obstáculos. Para distinguir los obstáculos del suelo se calculan los bordes alrededor de los objetos y se determina la zona más libre de obstáculos.
Proceso de imagen. Algunas de las capacidades actuales son:
-Localizar  un color predeterminado o uno elegido de lo que se está viendo.
-Reconocer la habitación donde está ahora por comparación con fotografías almacenadas.
-Reconocer  una persona (con la ayuda de las librerías  OpenCV.)
Movimientos básicos: Adelante, atrás, girar, girar sobre si mismo hacia un ángulo…
Patrones de movimiento: Son capacidades básicas de movimiento  de más nivel que el simple movimiento, y construidas sobre los movimientos básicos. Algunos ejemplos de patrones ya implementados:
-Deambular sorteando obstáculos,
- Avanzar evitando obstáculos en una dirección de la brújula
-Buscar un sitio libre al que moverse después de encontrar un obstáculo que no se ha podido evitar.
- Seguir  un color determinado
- Seguir el color que esté viendo.
Planes  Usando los patrones de movimientos básicos, se puede planear el recorrido para ir de una habitación a  otra. Para eso es necesario que se defina al robot una forma de ir de un sitio a otro para que pueda hacer planes. Esto se consigue con un fichero XML en el que se especifica como ir de cada habitación a las habitaciones contiguas. Con estos datos, el planificador puede el plan completo para ir de una habitación a cualquier otra.
Por ejemplo, el siguiente  trozo de XML le dice que para pasar de la entrada al comedor debe encontrar una señal de color verde. Cuando esté cerca de ella, debe orientarse a 90º y mover se  en esa dirección 6 segundos. 

 <nodo destino="comedor"
            origen="entrada" >
            <accion>
                <buscar color="verde" tiempo="20" />
                <mover angulo="90"  tiempo="6" />
           </accion>
   </nodo>

Posicionamiento

Para que el robot pueda planear como ir de un sitio a otro lo primero que tiene que saber es donde está.  Este es uno de los mayores problemas los que se enfrenta un robot en un espacio cerrado, y se han estudiado muy diversas soluciones hasta ahora.
Actualmente el sistema para determinar en que habitación en la comparación de lo que la cámara ve con una serie de imágenes almacenadas, clasificadas por habitación. La comparación se hace en base al histograma de distintas secciones de las imágenes. Pero como plataforma de pruebas que es, se seguirán probando nuevos sistemas de localización.

Conclusión.


Con este proyecto tenemos un sistema de bajo coste con gran capacidad de procesamiento en el que experimentar y desarrollar los elementos que un robot autónomo tendrá que tener para vivir en nuestros hogares, desde la capacidad básica de ir y venir, reconocer su entorno, comunicarse y jugar o hacer alguna que otra función útil, como transporte y limpieza. La adaptación de algoritmos como SLAM, e inclusos el paso al sistema operativo para robot ROS son otras de las posibilidades para mejorar la plataforma.








Canal de Youtube: