Comunicación hombre-máquina

lineaAPLICACIÓN DE LAS TECNOLOGÍAS DEL LENGUAJE PARA LA COMUNICACIÓN HOMBRE -MÁQUINA

Dr. José Luis Oropeza Rodríguez(1), Dr. Sergio Suárez Guerra(1),     Dr. Luz Noé Oliva Moreno(2), Dr. Roberto Herrera Charles(3), Dr. Alfonso Gutiérrez Aldana(1)

joropeza@cic.ipn.mx, ssuarez@cic.ipn.mx,  @ipn.mx, agutierr@cic.ipn.mx,   @ipn.mx

Centro de Investigación en Computación CIC-IPN(1), Escuela Superior de Cómputo (ESCOM-IPN)(2), Centro de Investigación en Tecnologías (CITEDI-IPN)(3)

Resumen— Disponer de los modelos y herramientas, inmersas dentro de las tecnologías del lenguaje, suficientes para la comunicación hombre–máquina usando aprendizaje automático (machine learning).

Abstract.- To have a set of models and tools, used into language technologies for the human-machine communication using machine learning.

Keywords. Machine Learning, Cloud Computing, Speech Recognition applications, Language Technology.

Introducción

Se presenta la propuesta de un portafolio de proyectos de investigación y de desarrollo tecnológico, que logre dar respuesta de forma automática, a que las capacidades humanas del habla y su reconocimiento sean realizadas por un sistema de cómputo.

En los resultados obtenidos se tendrán herramientas y módulos necesarios para aprendizaje automático de idiomas y análisis, en tareas de reconocimiento  de personas así como de algunos tipos de especies animales.

hombre maquina 001

OBJETIVO GENERAL

Disponer de los modelos y herramientas suficientes para la comunicación hombre–máquina usando aprendizaje automático (machine learning), que permitan el desarrollo de aplicaciones enfocadas a las tecnologías del lenguaje.

OBJETIVOS ESPECÍFICOS
  • Diseñar un modelo computacional de la adquisición del lenguaje hablado en edad temprana: palabras, sílabas, fonemas.

  • Implementar traducción acotada entre los idiomas aprendidos.
  • Llevar a cabo separación de locutores (voz forense).
  • Realizar la conversión de voz entre usuarios
  • Analizar voces de diferentes especies para realizar su reconocimiento y clasificación

HERRAMIENTAS Y MÓDULOS CREADOS
  • Software para lectura, extracción de características y análisis de señales de voz.
  • Módulo para etiquetado fonético.
  • Módulos de programas que implementan técnicas de machine learning.
  • Módulos para reconocimiento de voz.
  • Módulo para separación de fuentes sonoras.                                      
    EJEMPLOS DE HERRAMIENTAS CREADAS

EXPARAM. Sistema para la implantación y rehabilitación del lenguaje.

INDAUTOR. REG. 02-2004-052510360400-01
INDAUTOR.
REG. 02-2004-052510360400-01

SOFTWARE DE RECONOCIMIENTO DE VOZ

hombre maquina 003

 

hombre maquina 004

HERRAMIENTAS UTILIZADAS
CSLU (Center for Spoken Language Understanding) Toolkit
CSLU (Center for Spoken Language Understanding) Toolkit

 

HTK (Hidden Markov Models Toolkit). CAMBRIDGE UNIVERSITY
HTK (Hidden Markov Models Toolkit).
CAMBRIDGE UNIVERSITY

 

CMU Carrnelie Mellon University SPHINX
CMU Carrnelie Mellon University SPHINX

 

hombre maquina 008
EQUIPOS ELECTROMECÁNICSO CONSTRUIDOS PARA SER UTILIZADOS PARA LA INTERACCIÓN HOMBRE – MÁQUINA

 

A la presente propuesta se encuentran interrelacionadas, entre otras, las siguientes actividades principales a realizar.

  • Automatizar el entrenamiento del corpus de voz a reconocer.
  • Integración de los módulos en prototipos de hardware y software.
  • Módulos para análisis y clasificación de especies animales.
  • Incorporar los módulos de traducción entre idiomas.
  • Incorporar módulos de conversión de voz.
  • Creación y búsqueda de las bases de datos  para las aplicaciones. 
  • Entre otras propuestas.

hombre maquina 009

Para los fines del desarrollo del portafolio de proyectos propuesto en esta temática se plantean las siguientes actividades a desarrollar al integrarse a este planteamiento.

  • Integrar estudiantes y profesores de MS y ES.
  • Asignación de tareas identificadas en las propuestas a desarrollar para la elaboración de un proyecto integral.
  • Capacitación de los profesores y estudiantes participantes.

 

La propuesta de integración para el desarrollo de los posibles proyectos que conforman el portafolio está conformado por:

hombre maquina 010

CONCLUSIONES

Se presenta un portafolio de proyectos para realizar la interacción hombre máquina haciendo uso de las tecnologías del lenguaje, así como de las técnicas utilizadas en machine learning. En esta propuesta se consideran celdas de participación de nivel medio superior y nivel superior del IPN.

REFERENCIAS

El grupo de trabajo cuenta con alta experiencia en el desarrollo de proyectos así como de investigación.

Se tienen alrededor de 150 publicaciones de corte nacional e internacional en el área de tecnologías del lenguaje, específicamente en las áreas de diseño electrónico, análisis, síntesis y reconocimiento de voz, publicaiones en el desarrollo del tratamiento de señales médicas, así como en la gestión de sistemas operativos.

A su vez se tienen patentes y desarrollos tecnológicos que muestran la experiencia del grupo de trabajo.

linea

Archivos de referencia del proyecto.

proyecto_red_computacion_2015

poster_2015_2

Red de Computación del IPN