Nome do Projeto
Interação humano-Computador através do reconhecimento de gestos usando o sensor Kinect
Ênfase
PESQUISA
Data inicial - Data final
01/10/2015 - 30/09/2017
Unidade de Origem
Coordenador Atual
Área CNPq
Ciências Exatas e da Terra - Ciência da Computação
Resumo
O termo Tecnologia Assistiva (TA) é utilizado, para identificar todo o conjunto de meios que possam contribuir para facultar ou alargar as capacidades operantes de pessoas com deficiência, de modo a promover a efetiva inclusão social. Neste sentido, alguns instrumentos legais têm por finalidade garantir a inclusão do surdo no sistema regular de ensino público. Segundo a “Lei Federal nº 9.394, de 20 de dezembro de 1996, art. 24 do decreto nº 3.298/99 e a Lei nº 7.853/89 “a pessoa com deficiência têm direito à educação pública e gratuita e, preferencialmente, na rede regular de ensino, e, ainda, se for o caso, à educação adaptada às suas necessidades educacionais especiais.” (BRASIL, 1996).
Dentre as tecnologias que apresentam potencial para ser utilizado por pessoas surdas, podem se destacar a utilização de técnicas como Visão Computacional, Reconhecimento de padrões e Dispositivos de Rastreamento (Tracking). O estado da arte no contexto de reconhecimento de gestos atualmente vem optando pela utilização do sensor Microsoft Kinect para a captura dos sinais, pois apresenta a capacidade de reconhecimento de profundidade de campo, baixo custo de mercado, fácil conexão a qualquer computador, e ainda, o uso de software interno de tratamento de imagem, que permite alguma rapidez de processamento.
A etapa de aquisição dos sinais é uma das etapas mais importantes da proposta, uma vez que esta etapa afeta a acurácia das etapas subsequentes. No entanto, a identificação sinais é muito difícil dada a grande variedade de expressões gestuais, tamanho dos membros (braços e mãos) das pessoas e diferentes tipos de peles e ou texturas. Para tratar questões como as citadas, pretende-se utilizar conceitos da lógica fuzzy no processo de segmentação de imagens e na estimativa da intensidade das heterogeneidades destas propriedades. Os conjuntos fuzzy são o modelo mais tradicional para o tratamento de informações vagas e inexatas.
Neste contexto, esta proposta busca atender a demanda da instituição demandante Escola Especial Professor Alfredo Dub, que envolve o desenvolvimento de uma ferramenta voltada para surdos que utilize o reconhecimento da linguagem de sinais voltada para a interação com o computador. Este sistema consiste em: rastreamento da gestos em tempo real, treinamento e reconhecimento de gestos. A metodologia proposta será aplicada ao desenvolvimento de uma aplicação de apoio pedagógico voltada para a comunidade surda.
Objetivo Geral
Objetivo Geral: Estabelecer as bases científicas e tecnológicas para o desenvolvimento de uma ferramenta que integre mapeamento, reconhecimento e aprendizagem de gestos em tempo real. Esta ferramenta deve ser capaz de interpretar a língua brasileira de sinais (LIBRAS), através da captura de movimentos e gestos, para tal, deverá ser utilizado o sensor Kinect da Microsoft para detectar os elementos gestuais. A ideia é que esta ferramenta pedagógica auxilie no processo de ensino/aprendizagem dos idiomas português e libras para crianças com deficiência auditiva.
Objetivos específicos: i) Estudar sobre dispositivos e softwares de interação natural; ii) Estudar os recursos tecnológicos do Kinect e sua biblioteca; iii) Verificar a viabilidade de utilização da biblioteca para contribuir no desenvolvimento de um software que junto com um dispositivo de captura de movimentos seja capaz de interpretar LIBRAS; iv) Identificar as necessidades de adaptação dos módulos da biblioteca para que seja possível atender aos objetivos gerais do projeto; v) Implementar as adaptações necessárias e realizar testes de melhorias; e, vi) Desenvolver uma aplicação que utilize a metodologia desenvolvida atendendo a necessidade da instituição demandante.
Objetivos específicos: i) Estudar sobre dispositivos e softwares de interação natural; ii) Estudar os recursos tecnológicos do Kinect e sua biblioteca; iii) Verificar a viabilidade de utilização da biblioteca para contribuir no desenvolvimento de um software que junto com um dispositivo de captura de movimentos seja capaz de interpretar LIBRAS; iv) Identificar as necessidades de adaptação dos módulos da biblioteca para que seja possível atender aos objetivos gerais do projeto; v) Implementar as adaptações necessárias e realizar testes de melhorias; e, vi) Desenvolver uma aplicação que utilize a metodologia desenvolvida atendendo a necessidade da instituição demandante.
Equipe do Projeto
Nome | CH Semanal | Data inicial | Data final |
---|---|---|---|
CARLA SIMONE GUEDES PIRES | 20 | 01/10/2015 | 30/09/2017 |
CARLA SIMONE GUEDES PIRES | 20 | 01/10/2015 | 30/09/2017 |
INESSA DINIZ LUERCE | 20 | 01/10/2015 | 30/09/2017 |
LEROI FLORIANO DE OLIVEIRA | 10 | 01/10/2015 | 30/09/2017 |
LEROI FLORIANO DE OLIVEIRA | 10 | 01/10/2015 | 30/09/2017 |
LUCAS MENDES TORTELLI | 20 | 01/10/2015 | 30/09/2017 |
LUIS FELIPE KIESOW DE MACEDO | 10 | 01/10/2015 | 30/09/2017 |
LUIS FELIPE KIESOW DE MACEDO | 10 | 01/10/2015 | 30/09/2017 |
PABLO MARGREFF | 10 | 01/10/2015 | 30/09/2017 |
SIMONE DRAWANZ RUTZ | 20 | 01/10/2015 | 30/09/2017 |
WILLIAM DALMORRA DE SOUZA | 20 | 01/10/2015 | 30/09/2017 |
Fontes Financiadoras
Sigla / Nome | Valor | Administrador |
---|---|---|
CNPq | R$ 94.930,00 |