Nome do Projeto
Interação humano-Computador através do reconhecimento de gestos usando o sensor Kinect
Ênfase
PESQUISA
Data inicial - Data final
01/10/2015 - 30/09/2017
Unidade de Origem
Coordenador Atual
Área CNPq
Ciências Exatas e da Terra - Ciência da Computação
Resumo
O termo Tecnologia Assistiva (TA) é utilizado, para identificar todo o conjunto de meios que possam contribuir para facultar ou alargar as capacidades operantes de pessoas com deficiência, de modo a promover a efetiva inclusão social. Neste sentido, alguns instrumentos legais têm por finalidade garantir a inclusão do surdo no sistema regular de ensino público. Segundo a “Lei Federal nº 9.394, de 20 de dezembro de 1996, art. 24 do decreto nº 3.298/99 e a Lei nº 7.853/89 “a pessoa com deficiência têm direito à educação pública e gratuita e, preferencialmente, na rede regular de ensino, e, ainda, se for o caso, à educação adaptada às suas necessidades educacionais especiais.” (BRASIL, 1996). Dentre as tecnologias que apresentam potencial para ser utilizado por pessoas surdas, podem se destacar a utilização de técnicas como Visão Computacional, Reconhecimento de padrões e Dispositivos de Rastreamento (Tracking). O estado da arte no contexto de reconhecimento de gestos atualmente vem optando pela utilização do sensor Microsoft Kinect para a captura dos sinais, pois apresenta a capacidade de reconhecimento de profundidade de campo, baixo custo de mercado, fácil conexão a qualquer computador, e ainda, o uso de software interno de tratamento de imagem, que permite alguma rapidez de processamento. A etapa de aquisição dos sinais é uma das etapas mais importantes da proposta, uma vez que esta etapa afeta a acurácia das etapas subsequentes. No entanto, a identificação sinais é muito difícil dada a grande variedade de expressões gestuais, tamanho dos membros (braços e mãos) das pessoas e diferentes tipos de peles e ou texturas. Para tratar questões como as citadas, pretende-se utilizar conceitos da lógica fuzzy no processo de segmentação de imagens e na estimativa da intensidade das heterogeneidades destas propriedades. Os conjuntos fuzzy são o modelo mais tradicional para o tratamento de informações vagas e inexatas. Neste contexto, esta proposta busca atender a demanda da instituição demandante Escola Especial Professor Alfredo Dub, que envolve o desenvolvimento de uma ferramenta voltada para surdos que utilize o reconhecimento da linguagem de sinais voltada para a interação com o computador. Este sistema consiste em: rastreamento da gestos em tempo real, treinamento e reconhecimento de gestos. A metodologia proposta será aplicada ao desenvolvimento de uma aplicação de apoio pedagógico voltada para a comunidade surda.

Objetivo Geral

Objetivo Geral: Estabelecer as bases científicas e tecnológicas para o desenvolvimento de uma ferramenta que integre mapeamento, reconhecimento e aprendizagem de gestos em tempo real. Esta ferramenta deve ser capaz de interpretar a língua brasileira de sinais (LIBRAS), através da captura de movimentos e gestos, para tal, deverá ser utilizado o sensor Kinect da Microsoft para detectar os elementos gestuais. A ideia é que esta ferramenta pedagógica auxilie no processo de ensino/aprendizagem dos idiomas português e libras para crianças com deficiência auditiva.

Objetivos específicos: i) Estudar sobre dispositivos e softwares de interação natural; ii) Estudar os recursos tecnológicos do Kinect e sua biblioteca; iii) Verificar a viabilidade de utilização da biblioteca para contribuir no desenvolvimento de um software que junto com um dispositivo de captura de movimentos seja capaz de interpretar LIBRAS; iv) Identificar as necessidades de adaptação dos módulos da biblioteca para que seja possível atender aos objetivos gerais do projeto; v) Implementar as adaptações necessárias e realizar testes de melhorias; e, vi) Desenvolver uma aplicação que utilize a metodologia desenvolvida atendendo a necessidade da instituição demandante.

Equipe do Projeto

NomeCH SemanalData inicialData final
CARLA SIMONE GUEDES PIRES2001/10/201530/09/2017
CARLA SIMONE GUEDES PIRES2001/10/201530/09/2017
INESSA DINIZ LUERCE2001/10/201530/09/2017
LEROI FLORIANO DE OLIVEIRA1001/10/201530/09/2017
LEROI FLORIANO DE OLIVEIRA1001/10/201530/09/2017
LUCAS MENDES TORTELLI2001/10/201530/09/2017
LUIS FELIPE KIESOW DE MACEDO1001/10/201530/09/2017
LUIS FELIPE KIESOW DE MACEDO1001/10/201530/09/2017
PABLO MARGREFF1001/10/201530/09/2017
SIMONE DRAWANZ RUTZ2001/10/201530/09/2017
WILLIAM DALMORRA DE SOUZA2001/10/201530/09/2017

Fontes Financiadoras

Sigla / NomeValorAdministrador
CNPqR$ 94.930,00

Página gerada em 26/04/2024 12:02:50 (consulta levou 0.045405s)