Nome do Projeto
Um Framework Modular para Segmentação e Classificação de Imagens Multidomínio
Ênfase
Pesquisa
Data inicial - Data final
01/09/2026 - 31/08/2030
Unidade de Origem
Coordenador Atual
Área CNPq
Ciências Exatas e da Terra
Resumo
O projeto de pesquisa tem como objetivo geral propor o desenvolvimento de uma infraestrutura modular baseada em aprendizado profundo (Deep Learning) para a segmentação e classificação de dados visuais em múltiplos contextos. Justificado pelo papel da análise de imagens como uma tecnologia horizontal indispensável na Revolução 4.0, o projeto atende a demandas críticas em áreas distintas. Na saúde, por exemplo, atua no Diagnóstico Auxiliado por Computador (CAD) para identificar padrões patológicos em exames de imagem e lâminas histopatológicas. No meio ambiente e na agricultura, por exemplo, viabiliza o sensoriamento remoto para mapeamento do solo, combate ao desmatamento e manejo de pragas. Na engenharia de materiais, automatiza a caracterização microestrutural para quantificar porosidade e falhas. Para superar o gargalo da engenharia de atributos manual, serão empregadas arquiteturas no estado da arte, como Vision Transformers (ViTs) e ConvNeXt para classificação, além de U-Net e Segment Anything Model (SAM) para segmentação. A robustez frente à escassez de dados será garantida por técnicas de Transfer Learning, Data Augmentation e Self-Supervised Learning, incorporando também preceitos de explicabilidade (XAI), aprendizado com poucos exemplos (Few-shot learning) e agnosticismo de hardware (Edge AI).
A metodologia adota uma abordagem estratégica que separa o motor técnico algorítmico da ingestão dinâmica de dados, dividindo-se em quatro fases anuais. No primeiro ano, o foco será o alicerce e a prospecção ativa, englobando a revisão sistemática da literatura, calibração do pipeline base com datasets públicos como ImageNet, ISIC e EuroSAT, e o mapeamento de grupos de pesquisa parceiros. No segundo ano, ocorre o desenvolvimento do núcleo algorítmico com a ingestão do primeiro dataset real fruto de parceria, realizando-se o treinamento e o ajuste fino de protótipos modulares, além das primeiras submissões científicas. O terceiro ano é dedicado à validação contextual e expansão para os segundo e terceiro domínios de aplicação, investigando a capacidade de generalização e a transferência de aprendizado cruzado. No quarto ano, realiza-se a consolidação e a disseminação, marcadas por um benchmarking comparativo global, otimização dos modelos para produção via quantização e redução de latência, culminando na disponibilização do framework final como uma biblioteca documentada de código aberto.
Para avaliar o sucesso do projeto, estabelecem-se metas rigorosas em diferentes dimensões. Projeta-se a publicação de dois a três artigos em periódicos de alto impacto (JCR/Qualis A), de quatro a seis artigos completos em anais de congressos como SBC ou IEEE, e a entrega de um mapeamento sistemático no primeiro ano.
Objetivo Geral
Propor o desenvolvimento de um framework modular para segmentação e classificação de imagens multidomínio baseado em aprendizado profundo
Justificativa
A análise de imagens consolidou-se como um dos pilares fundamentais da Revolução 4.0, atuando como uma tecnologia horizontal capaz de extrair conhecimento quantitativo de dados visuais em escalas que variam do microscópico ao orbital. Essa relevância transversal manifesta-se com vigor na medicina, onde a disciplina de Diagnóstico Auxiliado por Computador (CAD) utiliza a capacidade de identificar padrões imperceptíveis ao olho humano em exames de CT, ressonância magnética e lâminas histopatológicas. Pesquisas de alto impacto, como as de Esteva et al. (Nature, 2017), demonstraram que redes neurais podem classificar patologias com precisão comparável a especialistas, enquanto o trabalho de Litjens et al. (Medical Image Analysis, 2017) estabeleceu as bases para o uso de aprendizagem profunda na segmentação de tumores e análise funcional.
Expandindo-se para o monitoramento planetário e a agricultura, a análise de imagens torna-se vital para a sustentabilidade. No campo do sensoriamento remoto, conforme discutido por Zhu et al. (Geoscience and Remote Sensing Magazine, 2017), o uso de modelos inteligentes superou métodos tradicionais na classificação de séries temporais de satélite, permitindo um mapeamento dinâmico do uso do solo e o combate ao desmatamento. Paralelamente, na agricultura de precisão, Kamilaris e Prenafeta-Boldú (Computers and Electronics in Agriculture, 2018) destacam como o diagnóstico precoce de pragas e o manejo localizado reduzem drasticamente o uso de defensivos, otimizando a produtividade. Essa mesma eficiência é replicada na engenharia de materiais, onde a caracterização microestrutural, antes dependente de inspeção manual exaustiva, agora utiliza pipelines automatizados para quantificar porosidade e falhas, acelerando a descoberta de novos compostos, conforme exemplificado por DeCost et al. (Computational Materials Science, 2017).
O motor dessa transformação é o aprendizado profundo (Deep Learning), que resolveu o histórico gargalo da engenharia de atributos manual. Através de camadas convolucionais, esses modelos aprendem representações hierárquicas diretamente dos dados brutos, capturando desde formas simples até conceitos semânticos complexos. Atualmente, o estado da arte na classificação de imagens é dominado por arquiteturas como Vision Transformers (ViTs) e ConvNeXt, que integram mecanismos de atenção para compreender dependências globais na imagem. Já no campo da segmentação, modelos como a U-Net permanecem como padrão em contextos médicos, enquanto o Segment Anything Model (SAM) da Meta AI representa uma fronteira disruptiva ao permitir a segmentação de qualquer objeto com aprendizado de disparo zero (zero-shot). Complementarmente, técnicas de Transfer Learning e Data Augmentation garantem que esses modelos sejam robustos e aplicáveis mesmo em domínios onde os dados rotulados são escassos, consolidando a análise de imagens como uma ferramenta indispensável para a ciência contemporânea.
Transfer Learning utiliza modelos pré-treinados em grandes bases (como ImageNet) e os refina para domínios específicos (saúde ou materiais), onde os dados são escassos. Data Augmentation constitui-se por técnicas para criar variações sintéticas dos dados (rotações, ajustes de brilho, ruído) para aumentar a robustez do modelo. Ainda, Self-Supervised Learning (SSL) são métodos para treinar modelos em grandes volumes de dados não rotulados para aprender representações úteis, utilizados antes de usar uma pequena base rotulada para o ajuste fino.
Expandindo-se para o monitoramento planetário e a agricultura, a análise de imagens torna-se vital para a sustentabilidade. No campo do sensoriamento remoto, conforme discutido por Zhu et al. (Geoscience and Remote Sensing Magazine, 2017), o uso de modelos inteligentes superou métodos tradicionais na classificação de séries temporais de satélite, permitindo um mapeamento dinâmico do uso do solo e o combate ao desmatamento. Paralelamente, na agricultura de precisão, Kamilaris e Prenafeta-Boldú (Computers and Electronics in Agriculture, 2018) destacam como o diagnóstico precoce de pragas e o manejo localizado reduzem drasticamente o uso de defensivos, otimizando a produtividade. Essa mesma eficiência é replicada na engenharia de materiais, onde a caracterização microestrutural, antes dependente de inspeção manual exaustiva, agora utiliza pipelines automatizados para quantificar porosidade e falhas, acelerando a descoberta de novos compostos, conforme exemplificado por DeCost et al. (Computational Materials Science, 2017).
O motor dessa transformação é o aprendizado profundo (Deep Learning), que resolveu o histórico gargalo da engenharia de atributos manual. Através de camadas convolucionais, esses modelos aprendem representações hierárquicas diretamente dos dados brutos, capturando desde formas simples até conceitos semânticos complexos. Atualmente, o estado da arte na classificação de imagens é dominado por arquiteturas como Vision Transformers (ViTs) e ConvNeXt, que integram mecanismos de atenção para compreender dependências globais na imagem. Já no campo da segmentação, modelos como a U-Net permanecem como padrão em contextos médicos, enquanto o Segment Anything Model (SAM) da Meta AI representa uma fronteira disruptiva ao permitir a segmentação de qualquer objeto com aprendizado de disparo zero (zero-shot). Complementarmente, técnicas de Transfer Learning e Data Augmentation garantem que esses modelos sejam robustos e aplicáveis mesmo em domínios onde os dados rotulados são escassos, consolidando a análise de imagens como uma ferramenta indispensável para a ciência contemporânea.
Transfer Learning utiliza modelos pré-treinados em grandes bases (como ImageNet) e os refina para domínios específicos (saúde ou materiais), onde os dados são escassos. Data Augmentation constitui-se por técnicas para criar variações sintéticas dos dados (rotações, ajustes de brilho, ruído) para aumentar a robustez do modelo. Ainda, Self-Supervised Learning (SSL) são métodos para treinar modelos em grandes volumes de dados não rotulados para aprender representações úteis, utilizados antes de usar uma pequena base rotulada para o ajuste fino.
Metodologia
A estratégia central consiste em separar o desenvolvimento do motor técnico (os algoritmos de IA) da ingestão de dados de aplicação. Dessa forma, o pipeline amadurece de forma estável enquanto as frentes de aplicação mudam conforme a prospecção avançar.
O objetivo do primeiro ano é criar a infraestrutura computacional e dominar o Estado da Arte (SOTA), garantindo que, quando um dado de aplicação surgir, a equipe saiba exatamente onde plugá-lo. As etapas são as seguintes: i) Revisão bibliográfica sistemática focada em arquiteturas SOTA (Vision Transformers, ConvNeXt, e modelos de segmentação como SAM e U-Net); ii) Desenvolvimento do Pipeline Piloto: criação de um repositório modular para garantir a reprodutibilidade dos experimentos; iii) Calibração do pipeline utilizando datasets públicos e abertos de referência (ex: ImageNet para classificação, ISIC para saúde, EuroSAT para meio ambiente) para testar a robustez do código; e, iv) Mapeamento de grupos de pesquisa internos (na universidade) e externos (empresas, hospitais, institutos) que possuam gargalos de análise visual.
Com o pipeline pronto, o foco migra para a aplicação prática no primeiro domínio consolidado na fase de prospecção. Consideram-se as seguintes etapas: i) Ingestão do primeiro dataset real fruto de parceria (ex: Imagens médicas ou microestruturas de materiais); ii) Processamento e Engenharia de Dados: limpeza, balanceamento de classes e aplicação de técnicas avançadas de Data Augmentation; iii) Treinamento e Fine-Tuning: adaptação das arquiteturas testadas no Ano 1 para o problema específico; iv) Escrita e submissão dos primeiros artigos metodológicos/aplicados baseados nos testes pilotos; e, v) Abertura de prospecção para o segundo domínio, utilizando os resultados parciais do primeiro como base.
O terceiro ano testa o verdadeiro propósito do projeto: a capacidade de generalização do framework em contextos completamente distintos. Destacamos as seguintes etapas: i) Introdução de um segundo (e idealmente terceiro) domínio de aplicação; ii) Investigação de técnicas de Transfer Learning (Aprendizado por Transferência) cruzado: avaliar se os pesos aprendidos no domínio do Ano 2 aceleram ou melhoram o aprendizado no domínio do Ano 3; iii) Implementação de técnicas de Self-Supervised Learning (Aprendizado Auto-Supervisionado) para aproveitar volumes de dados não rotulados; e, iv) Consolidação de publicações em veículos de alto impacto (periódicos e conferências internacionais).
O último ano é dedicado a avaliar o desempenho global do framework. Consideram-se as seguintes etapas: i) Realização de um benchmarking robusto e comparativo entre todos os domínios atendidos; ii) Otimização dos modelos para produção (quantização, redução de latência se necessário para aplicações reais); iii) Disponibilização do framework final como uma biblioteca de código aberto (Open Source) documentada; e, iv) Redação de relatórios finais de pesquisa.
O objetivo do primeiro ano é criar a infraestrutura computacional e dominar o Estado da Arte (SOTA), garantindo que, quando um dado de aplicação surgir, a equipe saiba exatamente onde plugá-lo. As etapas são as seguintes: i) Revisão bibliográfica sistemática focada em arquiteturas SOTA (Vision Transformers, ConvNeXt, e modelos de segmentação como SAM e U-Net); ii) Desenvolvimento do Pipeline Piloto: criação de um repositório modular para garantir a reprodutibilidade dos experimentos; iii) Calibração do pipeline utilizando datasets públicos e abertos de referência (ex: ImageNet para classificação, ISIC para saúde, EuroSAT para meio ambiente) para testar a robustez do código; e, iv) Mapeamento de grupos de pesquisa internos (na universidade) e externos (empresas, hospitais, institutos) que possuam gargalos de análise visual.
Com o pipeline pronto, o foco migra para a aplicação prática no primeiro domínio consolidado na fase de prospecção. Consideram-se as seguintes etapas: i) Ingestão do primeiro dataset real fruto de parceria (ex: Imagens médicas ou microestruturas de materiais); ii) Processamento e Engenharia de Dados: limpeza, balanceamento de classes e aplicação de técnicas avançadas de Data Augmentation; iii) Treinamento e Fine-Tuning: adaptação das arquiteturas testadas no Ano 1 para o problema específico; iv) Escrita e submissão dos primeiros artigos metodológicos/aplicados baseados nos testes pilotos; e, v) Abertura de prospecção para o segundo domínio, utilizando os resultados parciais do primeiro como base.
O terceiro ano testa o verdadeiro propósito do projeto: a capacidade de generalização do framework em contextos completamente distintos. Destacamos as seguintes etapas: i) Introdução de um segundo (e idealmente terceiro) domínio de aplicação; ii) Investigação de técnicas de Transfer Learning (Aprendizado por Transferência) cruzado: avaliar se os pesos aprendidos no domínio do Ano 2 aceleram ou melhoram o aprendizado no domínio do Ano 3; iii) Implementação de técnicas de Self-Supervised Learning (Aprendizado Auto-Supervisionado) para aproveitar volumes de dados não rotulados; e, iv) Consolidação de publicações em veículos de alto impacto (periódicos e conferências internacionais).
O último ano é dedicado a avaliar o desempenho global do framework. Consideram-se as seguintes etapas: i) Realização de um benchmarking robusto e comparativo entre todos os domínios atendidos; ii) Otimização dos modelos para produção (quantização, redução de latência se necessário para aplicações reais); iii) Disponibilização do framework final como uma biblioteca de código aberto (Open Source) documentada; e, iv) Redação de relatórios finais de pesquisa.
Indicadores, Metas e Resultados
Para avaliar o sucesso e o impacto acadêmico deste projeto de pesquisa de quatro anos com escopo flexível, estabelecem-se indicadores e metas rigorosos divididos em dimensões estratégicas. Na dimensão científica, que mede a produção de conhecimento e a validação dos modelos por pares, o principal indicador consiste na publicação de artigos em periódicos de alto impacto, vinculados ao JCR ou Qualis A. A meta estabelecida para o período total do projeto é de dois a três artigos publicados ou aceitos, tendo como resultado alcançável a consolidação teórica do framework agnóstico e a divulgação detalhada dos resultados analíticos obtidos nos estudos de caso, como os de saúde e ciência dos materiais.
Complementarmente, a participação em publicações em congressos nacionais e internacionais, como os organizados pela SBC ou IEEE, possui a meta de quatro a seis artigos completos publicados em anais de eventos, o que viabilizará a divulgação de resultados parciais e a apresentação de benchmarks intermediários gerados pelos pipelines de desenvolvimento. Por fim, a produção científica contemplará a realização de revisões sistemáticas da leitura, com a meta de entregar um mapeamento sistemático completo logo no primeiro ano de execução, garantindo que o estado da arte seja devidamente mapeado e publicado para servir como base sólida ao desenvolvimento de todas as arquiteturas subsequentes.
Complementarmente, a participação em publicações em congressos nacionais e internacionais, como os organizados pela SBC ou IEEE, possui a meta de quatro a seis artigos completos publicados em anais de eventos, o que viabilizará a divulgação de resultados parciais e a apresentação de benchmarks intermediários gerados pelos pipelines de desenvolvimento. Por fim, a produção científica contemplará a realização de revisões sistemáticas da leitura, com a meta de entregar um mapeamento sistemático completo logo no primeiro ano de execução, garantindo que o estado da arte seja devidamente mapeado e publicado para servir como base sólida ao desenvolvimento de todas as arquiteturas subsequentes.
Equipe do Projeto
| Nome | CH Semanal | Data inicial | Data final |
|---|---|---|---|
| GUILHERME HEPP DA FONSECA | |||
| MARCELO CLASEN RIBEIRO | |||
| MARCELO DA SILVA DIAS | |||
| MARILTON SANCHOTENE DE AGUIAR | 12 | ||
| MARINA DE SOUZA BRUM |