Portal InstitucionalUFPEL

Temos observado um expressivo crescente no número de dispositivos móveis capazes de capturar, manipular e transmitir vídeos digitais 2D e 3D - tais como smartphones, tablets, câmeras digitais, etc – fazendo com que estes dispositivos sejam responsáveis por um tráfego de Internet que excede os 3,7 Exabytes por mês (dados de 2015) (STATISTICA, 2016). Apesar dos grandes avanços ao longo da última década, o projeto de dispositivos móveis enfrenta severas restrições em termos energéticos dada a lenta evolução das baterias. Dessa forma, embora sejam capazes de prover compatibilidade com padrões avançados de codificação de vídeo, os dispositivos móveis atuais são incapazes de implementar integralmente as técnicas mais eficientes de codificação de vídeo disponíveis no mercado (ou seja, os padrões têm suas ferramentas parcialmente implementadas) devido a seu alto custo computacional e decorrente alto consumo energético. Como resultado, os vídeos são codificados de forma ineficiente (utilizando com maior volume de dados) levando a um em maior ônus de armazenamento e transmissão. Com o cenário descrito, ficam expostos dois desafios tecnológicos chave para garantir o crescimento do compartilhamento de vídeos em redes móveis: (i) redução do volume de dados necessários para representar vídeos: desafio enfrentado por meio da evolução de padrões de codificação; e (ii) redução do consumo energético para codificação de vídeo em dispositivos móveis: desafio que tem sido enfrentado através do uso de aceleradores de hardware dedicados ao custo de baixa flexibilidade e enorme esforço de desenvolvimento para cada diferente padrão de codificação.
Em 2014 o compartilhamento de vídeos representava 64% do tráfego total da Internet, este número deve crescer para 90% até 2019 (CISCO, 2015). Assim, grande esforço de pesquisa tem sido colocado no avanço e padronização da codificadores de vídeo. O padrão High Efficiency Video Coding (HEVC) (SULLIVAN, 2012), definido em 2013, representa o estado da arte em codificação de vídeos 2D e foi definido como sendo o sucessor do H.264/AVC (Advanced Video Coding). No entanto, diferente do amplo domínio de mercado obtido pelo H.264/AVC (RICHARSON, 2003), o HEVC enfrenta grande concorrência de padrões como o Google VP9 (MURHERJEE, 2013), o AV1 da Alliance for Open Media (ALLIANCE, 2018) e o AVS2 (HE, 2013). Engana-se, no entanto, quem imagina que as entidades de padronização estão estagnadas. Existe grande esforço na pesquisa relacionada ao desenvolvimento do padrão sucessor ao HEVC, atualmente conhecido pelo nome do grupo que o desenvolve, o JVET (Joint Video Exploration Team) (FRAUNHOFER, 2018).
No contexto de vídeos 3D, o H.264/MVC (Multiview Video Coding) (ZATT, 2013) foi o primeiro padrão capaz de suportar, de forma eficiente, a codificação de múltiplas vistas. No entanto, em maio de 2015 foram definidos o MV-HEVC e o 3D-HEVC como extensões ao HEVC visando prover suporte a múltiplas vistas (Multiview) e a múltiplas vistas com profundidade (MVD – Multiview Plus Deth), respectivamente. Espera-se ainda que novos padrões de codificação 3D surjam devido à popularização de aplicações voltadas a realidade virtual (OCULUS, 2016).
Fica claro que dispositivos móveis atuais devem ter capacidade de codificar e decodificar vídeos de acordo com os diferentes padrões atuais HEVC, VP9, AV1 e AVS2 enquanto mantendo compatibilidade com padrões anteriores como H.264 e MPEG-2. No entanto, espera-se que tais dispositivos sejam flexíveis a ponto de prover suporte aos novos padrões que seguem surgindo no mercado. Caso os dispositivos sejam projetados para manipular também vídeos 3D, deve-se suportar ainda padrões como MV-HEVC e o 3D-HEVC. Em outras palavras, é crítico prover suporte eficiente a múltiplos padrões e garantir flexibilidade de operação em um ecossistema heterogêneo de compartilhamento de vídeos onde múltiplos serviços devem coexistir (exemplos: Broadcasting, Youtube, Netflix, Snapchat, Periscope, Twitch, etc...).
O objetivo de projetar sistemas móveis eficientes energeticamente e capazes de suportar múltiplos padrões de codificação de vídeo com altas taxas de compressão esbarra no elevado esforço computacional demandado por estes padrões. Todos os padrões 2D e 3D citados anteriormente implementam um modelo de codificação híbrido composto de etapas de predição, transformação e codificação entrópica. Na etapa de predição destaca-se o módulo de Estimação de Movimento (ME) e Estimação de Disparidade (DE – apenas em codificadores 3D) como sendo responsáveis por até 85% do esforço computacional (ZATT, 2013) (dados referentes ao H.264/MVC). A etapa de transformadas, que tipicamente implementa transformadas dos cossenos (RICHARDSON, 2003), e o filtro redutor de efeito de blocos representam os blocos mais computacionalmente intensos após ME/DE (VANNE, 2012). Estudos apresentados em (VANNE, 2012) demonstram que a implementação de referência do HEVC (fornecida pelos desenvolvedores do padrão como plataforma experimental) excede em até 4000x o tempo de processamento necessário para prover tempo real quando rodando em um processador Intel Core i5 operando a 2.6GHz.
Para tratar problemas tão custosos como a codificação de vídeo, sistemas em chip (System-on-a-chip - SoC) estado da arte para dispositivos móveis - como Qualcomm Snapdragon 835 (QUALCOMM, 2018), Samsung Exynos 9 (SAMSUNG, 2018), Apple A10 (APPLE, 2018), NVIDIA Tegra X2 (NVIDIA 2018) – dispõe de múltiplos núcleos de processamento (tipicamente processadores ARM), unidades de processamento gráfico programáveis (GPUs), processadores de sinais (DSPs) e aceleradores de hardware dedicados para tarefas muito complexas como codificação de vídeo e comunicação 4G. Aceleradores de hardware provêm eficiência energética superior a soluções em software mas são inflexíveis. No caso de codificação de vídeo, por serem aceleradores de hardware específicos para cada padrão, faz-se necessário um grande volume de transistores adicionais para suportar cada padrão que, em muitos casos, são muito similares a seus concorrentes. Embora o aumento do número de transistores já não seja um fator tão crítico quanto fora no passado, seu aumento leva à elevação no custo de fabricação e problemas relacionados a Dark Silicon (HENKEL, 2015). Além disso, em tais sistemas não existe a possibilidade de adicionar suporte eficiente a outros e mais novos padrões de codificação após o projeto do SoC.
Da perspectiva de hierarquia de memória os referidos SoCs dispõe de caches (associadas aos processadores), memórias scratchpad (nas GPUs) e buffers dedicados (nos aceleradores de hardware dedicados) implementados em memória estática (SRAM – Static RAM) além de memória principal compartilhada (muitas vezes intra-chip) implementada com memórias dinâmicas (como LPDDR – Low Power DDR). Memórias SRAM representam grande consumo energético e baixa capacidade de integração enquanto memórias dinâmicas consomem grande parte da energia no processo de refresh (RAHMATI, 2014). Assim, espera-se que sistemas energeticamente eficientes considerem novas tecnologias de memória não voláteis como STT-RAM (Spin-Transfer Torque RAM), PCM (Phase Change Memory), MRAM (Magnetoresistive RAM), etc.
Este projeto de pesquisa visa propor soluções para codificação de vídeos em sistemas móveis capazes de prover eficiência energética, eficiência de codificação e flexibilidade para suporte de múltiplos padrões de codificação 2D e 3D. Será abordada a etapa de projeto de SoCs heterogêneos dispondo de CPUs, GPUs, DSPs, e unidades reconfiguráveis FPGA para mapeamento dinâmico de aceleradores de hardware. Nesta etapa serão utilizadas ferramentas de modelagem e simulação de alto nível que irão se utilizar de dados extraídos de caracterização energética/desempenho de cada unidade funcional e sua respectiva interface com a memória. Será dada atenção especial à hierarquia de memória incluindo a avaliação de notas tecnologias e interfaces de memória.
Este projeto visa ainda abordar questões de gerenciamento dinâmico de energia levando em consideração o balanço com a eficiência de codificação. Para tal, serão exploradas características do comportamento dos padrões de codificação de vídeos, estado do sistema e característica dos vídeos sendo codificados. Assim, o SoC deverá adaptar-se em tempo de execução para encontrar pontos de operação que reduzam o consumo energético mantendo altas taxas de compressão e respeitando o estado do sistema (como nível da bateria). Para isso, serão necessários algoritmos de predição de carga de trabalho, alocação e migração de tarefas (considerando implementações em SW, HW ou HW programável), controle de DVFS (Dynamic Voltage and Frequency Scaling) e power/clock-gating e técnicas de computação aproximada.

O projeto de pesquisa aqui proposto irá respeitar a metodologia descrita abaixo.
• Estudar e avaliar linguagens de descrição e ferramentas de modelagem e simulação de SoCs heterogêneos: Inicialmente será necessário fazer um levantamento detalhado do ferramental disponível para modelagem de SoCs heterogêneos em alto nível de abstração. Nesta etapa ferramentas mais precisas baseadas ISSs (Instruction Set Simulator) são inadequadas por seu elevado esforço computacional. Usar tais ferramentas na etapa inicial da exploração de espaço de projeto representaria tempo de processamento impraticável, especialmente considerando codificação de vídeo com aplicação.
• Desenvolver ou adaptar a infraestrutura de simulação SoCs heterogêneos: Com base no estudo conduzido na etapa anterior, será proposta uma infraestrutura de modelagem e simulação para SoCs. Para tal, serão utilizadas como base ferramentas previamente publicadas na literatura ou fornecidas sob licenças open-source. Sabe-se que algumas das ferramentas desenvolvidas e disponibilizadas por membros do projeto são de interesse deste projeto (MIELE, 2015) (MAOZZEMI, 2016) e poderão ser utilizadas como ponto inicial para o desenvolvimento. Considerando as possíveis limitações das ferramentas quando aplicadas ao contexto deste projeto, serão desenvolvidas melhorias, adaptações e modificações para customizar a infraestrutura às necessidades do projeto. Visualiza-se a necessidade de modificações como refinar/detalhar o modelo de comunicação com a memória e ampliar o suporte a heterogeneidade incluindo modelos para outros CPUs, DSPs e, em especial, FPGAs.
• Investigar custo computacional e intensidade de tráfego com a memória do codec de vídeo: Para permitir que aplicação seja devidamente modelada ou portada para a infraestrutura de simulação é necessário que seu comportamento seja devidamente caracterizado no que diz respeito ao custo computacional e comunicação com a memória. Somente conhecendo seu comportamento será possível modularizar a aplicação da melhor forma e, posteriormente, propor implementações e técnicas de controle dinâmico eficientes. Nesta etapa será utilizado inicialmente o padrão HEVC, por tratar-se do estado da arte em codificação 2D. Posteriormente os estudos serão ampliados para incluir o padrão 3D-HEVC.
• Desenvolver e caracterizar módulos do codec de vídeo utilizando OpenCL: OpenCL (STONE, 2010) é um framework utilizado para escrever programas com suporte a plataforma heterogêneas. Sendo assim, será utilizado OpenCL para implementar módulos do codificador HEVC e permitir sua execução em diferentes arquiteturas de CPUs, DSPs, GPUs e, até mesmo, FPGAs (INTEL, 2018) através de HLS (High Level Synthesis). Tal implementação é necessária para permitir livre alocação e migração de tarefas entre unidades de processamento heterogêneas entre si. Para caracterizar cada módulo em termos de desempenho e consumo poderão ser utilizadas placas de desenvolvimento de SoCs, como a Open-Q 845 solicitada para aquisição neste projeto, e FPGAs como o Cyclone IV presente na Altera DE-2 115 disponível no GACI/UFPel (Grupo de Arquiteturas e Circuitos Integrados).
• Desenvolver e caracterizar implementações em hardware de módulos do codec: Visando permitir que módulos possam ser acelerados usando hardware configurável (FPGA), serão desenvolvidas e caracterizadas implementações de alguns módulos em VHDL. É importante ressaltar que muitos módulos do HEVC implementados em nível RTL se encontram disponíveis (resultados de trabalhos prévios desenvolvidos no grupo de pesquisa GACI/ViTech) e requerem apenas adaptações.
• Explorar o espaço de projeto de SoCs heterogêneos para codificação de vídeo: Utilizando o ferramental definido, serão avaliadas diferentes configurações de SoCs considerando a codificação de vídeo (incialmente HEVC e, posteriormente, o 3D-HEVC) sob a perspectiva de consumo energético, desempenho e eficiência de codificação (qualidade de vídeo e taxa de compressão). Pretende-se avaliar o impacto da heterogeneidade (diversidade de unidades de processamento – CPUs, GPUs, DSPs, FPGAs e aceleradores de hardware configuráveis), paralelismo (número de unidades de processamento) e hierarquia de memória.
• Propor e caracterizar um SoC heterogêneo para codificação de vídeo: Após a exploração do espaço de projeto feita em alto nível de abstração, será proposto um SoC heterogêneo que se mostre apropriado para a codificação de vídeos 2D e 3D. Para este sistema será feito o refinamento do modelo de forma a melhor caracterizar mais detalhadamente o sistema sob as perspectivas de energia, desempenho e codificação. Pretende-se utilizar simuladores como Gem5 (BINKERT, 2011), Gem5-GPU (POWER, 2015), Multi2Sim (UBAL, 2012) ou HeteroSim (FENG, 2017) para validar os resultados frente a outras configuração e refinar o modelo.
• Propor algoritmos de gerenciamento dinâmico de energia: Embora um projeto visando sistemas de baixo consumo energético seja mandatório, as características dinâmicas da execução variam drasticamente de acordo com o estado do sistema e dados de entrada (vídeo no escopo deste projeto) (ZATT, 2011). Para garantir redução do consumo e eficiência de codificação é necessário que sejam propostas técnicas dinâmicas de adaptação incluindo: migração de tarefas (entre implementações de SW ou mesmo HW), configuração dinâmica de FPGAs, controle de DVFS, predição de carga de trabalho, técnicas de computação aproximada, entre outras. Tais algoritmos deverão considerar parâmetros do sistema (nível da bateria, estado do sistema operacional, aplicações concorrentes, etc), preferências do usuário (resolução do vídeo, qualidade desejada, banda de transmissão, etc) e características inerentes ao vídeo de entrada e ao padrão de codificação de vídeo adotado. A experiência dos membros deste projeto no desenvolvimento de algoritmos de gerenciamento dinâmico, migração de tarefas e controle (KANDURI, 2017) (SHIVASTAVA, 2016) (DONYANAVARD, 2016) (HAGHBAYAN, 2014) será um excelente ponto de partida nesta etapa do projeto.
• Implementar técnicas promissoras na placa de desenvolvimento Open-Q 845: Para validar os algoritmos de controle dinâmico em uma plataforma real e criar uma demonstração para divulgação do projeto, serão implementadas algumas das propostas na placa de desenvolvimento Open-Q 845 Development Kit (INTRINSYC, 2018) baseada no SoC Qualcomm Snapdragon 845 (QUALCOMM, 2018).
• Avaliar o uso de novas tecnologias de memória no SoC proposto: De forma a promover maior eficiência energética no SoC proposto, será avaliada a utilização de novas tecnologias de memória dentro da hierarquia proposta. Para tal, pretende-se avaliar a tecnologia STT-RAM e utilizá-la de forma híbrida - como em nosso trabalho prévio (SAMPAIO, 2014) - com tecnologias tradicionais (SRAM e DRAM) de forma a explorar as melhores características de cada uma. Pretende-se ainda ampliar a pesquisa para considerar outras tecnologias não voláteis como PCM. O simulador NVSim (DONG, 2014) será utilizado nessa etapa para extrair dados de consumo e atraso.
• Formar recursos humanos: Com a execução deste projeto de pesquisa espera-se alcançar resultados científicos expressivos além de causar impactos positivos no crescimento da pesquisa no PPGC/UFPel e no treinamento de recursos humanos habilitados a contribuir com a área de projeto de hardware e processamento digital de sinais.
• Divulgar resultados: Uma vez que resultados de pesquisa sejam obtidos, os mesmos serão divulgados utilizando periódicos e eventos nas áreas de sistemas embarcados, arquiteturas, automação de projeto e processamento de sinais. Espera-se gerar seis artigos científicos a serem submetidos para conferências altamente conceituadas. Dentre esses, alguns terão os recursos requisitados junto a este projeto: IEEE ISCAS 2020 – IEEE International Symposiun on Circuits and Systems (submissão 09/2019), ACM/IEEE DATE 2021 – IEEE/ACM Design Automation and Test in Europe (submissão 10/2020), SBCCI 2020 - Symposium on Integrated Circuits and Systems Design (submissão 03/2020) e SBCCI 2021 - Symposium on Integrated Circuits and Systems Design (submissão 03/2021). Espera-se ainda, ao final do estágio, compor três artigos para periódicos de alto impacto acadêmico como IEEE TCSVT – IEEE Transactions on Circuits and Systems for Video Technology, Springer JRTIP - Journal on Real-Time Image Processing ou ACM TODAES – ACM Transactions on Design Automation of Electronic Systems.

• Desenvolvimento de UMA ferramenta para modelagem e simulação de SoCs heterogêneos
• Desenvolvimento de DUAS implementações (uma aproximada) em OpenCL para a Estimação de Movimento (ME) aplicável a diferentes padrões
• Desenvolvimento de DUAS implementações (uma aproximada) em OpenCL para a Estimação de Disparidade (DE) aplicável a diferentes padrões
• Desenvolvimento de DUAS implementações (uma aproximada) em OpenCL para a Compensação de Movimento e Disparidade para o HEVC e o 3D-HEVC
• Desenvolvimento de UMA arquitetura de hardware eficiente para a ME/DE para o HEVC e o 3D-HEVC
• Desenvolvimento de UMA arquitetura de hardware eficiente para a Compensação de Movimento para o HEVC e o 3D-HEVC
• Elaboração de UM relatório descrevendo toda a exploração de espaço de projeto efetuada
• Proposição de UM sistema em chip heterogêneo adequado para codificação de vídeo
• Desenvolvimento de TRÊS algoritmos de gerenciamento e controle dinâmico de energia e recursos
• Desenvolvimento de UM protótipo na placa de desenvolvimento Open-Q 845
• Proposição de UM sistema em chip heterogêneo para codificação de vídeo otimizado através do uso de tecnologias de memória não voláteis
• Submissão de TRÊS artigos para periódico com os resultados obtidos com a execução do projeto
• Publicação de SEIS artigos em anais de eventos internacionais com os resultados obtidos com a execução do projeto
• Orientação de TRÊS trabalhos de conclusão de curso na UFPel sobre o tema
• Orientação de DUAS dissertações de mestrado no PPGC-UFPel sobre o tema
• Orientação de UMA tese de doutorado no PPGC-UFPel sobre o tema