Portal InstitucionalUFPEL

As habilidades de programação estão cada vez mais sendo reconhecidas como fundamentais em uma ampla gama de disciplinas acadêmicas e campos profissionais. No entanto, aprender a programar apresenta desafios consideráveis para muitos alunos, devido à sua natureza intrinsecamente complexa que requer habilidades avançadas de abstração e raciocínio lógico (Loksa et al., 2016). Neste cenário, a assistência individualizada por professores ou colegas mais capazes na aprendizagem de conteúdos desafiadores como a programação tem um papel essencial (Bloom, 1984). A orientação direcionada e a atenção individual podem ter um impacto positivo significativo na absorção e aplicação desses conceitos. No entanto, os professores frequentemente se encontram sobrecarregados, com recursos limitados e grandes turmas, dificultando a oferta de uma assistência individualizada a cada aluno.
Portanto, diante desse contexto, é crucial investigar e implementar novas ferramentas e métodos que possam apoiar e potencializar o processo de ensino e aprendizagem da programação, auxiliando tanto os alunos quanto os professores nesse desafio. Um recurso promissor nessa direção são os Sistemas Tutores Inteligentes (STI) (VanLehn, 2011; Woolf, 2009). Essas ferramentas de IA são capazes de fornecer feedback personalizado aos estudantes, monitorar seu progresso e adaptar os conteúdos de aprendizagem conforme as necessidades específicas de cada aluno. Contudo, o desenvolvimento desses sistemas é complexo e requer um esforço significativo de uma equipe multidisciplinar para a construção, programação e inserção de conteúdo (Woolf, 1984).
Uma alternativa promissora parecem ser os Modelos de Linguagem de Grande Escala (LLMs) como o ChatGPT, que tem como principal função gerar textos coerentes e contextuais com base nos dados de treinamento que recebem (Floridi; Chiriatti, 2020). Essas ferramentas têm a capacidade de entender e responder a consultas em linguagem natural, o que permite uma interação fluída e intuitiva com os usuários. Ao serem empregados como assistentes de aprendizagem, os LLMs oferecem vantagens significativas, incluindo a disponibilidade constante para responder a dúvidas, a capacidade de fornecer explicações detalhadas e adaptadas ao contexto, e a habilidade de auxiliar na resolução de problemas complexos por meio de sugestões e orientações (Kasneci et al., 2023; Lo, 2023). Estes atributos podem ser especialmente úteis no contexto de ensino, onde a assistência individualizada e o feedback imediato são essenciais para a aprendizagem eficaz. Entretanto, a eficácia desses modelos na aprendizagem de programação permanece relativamente inexplorada, tornando a realização de pesquisas nesse campo não apenas relevante, mas necessária para melhor compreender a utilização eficaz dessas ferramentas no ensino de programação.

Este projeto de pesquisa seguirá uma abordagem de método misto em um estudo transversal, combinando elementos quantitativos e qualitativos para oferecer uma visão abrangente e multifacetada da experiência de aprendizagem dos alunos com o ChatGPT no ensino de programação. As etapas são detalhadas a seguir:

Elaboração do Contexto de Aprendizagem: Nesta fase inicial, serão desenvolvidos contextos nos quais estudantes de programação interagirão com o ChatGPT em tarefas teóricas e práticas ajustadas ao seu nível de conhecimento. O foco será na resolução de problemas comuns em ciências da computação, como algoritmos de ordenação e estruturas de dados.

Seleção dos Participantes: Estudantes de ciência da computação em estágios iniciais de aprendizado em programação serão escolhidos para o estudo, baseados nos critérios de inclusão e exclusão supracitados.

Preparação do ChatGPT: O ChatGPT será configurado para servir como um parceiro ("peer") de programação, pretendendo simular um nível de conhecimento em programação equivalente ao dos participantes humanos do estudo. Para alcançar essa adaptação, será empregada a "engenharia de prompt", uma técnica que envolve a formulação cuidadosa e o ajuste de perguntas e instruções (os "prompts") que são fornecidos ao modelo. A engenharia de prompt é crítica para guiar o ChatGPT a produzir respostas mais alinhadas com o objetivo pedagógico do projeto, permitindo uma interação mais eficaz e instrutiva com os alunos. Esta abordagem é baseada nos trabalhos de Mollick & Mollick (2023) e Atlas (2023), entre outros, que estabelecem diretrizes para a eficaz adaptação de modelos de linguagem para tarefas de aprendizagem.

Intervenção: Os alunos irão interagir com o ChatGPT em tarefas específicas de programação. O "Registro da Sessão de Interação com o ChatGPT" e o monitoramento dos "exercícios e soluções de programação fornecidas pelos alunos" serão realizados para capturar indicadores quantitativos como taxa de conclusão das atividades, tempo de interação e frequência de perguntas específicas.

Coleta de Dados: Como componente quantitativo, serão coletados dados de registros de sessão e de exercícios e soluções de programação fornecidas pelos alunos. Como componente qualitativo, todas as sessões serão documentadas por meio de gravações de vídeo da tela dos dispositivos utilizados pelos alunos. Após a fase experimental, entrevistas semiestruturadas serão realizadas para discutir as experiências dos alunos.

Análise de Dados: Os dados coletados serão analisados utilizando técnicas quantitativas e qualitativas. Isso inclui análises estatísticas dos indicadores quantitativos e análises temáticas das entrevistas semiestruturadas e das gravações de vídeo.

Revisão e Iteração: Com base nas análises, poderão ser feitas revisões e melhorias tanto no contexto de aprendizagem quanto na preparação do ChatGPT para futuras implementações.

Os resultados deste projeto têm o potencial de contribuir significativamente para a teoria e prática educacional em ciências da computação, fornecendo insights valiosos sobre a aplicação da IA no ensino de programação. Adicionalmente, os resultados deste estudo poderão implicar futuros desenvolvimentos de ferramentas de aprendizado baseadas em IA, contribuindo para o aprimoramento contínuo da qualidade e eficácia do ensino em ciências da computação.
O desfecho primário deste projeto de pesquisa é avaliar a eficácia do uso do modelo de linguagem ChatGPT como ferramenta de aprendizado na programação para estudantes de ciências da computação em fase inicial. A eficácia será avaliada por meio de uma variedade de indicadores quantitativos e qualitativos.
No aspecto quantitativo, será medida a alteração no desempenho dos estudantes em tarefas de programação antes e depois da interação com o ChatGPT. Isto pode incluir a avaliação das habilidades de resolução de problemas, a precisão e a eficiência do código escrito pelos alunos, e a compreensão conceitual de tópicos de programação.
No aspecto qualitativo, a eficácia será avaliada por meio da análise das experiências dos alunos ao interagir com o ChatGPT. Isto pode envolver a análise das entrevistas e respostas dos questionários para avaliar a percepção dos alunos sobre a utilidade e facilidade de uso do ChatGPT, bem como a sua satisfação geral e o seu envolvimento durante a aprendizagem.
Finalmente, os dados de utilização do ChatGPT pelos estudantes serão analisados para identificar os padrões de interação e entender como os estudantes estão integrando esta ferramenta nas suas estratégias de aprendizagem.