Nome do Projeto
Aprendizagem de programação por pares IA-Humano: Explorando o Potencial do ChatGPT para a aprendizagem de Programação
Ênfase
Pesquisa
Data inicial - Data final
25/09/2023 - 31/12/2025
Unidade de Origem
Coordenador Atual
Área CNPq
Ciências Exatas e da Terra
Resumo
A aprendizagem de programação desenvolve competências cada vez mais requeridas em diversas disciplinas e campos profissionais. Contudo, a complexidade intrínseca da programação e os desafios associados ao seu ensino e aprendizagem impõem a necessidade de explorar métodos inovadores que possam aprimorar a experiência educativa e facilitar a aquisição de habilidades e competências desta área. Neste contexto, este projeto de pesquisa é motivado pela perspectiva de que a Inteligência Artificial (IA) pode complementar efetivamente os métodos de ensino convencionais, atuando como um recurso adicional para o aprendizado autodirigido. Baseamos nossa proposta na evolução recente de IA Generativa baseada em LLMs, como o ChatGPT, cujo potencial para aprimorar a educação em programação ainda permanece subexplorado. Nosso objetivo central é responder à seguinte questão: "De que forma os estudantes utilizam e se beneficiam do ChatGPT para aprimorar suas habilidades de programação?". Buscamos, assim, avaliar a eficácia do ChatGPT no auxílio aos estudantes de Ciência da Computação, no sentido de prover suporte para a resolução de problemas e orientações sobre conceitos e práticas de programação. Para alcançar este objetivo, adotaremos uma abordagem de pesquisa mista, unindo técnicas qualitativas e quantitativas. Propomos um estudo experimental, em que monitoraremos os estudantes interagindo com o ChatGPT durante as tarefas de programação. As sessões serão gravadas, dados de interação coletados e, posteriormente, os estudantes serão entrevistados para coleta de impressões e feedback. Com este projeto, almejamos enriquecer o campo da educação em programação, oferecendo insights sobre potencial de modelos de linguagem de grande escala como o ChatGPT.

Objetivo Geral

O objetivo primário deste estudo é investigar a eficácia do uso do ChatGPT, um Modelo de Linguagem de Grande Escala, como um par de programação, na promoção da aprendizagem de programação de alunos iniciantes em cursos de ciências da computação. Em particular, o estudo pretende avaliar se a interação com o ChatGPT pode melhorar a compreensão dos alunos sobre os conceitos de programação, aumentar sua capacidade de resolução de problemas de programação, e melhorar sua percepção da atividade de programação. A intenção é fornecer insights valiosos que possam informar práticas pedagógicas inovadoras na educação em programação, bem como contribuir para a literatura de pesquisa existente sobre a aplicação de inteligência artificial na educação.

Justificativa

As habilidades de programação estão cada vez mais sendo reconhecidas como fundamentais em uma ampla gama de disciplinas acadêmicas e campos profissionais. No entanto, aprender a programar apresenta desafios consideráveis para muitos alunos, devido à sua natureza intrinsecamente complexa que requer habilidades avançadas de abstração e raciocínio lógico (Loksa et al., 2016). Neste cenário, a assistência individualizada por professores ou colegas mais capazes na aprendizagem de conteúdos desafiadores como a programação tem um papel essencial (Bloom, 1984). A orientação direcionada e a atenção individual podem ter um impacto positivo significativo na absorção e aplicação desses conceitos. No entanto, os professores frequentemente se encontram sobrecarregados, com recursos limitados e grandes turmas, dificultando a oferta de uma assistência individualizada a cada aluno.
Portanto, diante desse contexto, é crucial investigar e implementar novas ferramentas e métodos que possam apoiar e potencializar o processo de ensino e aprendizagem da programação, auxiliando tanto os alunos quanto os professores nesse desafio. Um recurso promissor nessa direção são os Sistemas Tutores Inteligentes (STI) (VanLehn, 2011; Woolf, 2009). Essas ferramentas de IA são capazes de fornecer feedback personalizado aos estudantes, monitorar seu progresso e adaptar os conteúdos de aprendizagem conforme as necessidades específicas de cada aluno. Contudo, o desenvolvimento desses sistemas é complexo e requer um esforço significativo de uma equipe multidisciplinar para a construção, programação e inserção de conteúdo (Woolf, 1984).
Uma alternativa promissora parecem ser os Modelos de Linguagem de Grande Escala (LLMs) como o ChatGPT, que tem como principal função gerar textos coerentes e contextuais com base nos dados de treinamento que recebem (Floridi; Chiriatti, 2020). Essas ferramentas têm a capacidade de entender e responder a consultas em linguagem natural, o que permite uma interação fluída e intuitiva com os usuários. Ao serem empregados como assistentes de aprendizagem, os LLMs oferecem vantagens significativas, incluindo a disponibilidade constante para responder a dúvidas, a capacidade de fornecer explicações detalhadas e adaptadas ao contexto, e a habilidade de auxiliar na resolução de problemas complexos por meio de sugestões e orientações (Kasneci et al., 2023; Lo, 2023). Estes atributos podem ser especialmente úteis no contexto de ensino, onde a assistência individualizada e o feedback imediato são essenciais para a aprendizagem eficaz. Entretanto, a eficácia desses modelos na aprendizagem de programação permanece relativamente inexplorada, tornando a realização de pesquisas nesse campo não apenas relevante, mas necessária para melhor compreender a utilização eficaz dessas ferramentas no ensino de programação.

Metodologia

Este projeto de pesquisa seguirá uma abordagem de método misto em um estudo transversal, combinando elementos quantitativos e qualitativos para oferecer uma visão abrangente e multifacetada da experiência de aprendizagem dos alunos com o ChatGPT no ensino de programação. As etapas são detalhadas a seguir:

Elaboração do Contexto de Aprendizagem: Nesta fase inicial, serão desenvolvidos contextos nos quais estudantes de programação interagirão com o ChatGPT em tarefas teóricas e práticas ajustadas ao seu nível de conhecimento. O foco será na resolução de problemas comuns em ciências da computação, como algoritmos de ordenação e estruturas de dados.

Seleção dos Participantes: Estudantes de ciência da computação em estágios iniciais de aprendizado em programação serão escolhidos para o estudo, baseados nos critérios de inclusão e exclusão supracitados.

Preparação do ChatGPT: O ChatGPT será configurado para servir como um parceiro ("peer") de programação, pretendendo simular um nível de conhecimento em programação equivalente ao dos participantes humanos do estudo. Para alcançar essa adaptação, será empregada a "engenharia de prompt", uma técnica que envolve a formulação cuidadosa e o ajuste de perguntas e instruções (os "prompts") que são fornecidos ao modelo. A engenharia de prompt é crítica para guiar o ChatGPT a produzir respostas mais alinhadas com o objetivo pedagógico do projeto, permitindo uma interação mais eficaz e instrutiva com os alunos. Esta abordagem é baseada nos trabalhos de Mollick & Mollick (2023) e Atlas (2023), entre outros, que estabelecem diretrizes para a eficaz adaptação de modelos de linguagem para tarefas de aprendizagem.

Intervenção: Os alunos irão interagir com o ChatGPT em tarefas específicas de programação. O "Registro da Sessão de Interação com o ChatGPT" e o monitoramento dos "exercícios e soluções de programação fornecidas pelos alunos" serão realizados para capturar indicadores quantitativos como taxa de conclusão das atividades, tempo de interação e frequência de perguntas específicas.

Coleta de Dados: Como componente quantitativo, serão coletados dados de registros de sessão e de exercícios e soluções de programação fornecidas pelos alunos. Como componente qualitativo, todas as sessões serão documentadas por meio de gravações de vídeo da tela dos dispositivos utilizados pelos alunos. Após a fase experimental, entrevistas semiestruturadas serão realizadas para discutir as experiências dos alunos.

Análise de Dados: Os dados coletados serão analisados utilizando técnicas quantitativas e qualitativas. Isso inclui análises estatísticas dos indicadores quantitativos e análises temáticas das entrevistas semiestruturadas e das gravações de vídeo.

Revisão e Iteração: Com base nas análises, poderão ser feitas revisões e melhorias tanto no contexto de aprendizagem quanto na preparação do ChatGPT para futuras implementações.

Indicadores, Metas e Resultados

Os resultados deste projeto têm o potencial de contribuir significativamente para a teoria e prática educacional em ciências da computação, fornecendo insights valiosos sobre a aplicação da IA no ensino de programação. Adicionalmente, os resultados deste estudo poderão implicar futuros desenvolvimentos de ferramentas de aprendizado baseadas em IA, contribuindo para o aprimoramento contínuo da qualidade e eficácia do ensino em ciências da computação.
O desfecho primário deste projeto de pesquisa é avaliar a eficácia do uso do modelo de linguagem ChatGPT como ferramenta de aprendizado na programação para estudantes de ciências da computação em fase inicial. A eficácia será avaliada por meio de uma variedade de indicadores quantitativos e qualitativos.
No aspecto quantitativo, será medida a alteração no desempenho dos estudantes em tarefas de programação antes e depois da interação com o ChatGPT. Isto pode incluir a avaliação das habilidades de resolução de problemas, a precisão e a eficiência do código escrito pelos alunos, e a compreensão conceitual de tópicos de programação.
No aspecto qualitativo, a eficácia será avaliada por meio da análise das experiências dos alunos ao interagir com o ChatGPT. Isto pode envolver a análise das entrevistas e respostas dos questionários para avaliar a percepção dos alunos sobre a utilidade e facilidade de uso do ChatGPT, bem como a sua satisfação geral e o seu envolvimento durante a aprendizagem.
Finalmente, os dados de utilização do ChatGPT pelos estudantes serão analisados para identificar os padrões de interação e entender como os estudantes estão integrando esta ferramenta nas suas estratégias de aprendizagem.

Equipe do Projeto

NomeCH SemanalData inicialData final
ANDERSON PRIEBE FERRUGEM1
CRISTIAN CECHINEL1
LEONARDO PINTO MANETTI
LISANE BRISOLARA DE BRISOLARA2
LUCAS MENDES TORTELLI
LUCIANA FOSS1
MARILTON SANCHOTENE DE AGUIAR1
PATRICIA AUGUSTIN JAQUES MAILLARD10
RODRIGO MASCARENHAS COSTA
SIMONE ANDRE DA COSTA CAVALHEIRO1
TIAGO THOMPSEN PRIMO1

Página gerada em 29/05/2024 18:12:59 (consulta levou 0.207443s)