교수도 챗GPT 배운다… 노트르담대 교수진, AI 교육에서 평가 방식 재검토

미국의 노트르담 대학교가 실시한 ‘AI 아카데미’가 25명의 대학 강사를 대상으로 한 생성형 AI 교육 프로그램에서 주목할 만한 성과를 거두었다. 이 연구는 학생이 아닌 교수진의 AI 활용 능력 향상에 초점을 맞춘 선구적인 시도로, 고등교육에서 AI 통합의 새로운 방향을 제시하고 있다. 노트르담 대학 연구진이 발표한 논문에 따르면, 이번 AI 교육 프로그램의 특별한 점은 참가한 교수들이 직접 AI 능력을 평가하는 도구를 만들고 수정했다는 것이다.

교수들이 직접 만든 AI 능력 평가 방법

연구진은 애너푸레디(Annapureddy) 등이 제시한 ‘생성형 AI 능력 12개 핵심 역량’ 틀을 바탕으로 처음 설문지를 만들었지만, 교육이 진행되면서 교수들의 의견을 적극 반영했다. 마지막 수업에서 교수들은 ‘당신의 학과에서 AI 능력 리더 되기’라는 활동을 했다. 각 그룹은 10개의 설문 항목을 받아서 자신의 전공 분야에서 가장 관련성이 높거나 낮은 항목을 찾고, 문구를 비판하며, AI 능력 리더로서 동료나 학생들을 어떻게 안내할지 논의했다.

교수들은 AI 기술이 빠르게 변하고 있고 개인의 자가 평가가 신뢰할 수 없을 수 있다는 점을 고려해 설문 언어가 확실성을 과장하지 않도록 주의를 요구했다. 예를 들어 “I understand”를 “I am beginning to develop an understanding”으로 바꾸자고 제안했다. 또한 투명성 관련 질문에서 교수진에게 적용되는 것인지, 학생에게 적용되는 것인지 명확히 해달라고 요청했다.

“프로그래밍과 세부 조정” 범주는 강사들이 교육 실무와 관련성이 없다고 언급한 후 완전히 제거됐다. 저작권과 출판 관련 별도 항목들은 “생성형 AI 도구로 제작한 교육 자료 사용 및 공유의 법적, 저작권적 함의”라는 하나의 간소화된 항목으로 합쳐졌다.

프롬프트 작성·윤리 인식 등 6개 핵심 영역에서 유의미한 성장

교육 전후 설문조사 결과, 교수들은 9개 AI 능력 영역 중 6개에서 통계적으로 의미 있는 향상을 보였다. 특히 AI 결과물 평가하기, 상황별 지식, 지속적 학습, 윤리적 영향, 프롬프트 작성 기술, AI 도구 사용 능력에서 크게 나아졌다. 법적 지식 영역에서도 어느 정도 향상이 나타났다.

하지만 AI가 만든 내용 찾아내기와 AI 능력과 한계에 대한 지식 영역에서는 의미 있는 변화가 관찰되지 않았다. 프로그램 진행자 F1은 이를 “의식적 무능력”이라고 설명했다. “참가자들이 더 의식적으로 능력을 갖게 되어 자신들이 얼마나 더 많은 것을 배워야 하는지 깨달았기 때문에 사후 점수가 사전 점수와 매우 비슷하게 나왔다”고 분석했다.

‘AI 금지’보다 ‘평가 방식 혁신’으로 전환한 교수들의 실무 변화

참가자들의 학습 일지 분석 결과, AI 교육 프로그램은 교수들의 실제 교육 업무 변화를 이끌어냈다. 참가자 P2는 “프롬프트 작성 기술에 대해 많이 배웠고, 이는 아카데미의 다른 모든 작업에 필수적”이라고 평가했다. 참가자 P7은 “오늘 처음으로 ‘생성형 AI’라는 용어가 정확히 무엇을 의미하는지, 그리고 그것이 LLM과 어떻게 다른지 이해했다”고 개념을 명확히 이해했다고 밝혔다.

실제 적용 면에서 참가자 P1은 “이제 AI를 과제, 퀴즈, 토론 질문 작성에 더 자주 사용한다”고 보고했다. 하지만 동시에 윤리적 우려도 나타났다. 참가자 P2는 “AI가 모든 학생 과제를 생산하는 디스토피아적 미래, 글쓰기 기술의 상실”을 우려했다.

특히 주목할 점은 교수들이 AI 사용을 단순히 금지하기보다는 평가 방식 자체를 근본적으로 다시 설계하려는 접근을 보였다는 것이다. 참가자 P16은 “내 수업에서 이런 유형의 활동을 감시하려고 시도하는 것이 매우 어렵고 시간 소모적이라는 것을 발견했다. 평가의 성격을 바꿔서 학생들의 학습과 AI에 지나치게 의존하는 것을 구별할 수 있도록 하는 것이 더 효과적이라고 생각한다”고 밝혔다.

‘교육학 우선, 기술 후순위’ 원칙과 동료 협력이 만든 성공 비결

프로그램을 운영한 6명과의 인터뷰에서는 AI 교육 프로그램이 효과적이었던 핵심 요소들이 드러났다. 운영자 F1은 “기술은 마지막이어야 하고, 교육학이 항상 먼저 와야 한다”며 교육 방법을 우선시하는 접근법의 중요성을 강조했다.

프롬프트 작성 기술이 핵심 능력으로 반복 강조됐다. F1은 “프롬프트 엔지니어링은 가장 크고 중요한 핵심 능력 중 하나”라고 설명했다. AI 탐지에 관해서는 F3이 “AI 생성 콘텐츠라고 정확히 말할 수 있는 도구는 없으며, 대학으로서 우리는 그 방향으로 나아가지 않고 있다”고 밝혔다.

동료 간 협력도 중요한 요소였다. F5는 “사람들이 함께 모여 활동을 파악하고 서로의 결과를 보면 모든 사람의 기술 수준과 세션에서 배운 것이 향상됐다”고 그룹 활동의 역할을 강조했다.

FAQ (※ 이 FAQ는 본지가 보고서를 참고해 자체 작성한 내용입니다.)

Q1: 이 AI 교육 프로그램은 일반적인 AI 교육과 어떻게 다른가?

A1: 이 프로그램은 단순한 기술 사용법 교육이 아니라 교육 방법에 대한 깊은 생각과 동료 학습을 결합한 프로그램이다. 참가자들이 직접 평가 도구를 개발하고 수정하는 참여 방식을 사용해 교수들을 책임감 있는 AI 사용의 설계자로 만들었다.

Q2: 왜 일부 AI 능력 영역에서는 향상이 없었나?

A2: AI가 만든 내용 찾아내기와 AI 능력 한계 인식 영역에서 향상이 없었던 것은 참가자들이 “의식적으로 모르는 상태”에 도달했기 때문이다. 즉, AI의 한계와 불확실성을 더 정확히 인식하게 되면서 오히려 자신의 부족함을 깨달은 것으로 해석된다.

Q3: 이 연구 결과가 다른 대학에도 적용 가능한가?

A3: 연구는 미국의 한 사립대학에서만 진행돼 일반화에 한계가 있다. 하지만 참여형 설문 개발, 교육 방법 우선 접근법, 동료 학습 강조 등의 핵심 설계 원칙은 다른 교육기관에서도 활용 가능하다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Teaching the Teachers: Building Generative AI Literacy in Higher Ed Instructors

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.