서술형 논술형 평가에 AI를 도입한 시스템을 활용하는 평가법 연수가 있어 신청을 했더랬다. AI가 교육현장에 활용되는 모습은 언제나 흥미진진한 분야가 많다. 그 중에서도 가장 최종적인 종착점이라고 할 수 있는 평가 부분에 있어 AI가 도입이 된다고 하니 귀가 번쩍 뜨여 연수 신청했다는 것! 거기다가 자동화 평가 시스템을 적용하는 평가가 자그마치 서술형 논술형 평가이다.
AI활용 서술형 논술형 평가 시스템의 특징
학생들이 문장으로 기술한 답안을 AI가 분석하여 사전에 설계된 평가기준에 따라 평가가 자동으로 이루어지는 시스템이다. 연수를 신청하면서 과연 aI를 활용한 평가가 교육현장에서 유용하게 쓰일 수 있을지 기대를 했는데… 과연 어떨지?
AI평가에 활용되는 기반 ai는 네이버의 ai인 X라고 한다.
일단 직접 이 평가 시스템을 실습해 본 뒤 한 마디로 정리하자면 아직 서술형 논술형 평가 AI 시스템은 부족한 게 많다는 게 결론이다.
어떤 점이 그런지 하나하나 자세히 알아보자.
ai에게 학생들의 답안지를 전달하는 방식조차 AI라는 단어에 어울리지 않을 만큼 아날로그하다. 솔직히 이런 방식을 써야 한다는 부분에 조금 놀랐다. 전혀 자동화스럽지도 않고 AI스럽지 않다고나 할까? 교사가 AI 서술형 논술형 평가를 실시하기 위해서는 기존처럼 직접 종이에 인쇄하여 배부한 뒤 학생들은 시험을 연필로 치르고, 교사는 학생들의 답안지를 모두 스캔한 뒤 이 파일을 AI에게 읽혀(업로드)주어야 한다.
와우! 그야말로 입력 방식이 매우 수동적이고 아날로그하다.
AI 활용 평가라는 단어에서 떠오르는 이미지는 평가의 전반적인 시스템을 AI가 자동화해줄 것이라고 당연히 생각했는데 지금의 AI평가 시스템은 거기에는 한참 못 미치는 듯 한 모양새다. 말 그대로 평가만 AI가 해주는 시스템에 가깝다.
게다가 더 재미있는 사실은 답안지를 보고 답안지에 쓰여있는 학생의 이름을 인식하여 AI가 평가자와 평가내용을 구분하거나 이름을 인식조차 하지 못한다. 무슨 말이냐면 학생들의 답안지를 교사 모두 일괄로 한꺼번에 스캔하여 학생 모두의 답안지를 스캔파일 묶음으로 입력하면 일괄로 스캔을 하게 되어 수십페이지의 문서 파일이 되는데 이 문서의 어디서부터 어디까지가 어느 특정 학생의 답안지인지 인식을 자동적으로 못한다는 말이다.
따라서 교사가 학생 한 명당 답안지 페이지가 몇 페이지이며 평가자의 답안 페이지가 몇 페이지에서부터 시작인지조차 처음부터 일일이 지정을 해주어야 하고 중간에 미응시자가 있다면 이것도 교사가 미리 미응시 체크를 해주어야 한다. (즉, 자칫하다간 평가 결과와 학생이 제대로 매치되지 못하고 한 명씩 뒤로 밀리는 상황이 얼마든지 일어날 수 있다는 뜻)
이런 번거로움을 감수함과 동시에 교사는 한 가지 일이 더 늘게 되었는데 바로 채점기준을 매우 정량적이면서도 구체적으로 기입해야 한다는 것이다. 평가자가 인간 교사라면 의례히 알아듣고 넘어갈 수 있는 채점의 기준도 AI는 처음부터 명확히 해줘야 한다.
즉, 평가의 정확도를 높이기 위해 채점기준에서 벗어나는 예외가 없도록 엄청나게 구체적이고 치밀해야 한다는 것인데 실제로 해보니 이 채점기준을 꼼꼼하게 구성하느라 그채점기준 분량이 엄청난 분량이 되어버린다.
교사가 평가를 이 시스템으로 설계하고 실시한다고 가정해보면 사실 이 채점기준 설계 작업에 대한 부담과 번거로움이 매우 클 것으로 예상된다. AI를 평가에 활용하는 목적이 교사의 부담을 덜어주고 보다 정확도를 높이기 위한 목적일텐데 지금 시스템은 오히려 교사를 더 번거롭게 한다. ai가 채점기준을 정확하게 이해시키기 위해 더 많은 노력을 기울여야 하기 때문이다.
교사의 입장에서는 aI를 길들이는(?) 노력을 할 바에는 그 노력으로 직접 설계하고 채점을 하는 게 더 쉽고 수월해 보인다.
장점
자동화된 통계와 데이터
그럼에도 불구하고 이 AI평가의 좋은 점이 아예 없는 것은 아니다. AI이기 때문에 강한 부분이 있는데 바로 모든 것을 데이터화한다는 점이다.
일단 전체적인 학생들의 성적 분포와 평균 점수 등의 정확한 통계가 자동으로 생성된다.
정확하고 구체적인 피드백
학생들 각자에 대한 정확하고 일관적인 피드백이 가능하다. 문장의 의미와 문장들간의 논리적인 연관성 같은 부분, 글의 전체적인 조직과 같은 면을 AI가 꽤 잘 인식하고 진단했는데 이를 바탕으로 학생 각자의 문제점과 강점을 정확하게 파악하여 이를 피드백 해준다.
OCR 인식
초등학교의 경우 학생들이 아직은 컴퓨터 자판에 익숙하지 않으며 직접 필기를 하는 경우가 많기 때문에 서술형 논술형 평가는 손글씨가 필수이다. 학생들이 쓰는 훈련이 과거보다 덜 되어 있는 만큼 학생들의 글씨체는 아주 버라이이어티하기 마련인데 생각보다 AI가 비교적 이 손글씨를 제대로 인식하는 편인 듯 하다.
연수를 진행하는 선생님도 말하길 해보니 생각보다 글씨 인식을 잘하더라 라는! 아무래도 앞뒤 맥락을 패턴에 따라 확률 높은 쪽으로 선택하는 인공지능의 특성상 알고리즘이 많이 발달해서 그렇지 않을까 조심스레 추측해본다.
단점
교사의 부담을 덜어주진 못한다
교사의 평가부담을 덜어주지는 못할 예정 (평가 전과정에 전보다 더 많은 교사의 시간과 노력이 들어가야 함)이라는 점이다. 일단 학생들에게 평가지를 기존과 같이 배부해야 하며 평가를 진행하기 위해 스캔까지 해야 한다. 게다가 AI의 예측못한 예외사항을 대비하기 위해서는 검토는 필수이고 채점기준을 매우 구체화해야 한다. 전혀 평가의 부담이 덜어지는 것 같지가 않다. 오히려 평가의 본질에서 멀어진 잡다한 일들이 더 늘어난 느낌이다.
생각보다 자동적이지 않다
AI가 학생의 답안지를 스스로 구분하여 인식하지 못한다. (이걸 왜 못하는 걸까? 신기하다.)
한 페이지에 구분되어 있는 답안도 구분하지 못한다. 예를 들어 한 페이지에 문제 1의 답과 문제2의 답을 위에서부터 순서대로 적었다고 해보자. 지금의 평가 시스템은 이 두 개의 답안을 구분하지 못한다.
수업과 연계되지 못함
AI수업 플랫폼과의 연계가 되지 않는다. AI활용 서술형 논술형 평가 시스템은 기존의 AI수업 플랫폼과 자동으로 연계가 되지 않는다. 즉 평가는 별도로 이루어져야 한다는 것! 이게 수업 장면을 상상해 보면 좀 웃긴 상황이 되는데 학생들은 노트북으로 AI플랫폼 수업을 하고 있다. 학생들은 AI플랫폼을 활용한 수업을 태블릿 PC 또는 노트북을 이용하여 진행하는데 평가는 종이로 된 평가지를 이용해야 하는 상황! 뭔가 평가와 수업이 따로 노는 듯한 느낌이 든다.
결론
결국은 학교현장에서 이 평가 시스템을 직접 적용해봐야 보다 정확히 이 녀석이 파악이 될 것 같다. 하나의 완성된 형태의 글이 답안이 되는 논술형평가에 시범적으로 채점 적용을 해봐야겠다.