▲ChatGPT를 필두로 한 거대언어 모델. 제공=경복대
남양주=에너지경제신문 강근주기자 경복대학교 허서윤 교수가 순천향대학교 박진혁 교수와 함께 한국보건의료인국가시험원(국시원)에서 주관하는 한국 작업치료사 면허시험에 ChatGPT 3.5 모델을 적용, 새로운 교육방법을 제시하며 학계 주목을 받고 있다.
거대언어모델(Large Language Model, LLM)은 인간 언어를 이해하고 생성하는데 특화된 인공지능 기술로, 이 중에서도 ChatGPT는 딥러닝 알고리즘과 통계 모델을 통해 자연어 처리에 뛰어난 성능을 보이며 다양한 분야에서 활용되고 있다.
허서윤 교수는 “ChatGPT는 생의학 및 임상 과학을 포함한 복잡한 지식을 처리하는 능력을 갖추고 있어, 최근에는 미국 의사면허시험(USMLE)에서도 90% 이상 높은 점수를 기록한 바 있다. 이는 AI 기반 학습도구가 의학교육과 개념 이해에 있어 중요한 역할을 할 수 있음을 시사한다"고 말했다.
이처럼 의료분야에서 ChatGPT를 포함한 거대언어 모델 활용에 대한 연구는 활발히 진행되고 있지만 국내 면허시험에 이를 적용한 사례는 드물어 아쉽다는 목소리가 많았다. 허서윤 교수팀은 이런 한계를 극복하고자 한국보건의료인국가시험원이 공개한 2018년부터 2022년까지 한국 작업치료사면허 시험문항에 ChatGPT 3.5를 적용, 그 성능을 분석하는 연구를 진행했다.
연구팀은 ChatGPT 3.5에 최근 5개년간 작업치료사 면허시험 문항을 학습시키고, 다양한 각도에서 해석할 수 있는 파인튜닝(fine tuning) 과정을 거쳐 국시원에서 공개한 정답과 비교해 ChatGPT 성능을 평가했다.
그 결과, 면허시험 합격 기준인 60% 정확도는 달성하지 못했으나 문화적 특성에 영향을 받는 의료법규 관련 문항을 제외한 전공지식 문항에선 높은 정확도를 기록했다.
이울러 세 명의 독립 평가자가 기록한 ChatGPT의 답변 일치도가 통계적으로 높은 신뢰도를 보였다는 점에서, ChatGPT의 활용 가능성은 단순한 도구를 넘어 고차원적인 교육도구로 재조명됐다.
허서윤 교수는 이번 연구에 대해 “보건의료 분야 교육혁명에 거대언어 모델(LLM)과 ChatGPT를 적용할 수 있는 대학교육 혁신방안은 AI 기반 맞춤형 학습 시스템 도입, AI 시뮬레이션 기반 실습 강화, AI를 활용한 평가와 피드백 자동화로 요약될 수 있을것"이라며 “이번 연구는 이런 혁신방안을 실제 대학교육에 적용할 수 있는 근거를 마련한 중요한 성과"라고 평가했다.
이번 연구결과는 'Performance of ChatGPT on the National Korean Occupational Therapy Licensing Examination'이란 제목으로 국제 학술지 Digital Health(IF: 3.9, Health Policy & Service 분야 Q1, 2022 JCR 기준) 2024년 제10권에 게재됐다.
한편 허서윤 교수는 국시원 정부과제인 2023년도 자유주제 위탁연구과제 '물리치료사 국가시험에서 출제 빈도가 높은 질환과 실제 임상에서 발생하는 다발성 질환에 대한 비교분석 연구'에서도 연구자로 참여해 종합평가 결과 전국 대학 중 1위로 과제를 수주하는데 일조했으며 올해 최종보고서를 국시원에 제출 완료했다.
;){kind=link}