2022년 11월 공개한 이래, 1,750억 개의 매개변수를 가지며 GPT 3.5에 기반을 둔 OpenAI社의 대화형 인공지능 ChapGPT*가 전세계적으로 큰 관심을 받고 있다. ChatGPT**는 사용자가 질문을 통해 원하는 답변을 얻는 방식으로, 자료를 검색하거나, 자연어를 코딩으로 변환하거나, 시를 쓰거나, 문헌을 분석하는 등 다양한 목적으로 활용이 가능하다.

ChatGPT는 대화 형식으로 사용자와 인공지능 간 상호작용을 통해 사용자가 원하는 정보를 습득하고, 더 나아가서 답변들을 종합 분석하여 통찰력을 얻을 수 있다는 점에서 Google, Naver 등 포털을 중심으로 정보 습득을 하던 시대에서, Youtube 등 동영상 플랫폼을 통해 정보를 습득하고 콘텐츠를 소비하는 시대로 넘어와 있는 정보 습득 패러다임의 다음 변화를 기대하게 한다[1]. 특히, 학술분야에서는 이미 ChatGPT가 공저자인 논문까지 출판되고 있는 실정이며[2-4], SicenceON과 같은 정보 서비스에서도 관련 기능을 고려할 필요가 있다.

이에 본 연구는 R&D 활동에 필수적인 문헌 작성에서 ChatGPT가 얼마나 도움을 줄 수 있으며, 또한 효율적인지를 확인하고자, 영어 및 한글 문헌을 작성하는 전과정을 설계하고, ChatGPT와 Google Translator를 이용하여 실제 작성해 봄으로써 그 가능성과 이슈를 확인하고자 한다.

본 논문의 구성은 다음과 같다. 제 2장에서는 ChatGPT를 이용한 문헌 작성 구성을 제안하고, 실예를 보인다. 제 3장에서는 R&D 관점에서 ChatGPT의 역할과 이슈를 알아보며, 마지막 장에서는 결론을 기술한다.

본 연구는 ChatGPT를 이용하여 영어 및 한글문헌을 작성하는 과정을 <그림 1>과 같이 정의한다. 영어 문헌을 작성하는 경우에는 영한번역 단계를 생략하면 된다.

<표 1>은 ‘정보 서비스의 개념, 그리고 주요 기능과 알고리즘’을 설명하는 영어 및 한글 문헌을 작성한 예시를 보여준다. 우리가 정의한 4개의 문헌 구조를 기반으로 하여 7개의 단락으로 구성된 영어 및 한글 문헌을 최종적으로 작성하는 과정을 단계별로 확인할 수 있다.

7개의 질문을 ChatGPT에 입력하여 단락들을 생성하는 데 걸리는 시간은 각 단락 별 최대 수 초이내이며, 구글 번역기***를 통해 자동 번역하는 데 걸리는 시간 역시 실시간이라 할 수 있다. 교정은 우리가 직접 읽고 일부 문구를 수정하는 과정으로 수 분정도 소요되었다. 즉, 질문들이 정리된 이후에는 이를 이용하여 교정 과정을 포함하여 최종문헌을 작성하는 데 걸리는 시간은 대개의 경우 최대 10분 이내일 것으로 예상되며, 이는 기존 문헌 작성 속도와 비교할 수 없을 정도로 빠른 것이다. 질문 작성에 있어서의 핵심은 명확하게 요구하는 바를 표현해야 한다는 것인데, 이를 프롬프트 엔지니어링(Prompt Engineering)이라 하여 현재 활발히 연구되기 시작하고 있다.

ChatGPT에 의해 생성된 답변을 전혀 교정하지 않은 영어 문헌은 606개 단어, 3,932개 문자를 포함하는데, 가독성 점수(Readability Score)는 37점으로 대학생 수준에 해당하여 어느 정도 전문적인 내용을 담고 있다(<그림 2> 참조).

표절 검사는 Grammarly Premium Service*를 이용하여 수행하였다. 표절 검사 결과는 100% 원본으로 나왔는데, 즉 인터넷과 ProQuest’s 데이터베이스에서 동일한 문장을 찾지 못한 것이다. Grammarly 점수(Score)는 82점으로 Grammarly가 분석한 모든 콘텐츠 중 상위 18%내 속한다는 것을 의미하는 것으로, 작문 완성도가 높다는 것을 의미한다.

번역 후 교정된 한글 문헌은 451개 단어를 포함하며, 문자수는 공백 포함 1,862자이다. 7개의 문장으로부터 자동 생성하였기 때문에, 입력 문장 당자동 획득한 글자 수는 266자로 상당히 효율적이라고 할 수 있다. 교정 과정은 생성된 각 단락이 서로 자연스럽게 이어질 수 있도록 “이” “특히,”와 같은 대용어 또는 연결 문구를 추가하거나, 어말어미를 자연스럽게 수정하는 작업으로 한정함으로써 생성된 내용에 변형이 이루어지지 않도록 하였다(<표 1>에서 밑줄친 부분).

<그림 3>은 번역 후 교정된 한글 문헌에 대한 표절 검사 결과이다. 표절 검사는 CopyKiller에 기반을 둔 KCI** 문헌 유사도 검사 서비스***를 이용하여 수행하였다[5]. 유사율은 7%가 나왔으며, 5개의 유사 의심 문장이 발견되었다. 그렇지만, 이 문장들이 포함하고 있는 문구는 “쉽고 빠르게 접근할 수 있어 필요한 정보를 보다 쉽게 찾을 수,” “대해 자세히 알아볼 수 있는,” “쉽고 빠르게 정보를 찾을 수,” “주제에 대해 더 많이 배울 수 있도록”과 같이 일반적인 문구인 것을 알 수 있다. 즉, 해당 한글 문헌을 대상으로 한 표절 검사 결과, 표절을 발견할 수 없었다.

연구자는 <그림 4>와 같은 R&D 전주기 활동을 통해 논문, 보고서, 특허 등 다양한 문헌을 산출한다[6]. 전술한 바와 같이, ChatGPT를 이용하여 문헌을 작성해본 바, 연구 주제 선택부터 R&D 계획수립까지는 충분히 활용 가능할 것으로 보인다. 각 단계에서 ChatGPT에게 할 수 있는 질문으로는 다음과 같은 예가 있다.

• 연구 주제 선택: “What are the latest research topics in the field of A?” • 과거 연구 리뷰: “What are the studies that applied A methodology to field B?” • 문제 정의: “What is the issue raised in the paper?” • 방법론 선택: “Which methodology is suitable for A application using B algorithm?”

예를 들어, 문제 정의를 할 수 있는 능력이 있는지 확인하기 위해 “What is the issue raised in ‘Disaster management in smart cities by forecasting traffic plan using deep learning and GPUs’?”와 같이 질문을 입력하면[7], ChatGPT는 “The issue raised in “Disaster Management in Smart Cities by Forecasting Traffic Plan using Deep Learning and GPUs” is the potential of using deep learning and GPUs to predict traffic plans and how they could help reduce disaster management costs and improve safety in smart cities.”처럼 명확히 답변을 제시한다. 굵은 기울임 글씨체 부분이 해당 논문에서 다루고자 하는 기술적 이슈들이며, ChatGPT는 사용자가 요구한 기술적 이슈에 대한 이해를 할 수 있는 능력이 있다는 사실을 알 수 있다.

방법론 선택에 있어서도 적절한 답변을 제공하는 것을 알 수 있는데, 예를 들어, “Which methodology is suitable for predicting river flooding using deep learning?”와 같이 질문을 입력하면, ChatGPT는 “A deep learning model that is well-suited for predicting river flooding could use a recurrent neural network (RNN) to capture and analyze patterns from past flooding events in order to make predictions about future events. Alternatively, convolutional neural networks (CNNs) could also be used to extract relevant features from images or videos of rivers that are used to make flooding predictions.”처럼 세부 방법론과 활용 목적을 보여준다.

<그림 5>의 밑줄친 부분과 ChatGPT 답변을 비교해 보면, ChatGPT는 검색 대상이 되는 문서 내에서 질문에 대한 답변이 포함된 부분을 찾아내는 단순한 Q&A 시스템이 아님을 알 수 있다. 즉, ChatGPT는 단편적 정보를 동적으로 결합하여 자신만의 방식으로 리워딩 (Rewording)하여 답변을 하기 때문에, ChatGPT가 제시한 답변을 그대로 참고할 때 올바르지 않은 정보로 인한 문제가 발생할 가능성이 있다는 것을 의미한다. 어느 정도 알려지고 검증된 내용에 대한 답변은 사용자가 쉽게 판단할 수 있지만, 사용자도 전혀 알지 못하는 분야에서의 질문과 ChatGPT의 답변은 문맥상 그럴 듯해 보이지만, 실제 전혀 다른 내용이 제시될 수도 있다. 이러한 이슈는 여러 문헌 내용이 상충하는 역사적 사실이나 시간에 따라 바뀌는 통계적 수치에서 더욱 문제가 될 소지가 있다. 예를 들어, “What is South Korea's budget for 2022?”와 같이 우리나라의 2022년 예산을 묻는 질문을 5번 입력하여 다음과 같은 5개의 답변을 얻었다(파란색: 원화 기준, 빨간색: 미국달러 기준, 초록색: 2021년 대비 증가율). 놀랍게도 각 답변 형식도 모두 달랐지만, 수치가 일치하는 경우가 전혀 없었다. 또한, 2022년 국회에서 의결·확정된 예산은 607.7조원*으로 ChatGPT가 제시한 수치들이 모두 사실과 달랐다.

1. “According to the latest estimates from South Korea's Ministry of Strategy and Finance, South Korea's budget for 2022 is expected to reach 463.6 trillion won** (approximately $395 billion USD). This includes spending on public infrastructure, housing, defense, health care, education, innovative growth, and more.”

2. “South Korea's budget for 2022 is estimated to be around $462.3 billion USD. This includes expected expenditures on defense, infrastructure, science and technology, welfare, education, and other areas.”

3. “For 2022, South Korea's budget estimates a total expenditure of 464.3 trillion won* (approximately $417 billion USD). This is an increase of 2.4% from the 2021 budget.”

4. “South Korea's budget for 2022 is estimated to be around $453.3 billion USD, a 4% increase over the 2021 budget of $436.7 billion**. This budget will focus heavily on investment in new technologies, research and development, and infrastructure development to support South Korea's transformation into a digital economy.”

5. “According to the South Korean Ministry of Strategy and Finance, the 2022 budget is estimated to be around $475.6 billion***, a 4.5% increase from 2021.”

한국어 웹사이트나 정보에 대한 접근성 이슈로 인한 수치 오류일 가능성을 염두에 두고, 미국의 2022년 예산을 질문하여도, 4.8조 달러부터 7조 달러까지 다양한 답변을 제시하는 것으로 보아 웹 접근성 한계로 보기에는 무리가 있다.

참고문헌의 부재 역시 학술 문헌 작성 시에 이슈가 될 수 있는 부분이다. ChatGPT는 근거를 뒷받침하는 문구들을 포함하여 설명하는 특징이 있는데 (예를 들어, “According to the latest estimates from South Korea's Ministry of Strategy and Finance,”), 어느 자료를 참조했는지는 전혀 알 수 없다. 바꾸어 말하면, 참조하는 문헌 내 해당 부분을 제시할 수 있는 기존 Q&A 엔진과는 전혀 다른 방식으로 동작한다는 것을 의미한다.

ChatGPT는 분명 기존의 문헌 작성 방식을 획기적으로 바꿀 수 있는 패러다임의 변화를 제시하고 있다는 것을 부정하기 어렵다. 특히, 기존의 Q&A 방식을 넘어서는 능력은 R&D 활동의 다양한 단계에서 연구자의 R&D 결과물 생성에 도움을 줄 것으로 보인다. 그렇지만, 전술한 바와 같이 현재 버전에서는 자연스러운 거짓말 (Natural Lie)을 통해 가짜 데이터를 제공하는 경우도 많아 답변으로 제시된 데이터에 대한 검증에 신경써야 할 것이다. 특히, 여러 연구들에서 이미 ChatGPT가 빠른 학습 및 자가 학습 도구로서의 가능성을 발견하는 동시에, 오타없는 피싱 이메일 작성, 맬웨어 작성, 다양한 차별, 잘못된 정보에 대한 설득 등 부작용도 분명히 지적하고 있다[8,9]. 그렇지만, 분명 ChatGPT는 문헌 작성 과정에 필요한 창의적 아이디어 도출, 이슈 파악, 문제 해결 등에 있어서 의미있는 도움을 제공하여 미래 인공지능 사회에 대한 불안감을 줄일 수 있으므로, 이러한 활용 역량이 미래 사회 대학생들에게 필연적으로 요구된다[10,11]. 2023년에 공개 예정인 GPT-4에서는 100조 개의 매개변수를 사용함으로써 현재 버전의 500배 이상의 규모로 확대될 예정이라, 사용자가 ChatGPT의 답변에 대해 더욱 큰 신뢰도를 가질 것으로 예상되기 때문에 사실(Fact)에 대한 검증 기술 개발이 더욱 필요할 것이며, 인간 역시 단순한 검색 노하우를 가지고서는 생존하기 힘든 시기로 접어들 것으로 보이는 패러다임의 변화에 대비해야 하는 시기이다.