ChatGPT는 정말 훌륭한 개인 과외 선생님입니다!

아주 좋네

나도 비슷하게 하고 있어! 지금 일본어 공부 중인데, 수업 노트를 업로드하고 좀 더 추상적인 문법 개념을 설명해 달라고 해.

사실이야. 이와 관련된 연구들도 이미 나와 있어.

"인지 능력 저하"

아니, 그건 틀린 말이야.

그건 잘못 사용했을 때의 이야기지.

제대로 사용하면 정반대의 효과가 나타나.

https://www.nature.com/articles/s41598-025-97652-6

"AI 그룹의 학생들은 중간값(M) 사후 점수(M=4.5, N=142)가 수업 내 능동 학습 그룹(M=3.5, N=174)보다 높게 나타났다. AI 과외를 받은 학생들의 사전 테스트 기준(M=2.75, N=316) 대비 중간 학습 향상도는 수업 내 능동 학습 그룹 학생들보다 두 배 이상 높았다."

저하를 시사하는 다른 연구들도 있지만: https://www.sciencedirect.com/science/article/pii/S2590291125010186

하지만 핵심은 그 연구들이 계속해서 '규제되지 않은 사용'과 '오남용'을 강조하고 있다는 거야.

"제한 없는 ChatGPT 사용은", "ChatGPT에 대한 무제한 접근이" 같은 문구들이 쓰였지.

네이처 연구도 이에 동의했어.

연구 시작 부분에서 이렇게 말하지:

"이 모델들이 기술적인 질문에 답할 수는 있지만, 무분별하게 사용하면 학생들이 비판적 사고 없이 과제를 끝내게 된다. 결국 AI 챗봇은 학습을 촉진하기보다는 도움을 주도록 설계되었다. AI는 교육학적 모범 사례(예: 능동적 학습 촉진, 인지 부하 관리, 성장 마인드셋 고취)를 따르도록 훈련되지 않았다. AI 과외의 또 다른 잘 알려진 결함은 틀린 답을 주거나 정답을 오답으로 표시할 때도 기이할 정도로 자신만만하다는 것이다. 여기서 보고된 바와 같이, 최신 GAI 기술을 사용하여 적절하게 설계된 AI 과외 시스템은 이러한 도전 과제를 극복할 뿐만 아니라, 인터넷만 연결되어 있다면 누구나 세계적 수준의 교육을 받을 수 있는 환경을 제공할 수 있다."

———

그러니 이 연구들은 서로 충돌하는 게 아니야. 결국 "좋은 데이터를 넣으면 좋은 결과가 나오고, 쓰레기를 넣으면 쓰레기가 나온다"는 메시지로 귀결되지.

잘 쓰면 좋은 거고, 못 쓰면 나쁜 거야.

참고로 네이처 연구는 GPT-4를 사용했는데, 이건 오늘날 기준으로 보면 매우 멍청한 원시적인 모델이야. 말 그대로 40억 파라미터 모델(GPT-4는 수천억 개였지)이 4GB VRAM 노트북이나 스마트폰에서도 돌아가는데, 지금은 그 시절의 GPT-4보다 훨씬 똑똑해졌고, 2026년의 최첨단 모델들은 그 수준을 완전히 뛰어넘을 거야.

맞아, 정말 대단해. 교사를 대체하기까지 시간문제일 뿐이야. 아니면 '교사를 보조한다'고 말하면 다들 기분 좋게 받아들이겠지. 내 온라인 대학 수업 절반은 교사가 내 과제를 확인조차 안 한 것 같아 ㅋㅋ 그런데도 수천 달러를 내야 했지.

내가 다니는 어학원 선생님들도 발표 자료 만들 때 AI를 써. 사실상 그 과정은 이미 시작된 거야.

구술 시험 중에 ChatGPT 프롬프트 활용법을 찾다가 이 서브레딧을 알게 됐어.

나중에 검색할 사람들을 위해 여기 남겨둘게:

요약하자면, 난 아침에 일어나자마자 수학 문제를 풀어. 이게 하루 종일 정신을 맑게 유지하는 데 도움이 되더라고. 너도 똑같이 한다면 댓글 맨 아래의 불릿 포인트로 바로 넘어가도 돼. 이어지는 내용은 굳이 읽을 필요 없는 히스토리니까, ChatGPT 프롬프트 문제에 대한 해결책을 바로 보고 싶다면 건너뛰어도 좋아.

처음에는 ChatGPT한테 간단한 규칙을 정해주고 무작위로 수학 문제를 내달라고 했는데, 내가 맞았는데도 틀렸다고 하거나 그 반대인 경우가 반복되기 전까지는 잘 작동했어. 프롬프트를 바꿔가며 몇 주 동안 씨름했지.

그래서 수학 문제지를 업로드해서 챗봇이 그 문제지 안에서만 문제를 내도록 했어. 이건 몇 주 동안은 별 탈 없이 잘 작동했지. 그런데 문제가 실제로 업로드한 시트에서 나오는 건지 확인하기 시작하면서 다시 좌절이 찾아왔어. 처음엔 규칙에 맞는 수학 문제만 내주면 되니까 상관없다고 생각했거든. 하지만 오답/정답 판정을 잘못하는 문제가 다시 불거지면서 원점으로 돌아왔지. 어쩌면 몇 주 전부터 이미 궤도를 벗어났는데 내가 눈치를 못 챘던 걸지도 몰라. 첫 번째 좌절은 멈춘 것 같았지만, 다른 문제가 생겼던 거지. 아니면 그렇게 생각했던 걸지도. 계속 스크립트를 벗어나고 있었던 것 같아. 계속 물어보니까 자기가 문제를 지어낸 거고 시트에 있는 게 아니라고 인정하더라고.

이런 오류가 거의 매일 아침 계속됐어. 정말 지쳤지. 다른 채팅방에서 조언을 얻어 프롬프트를 수정해 봤어. "TRUTHMODE"를 포함해서 다들 추천하는 방법을 다 써봤지. 오늘 아침까지도 좌절은 계속됐어. 너무 지쳐서 챗봇한테 프롬프트를 그대로 반복했는데도 안 지키면 어떤 벌을 받아야겠냐고 물어보기까지 했어. 그냥 좀 웃고 싶었나 봐. 웃기든 아니든, 챗봇은 자기가 제안한 '벌'을 받은 뒤에도 계속 스크립트를 벗어났어.

ChatGPT와 돌파구를 찾은 것 같아. 시간만이 알겠지.

만약 자료를 퀴즈로 풀려고 시트를 업로드했는데 챗봇이 자꾸 스크립트를 벗어나서 짜증 난다면, 다음 방법을 써봐.

● 시트 업로드 ● ChatGPT에게 답을 제외하고 문제 페이지 전체를 읽으라고 시켜. (이 부분은 볼륨을 줄여놔)
● ChatGPT에게 순서대로 문제를 읽으라고 시켜 (함께 사용할 다른 프롬프트와 같이).
-내 프롬프트는 간단해. a) 시트를 보고 모든 답이 맞는지 확인하고, 반복되는 문제가 없는지 확인해. b) 숫자 순서대로 문제를 읽고 정답인지 오답인지만 말해. 오답이면 문제를 반복해. 정답이면 다음 문제로 넘어가. 참고 이 방식을 시작한 이후로는 이 프롬프트를 따로 줄 필요가 없어. 매번 이 과정을 기억하거든. "추가 프롬프트가 뭐야?"라고 독자가 혼란스러워할까 봐 말 안 하려 했는데, 별거 아니야.

도움이 됐으면 좋겠어. 만약 나중에 또 문제가 생겨서 수정이 필요하다면, 다시 와서 이 댓글을 삭제할게. 그건 이 방법이 유효하지 않다는 뜻이니까.

사실이야.

물론 AI 출력물은 항상 검증해야 하지만, 기술이 발전할수록 정답일 확률도 높아져. 신경망 기반의 챗봇 프롬프트는 단순 검색으로는 연결할 수 없는 정보를 잇는 환상적인 방법이야.

마치 'Raise Corpus' 주문을 걸어놓은 믹서기 속의 책들 같달까. 살아있는 건 아니지만, 이제 스스로 말할 수 있게 된 거지. 인덱스를 훑고, 394페이지를 찾고, 페이지를 훑어서 답을 찾고, 저자의 설명이 내가 필요한 답을 주지 않아 실망할 필요가 없어. 대신 코퍼스가 그 모든 걸 대신해주고, 심지어 주어진 정보를 확률적으로 추론해서 원래 저자가 설명하지 않은 방식으로까지 설명해 줘.

그리고 답을 모르면, 아주 매끄럽고 자신만만하게 지어내기도 하지... 말했듯이 검증이 중요해. 지식이 전문적일수록 제대로 추측할 확률은 낮아져.

난 일본어 말하기 연습용으로 쓰고 있어. 실수가 좀 있거나 오해해서 자료에서 벗어날 때도 있지만, 인터뷰 연습하기에는 충분히 도움이 돼.