Computer Science Achievement and Writing Skills Predict Vibe Coding Proficiency

3줄 요약

1. ETH 취리히 연구진이 대학생 100명을 모아 사전등록 실험을 진행했다. 참가자들은 소스 코드를 한 줄도 볼 수 없는 환경에서 자연어 프롬프트만으로 GUI 앱을 만들었고, 연구진은 어떤 능력이 그 성과를 예측하는지 측정했다.
2. 컴퓨터과학 성취도와 작문 능력은 모두 바이브 코딩 성과를 유의하게 예측했다. 그런데 일반 인지 능력을 통제한 뒤에는 컴퓨터과학 성취도만 유의성을 유지했다. 두 변수를 함께 넣은 회귀 모형에서 컴퓨터과학 성취도의 고유 설명력은 작문 능력의 약 두 배였다.
3. 예상과 반대되는 결과도 하나 나왔다. 평소 LLM을 자주 쓴다고 답한 학생일수록 바이브 코딩 성과와 작문 점수가 모두 낮았다.

무엇을 물었는가

이 논문은 CHI 2026에서 발표될 예정이다. ETH 취리히의 Theo B. Weidmann과 Sverrir Thorgeirsson이 공동 제1저자이고, Zhendong Su가 함께 참여했다. 연구진이 던진 질문은 단순하다. 코드를 직접 만지지 않고 자연어로만 프로그램을 만드는 작업에서, 누가 더 잘하는가.

이 질문이 중요해진 배경으로 연구진은 두 가지를 든다. 하나는 바이브 코딩 플랫폼의 확산이다. Replit은 전 세계 사용자 수가 4천만 명을 넘는다고 밝혔다. Lovable은 사용자들이 만든 프로젝트가 1천만 개를 넘었다고 발표했고, Cursor는 2025년에 사용자 100만 명을 돌파했다. 다른 하나는 글쓰기 능력의 하락 추세다. 미국 고등학교 졸업생 가운데 ACT 영어 대학 준비도 기준을 통과한 비율은 51%에 그쳤다. 수십 년 만의 최저치다. OECD 국가 성인의 문해력 점수도 몇 년째 내려가고 있다.

연구진은 세 가지 연구 질문을 미리 등록했다. 첫째, 맥락이 제거된 과제에서 작문 능력이 더 크게 작용하는가. 둘째, 작문 능력이 바이브 코딩 성과와 상관을 보이며 그 상관이 일반 인지 능력을 통제한 뒤에도 남는가. 셋째, 작문 능력과 컴퓨터과학 성취도 중 어느 쪽이 더 많이 설명하는가.

그림 1. 출처: arXiv:2603.14133

이 연구는 바이브 코딩을 가장 좁게 정의했다. Andrej Karpathy가 2025년 2월에 이 말을 처음 썼을 때의 의미를 그대로 가져와, “코드가 존재한다는 사실 자체를 잊는” 상태로 한정했다. 왜 이렇게 좁혔을까. 소스 코드를 열어 두면 일부 참가자가 생성된 코드를 직접 고치는 쪽으로 넘어가고, 그러면 측정하려는 능력이 전통적인 프로그래밍 능력과 뒤섞이기 때문이다.

과제는 어떻게 골랐는가

과제를 연구진이 직접 만들면 그들의 선입견이 들어간다. 그래서 델파이 방식의 전문가 합의 절차를 썼다. LLM과 바이브 코딩에 상당한 경험이 있는 전문가 8명을 모았는데, 네 나라에 흩어져 있고 직업도 달랐다. 컴퓨터과학 교육과 인간-컴퓨터 상호작용 분야의 교수 세 명, 중등학교 컴퓨터과학 교사 한 명, 박사후연구원 한 명, 박사과정생 한 명, 석사과정생 한 명, 프론트엔드 개발자 한 명이었다. 남녀는 각각 네 명씩이었고, 보수는 지급되지 않았다. 논문 저자들은 독립성을 지키려고 패널에 참여하지 않았다.

첫 라운드에서 각 패널은 일곱 가지 기준을 만족하는 과제를 하나씩 제안했다. 기준은 학제성, 실제 활용 사례, GUI 중심 구현, 사소하지 않은 복잡도, 10분에서 15분 사이의 완성 가능성, 명세의 명료성, 문화적 공정성이었다. 두 번째 라운드에서 패널들은 서로의 과제를 익명으로 평정했다. 다섯 척도 모두에서 중앙값 4 이상을 받고 척도의 80% 이상에서 사분위 범위가 1 이하인 과제 세 개가 남았다. 시험 일정표, 식단 플래너, 강의 등록 플랫폼이었다. 앞의 두 과제는 설명이 비슷해 하나로 합쳤다.

여기에 연구진은 의도적으로 맥락을 지운 네 번째 과제를 따로 설계했다. LLM은 “식단 플래너"나 “일정표"라는 이름만 들어도 그것이 대략 무엇인지 이미 안다. 그런 이름표 없이, 동작은 분명하지만 인터페이스 라벨이 무엇을 뜻하는지 알 수 없게 만든 작은 장난감 앱이었다. 참가자가 기능 하나하나를 직접 말로 풀어내야만 재현할 수 있는 과제였다.

과제를 내는 방식도 신경을 썼다. 참가자에게 명세 문서를 주었다면 어떻게 됐을까. 그 문장을 그대로 모델에 붙여넣었을 것이고, 그러면 측정하는 것이 “글을 복사하는 능력"으로 바뀌어 버린다. 그래서 연구진은 완성된 샘플 앱을 직접 만져 보게 한 뒤 그것을 복제하거나 기능을 추가하게 했다. 이렇게 하면 참가자가 목표를 스스로 문장으로 만들어야 한다. 시스템 로그를 보면 300건의 제출 중 297건에서 참가자가 샘플 앱의 모든 기능을 다 써 본 뒤 제출했다.

그림 5. 출처: arXiv:2603.14133

실험에 쓴 도구

연구진은 상용 플랫폼을 쓰지 않고 전용 플랫폼을 직접 만들었다. 버전이 바뀌거나 서비스가 사라질 위험을 피하고, 윤리위원회가 요구한 데이터 보호 조건을 맞추기 위해서였다. 특히 모델 제공자가 참가자의 입력을 보관하지 않고 프롬프트로 학습하지도 않는다는 점을 보장해야 했다.

설계 전에 Replit, Cursor, Lovable, Bolt 네 플랫폼을 조사했다. 같은 과제를 네 도구에 모두 시켜 보고 화면을 녹화하면서 반복, 디버깅, 사용자 통제를 어떻게 지원하는지 기록했다. 네 도구의 화면 구조는 거의 같았다. 왼쪽에 채팅창, 나머지 영역에 앱 미리보기가 놓였고, Cursor만 코드 편집기를 왼쪽에 두었다.

연구용 플랫폼은 이 배치를 따르되 코드를 완전히 감췄다. 왼쪽 사이드바에 과제 설명과 남은 시간 타이머를 넣었고, 샘플 앱을 다시 볼 수 있는 버튼을 달았다. 이전 상태로 되돌리는 기능도 넣었다. 모델이 작업 중이라는 사실을 알리려고 출력 스트림을 보여 주기는 했는데, 참가자가 코드를 읽거나 베끼지 못하도록 화면을 흐리게 처리했다.

모델로는 Anthropic의 Claude Sonnet 4(20250514)를 골랐다. 여러 회사의 모델을 자체 플랫폼에서 시험한 결과 이 모델이 연구 과제에서 일관되게 더 나은 성능을 보였고 응답도 빨랐기 때문이다. 구현은 JavaScript와 CSS를 포함한 단일 HTML 파일 하나로 했고, 처리량을 높이려고 파일 전체를 다시 쓰는 대신 바뀌는 부분만 돌려받는 방식을 썼다.

무엇을 측정했는가

측정 도구는 네 가지였다.

SCS1은 특정 프로그래밍 언어를 전제하지 않는다. 문항이 의사코드로 출제되며, 여러 연구에서 검증을 거쳤다. 연구진은 전체 27문항 중 정의적 지식, 코드 추적, 코드 완성에서 각각 네 문항씩 뽑은 12문항 부분집합을 썼다.

작문 평가에는 마땅한 도구가 없었다. 성인용 표준화 검사 자체가 드물고, 있는 것도 상용이거나 외부 웹사이트를 써야 해서 데이터 통제가 안 되었다. 그래서 취리히 대학과 ETH 어학센터의 작문 강사 두 명에게 부탁해 과제와 채점 루브릭을 새로 만들었다. 과제는 이랬다.

대학 공부에서 익숙해진 기술 개념 하나를 골라 300~450단어, 2~3개 문단으로 설명하라. 대학 교육을 받았지만 그 분야의 전문가는 아닌 성인 독자를 대상으로 쓸 것.

루브릭은 다섯 범주로 나뉘었다. 범주마다 네 항목이 있어 총점은 100점이었다. 범주는 독자에 대한 전반적 효과, 문단 구성, 문장, 문장 사이의 흐름, 어휘와 문법이었다. 전문 편집자 한 명과 대학원 조교 한 명이 눈가림 상태에서 각자 채점했다. 두 점수가 10점 넘게 벌어지면 언어학 교수 한 명이 세 번째로 채점했고, 가까운 두 점수의 평균을 최종 점수로 삼았다.

그림 3. 출처: arXiv:2603.14133

참가자는 ETH 의사결정과학연구소가 관리하는 학생 풀에서 모집했다. 컴퓨터과학 입문 과정을 이수했고, LLM으로 프로그래밍한 경험이 있으며, 영어가 C1 수준 이상인 학생만 참가할 수 있었다. 한 세션은 1시간 45분이었고 참가비는 55스위스프랑이었다. 여성 56명, 남성 44명이 참여했고 평균 나이는 25.0세였다. 전공은 공학과 기술이 51명, 자연과학이 20명, 사회과학과 인문학이 11명이었다.

결과

모든 점수는 0에서 1 사이로 정규화됐다.

네 구성 사이의 영차 상관은 모두 양수였다. 이 가운데 한 쌍을 제외한 상관은 통계적으로 유의했다.

유일하게 유의하지 않은 쌍이 컴퓨터과학 성취도와 작문 능력이었다. 두 능력은 이 표본에서 서로 거의 무관했다.

인지 능력을 통제한 편상관에서는 두 결과가 달랐다. 컴퓨터과학 성취도와 바이브 코딩의 상관은 0.281이었고 p값은 0.005였다. 작문 능력과 바이브 코딩의 상관은 0.186이었지만 p값은 0.066으로 유의하지 않았다. 이 상관의 95% 신뢰구간은 −0.012에서 0.386까지였고, 0을 포함했다.

첫 번째 연구 질문의 가설은 지지되지 않았다. 연구진은 탈맥락 과제에서 작문 능력과 성과의 상관이 더 클 것으로 예상했다. 실제 상관은 탈맥락 과제에서 0.239, 기능 추가 과제에서 0.245였으므로 탈맥락 과제 쪽이 근소하게 낮았다. 복제 과제의 상관은 0.154였고 유의하지 않았다.

세 번째 연구 질문에는 위계적 회귀를 썼다. 먼저 컴퓨터과학 성취도를 넣은 모형의 R²는 0.150이었다. 여기에 작문 능력을 더하자 R²는 0.208로 올랐고, 작문 능력이 추가로 설명한 비율은 0.059였다. 순서를 바꾸어 작문 능력부터 넣으면 R²는 0.083이었고, 컴퓨터과학 성취도를 더한 뒤에는 0.208이 됐다. 컴퓨터과학 성취도가 추가로 설명한 비율은 0.125로 작문 능력의 두 배를 넘었다. 두 변수를 함께 넣은 최종 모형에서 표준화 계수는 작문 능력 0.244(p = .009), 컴퓨터과학 성취도 0.356(p < .001)이었다. 컴퓨터과학 성취도가 더 강한 예측 변수였지만, 작문 능력도 자기 몫을 따로 설명했다.

프롬프트도 따로 채점했다

작문 능력이 성과로 이어지는 과정에서 프롬프트 품질을 거치는지 확인하려고, 연구진은 참가자들이 실제로 쓴 프롬프트를 따로 평가했다.

먼저 사람이 채점한 결과를 보자. 에세이 루브릭을 만든 강사들에게 연구진은 프롬프트용 루브릭을 새로 설계해 달라고 요청했다. 프롬프트는 명령문으로 쓰이는 경우가 많고 문장 사이의 흐름 같은 항목은 덜 중요하므로, 일관성과 과제에 맞는 복잡도, 지시의 명료성을 기준으로 삼았다. 채점은 전문가 패널 중 이전 라운드에 참여한 적 없는 한 명이 맡았고, 에세이 점수와 과제 결과와 생성된 코드를 전혀 보지 못한 상태에서 진행했다.

자동 측정 지표도 함께 썼다. 어휘 다양성 지표인 HD-D와 MTLD를 프롬프트에 적용했다. 두 지표 모두 텍스트 길이의 영향을 받지 않아 짧은 글에 쓸 수 있다.

이어서 매개 분석을 했다. 부트스트랩을 1만 회 실시한 결과, 작문 능력과 프롬프트 품질을 잇는 경로 a의 계수는 0.35였고 p값은 0.001 미만이었다. 작문 능력을 통제한 뒤에도 프롬프트 품질과 성과를 잇는 경로 b의 계수는 0.43이었고 p값은 0.001 미만이었다. 작문 능력과 성과의 전체 연관인 경로 c는 0.29였고 p값은 0.003이었다. 프롬프트 품질을 모형에 넣자 경로 c 프라임은 0.14로 떨어졌고 p값은 0.145로 유의하지 않았다. 간접 효과는 0.152였고 신뢰구간에 0이 포함되지 않았으며, 전체 연관의 약 52%를 차지했다. 횡단 연구이므로 인과는 주장할 수 없다. 연구진도 그렇게 적으면서, 이 결과를 측정 도구의 구성 타당도를 뒷받침하는 증거로만 내놓았다.

예상하지 못한 상관

탐색적 분석에서 연구진이 놀랐다고 밝힌 대목이 있다.

컴퓨터과학 성취도가 높은 학생이 잘한 이유가 평소 LLM 사용 경험에 있는지 확인하려고, 연구진은 자가 보고한 LLM 사용 빈도와 성과의 상관을 계산했다. 결과는 반대였다. LLM을 자주 쓴다고 답한 학생일수록 바이브 코딩 성과가 낮았고, 상관계수 r은 −0.258, p값은 0.010이었다. 작문 점수도 낮았으며, r은 −0.282, p값은 0.005였다. 컴퓨터과학 성취도와는 아무 상관이 없었고(r = 0.001), ICAR16 결과와도 상관이 없었다(r = −0.070).

연구진은 세 가지 설명 가능성을 제시하되 어느 쪽인지 가리지 않는다. LLM이 학생의 표현 능력에 부정적 영향을 주었을 수도 있고, 글쓰기에 약한 학생이 LLM에 더 의존하는 것일 수도 있으며, 두 방향이 함께 작용했을 수도 있다.

에세이를 먼저 쓴 것이 프롬프트 작성에 도움을 주었을 가능성도 검토했다. 설문을 먼저 한 집단의 평균은 0.446, 과제를 먼저 한 집단의 평균은 0.448이었고 차이는 없었다(p = .953).

연구진이 밝힌 한계

저자들은 여러 제약을 스스로 열거한다.

측정한 바이브 코딩은 GUI 중심 작업에 한정된다. 데이터 분석처럼 다른 종류의 과제에서는 결과가 달라질 수 있다. 그래도 일반화 가능성을 조금이나마 확인하려고, 연구진은 세 과제 가운데 계산이 가장 많이 필요한 식단 플래너의 데이터 처리 부분을 따로 분석했다. 예산과 영양 제약을 만족하는 주말 식단을 짜려면 메뉴 목록을 살피고, 열량과 단백질을 합산한 뒤 기준과 비교하는 로직을 자연어로 지정해야 한다. 이 부분에서도 컴퓨터과학 성취도와 작문 능력은 모두 유의한 예측 변수였다. 상관계수 r은 각각 0.320과 0.202였고, p값은 각각 0.001과 0.044였다. 전체 성과에서 본 값보다 조금 작지만 비슷한 크기다.

참가자는 코드를 볼 수 없었다. 그래서 컴퓨터과학 지식이 성과로 이어지려면 문제를 나누거나 제어 흐름을 떠올리는 간접 경로를 거쳐야 했다. 연구진은 이 추정치를 일반적인 LLM 보조 프로그래밍에서 컴퓨터과학 지식이 발휘하는 역할의 하한선으로 봐야 한다고 적었다. 코드 접근을 허용한다고 해서 컴퓨터과학의 비중이 늘고 작문의 비중이 줄어드는 식으로 단순해지지는 않으리라는 단서도 붙였다. 두 통로가 다 열리면 사용자가 어디까지 말로 하고 어디부터 코드를 고칠지 전략을 선택해야 하고, 그 지점에서 능력들 사이의 상호작용이 새로 생기기 때문이다.

작문 측정 도구를 이번에 처음 만들어 처음 써 봤다는 점, 통제된 실험실 환경이라 실제 사용 맥락과 다르다는 점, 모든 과제에 엄격한 제한 시간이 걸려 있어 정답에 가까워진 상태에서 시간이 끝난 참가자가 여럿 있었다는 점도 한계로 적었다. 표본이 대학생이라 전문 개발자나 일반 사용자에게 그대로 옮기기 어렵다는 점도 덧붙인다.

가장 흥미로운 지점

컴퓨터과학 성취도와 작문 능력 사이의 상관계수는 0.126이었다. 나는 이 숫자를 쉽게 넘기지 못했다. 통계적으로 유의하지 않았으므로, 이 표본에서 두 능력은 거의 별개로 나타났다. 그런데 두 능력은 같은 결과물의 품질에 각각 독립적으로 기여했다.

바이브 코딩을 두고 “글만 잘 쓰면 된다"는 주장과 “프로그래밍을 알아야 한다"는 주장이 자주 맞선다. 이 연구는 한쪽만 답으로 제시하지 않는다. 글을 잘 쓰는 사람이 컴퓨터과학까지 잘하는 것은 아니고, 반대도 마찬가지다. 두 능력이 서로 겹치지 않으니 그렇다. 컴퓨터과학 지식이 설명하는 비율은 두 배 가까이 컸지만, 작문 능력도 독립적으로 기여했다.

LLM 사용 빈도가 성과와 음의 상관을 보인 결과도 계속 마음에 걸린다. 연구진이 세 가지 해석을 나란히 놓고 판정을 유보한 태도는 정직해 보인다. 이 데이터만으로는 방향을 알 수 없기 때문이다. 그래도 “도구를 많이 써 봤으니 잘 쓰겠지"라는 짐작이 적어도 이 표본에서는 통하지 않았다는 것만은 남는다.

한 가지 더 적어 둔다. 작문 점수의 평균은 0.72이고 표준편차는 0.11로, 다른 도구들보다 분포가 좁다. 최저점도 0.30이었다. 영어 C1 이상을 요구해 모집한 취리히의 대학생 표본이니 당연한 결과인데, 이렇게 범위가 좁아지면 상관 계수는 실제보다 작게 나온다. 작문 능력의 편차가 훨씬 큰 집단에서 같은 실험을 하면 작문 쪽 숫자가 어떻게 달라질지 궁금하다.

출처

Sverrir Thorgeirsson, Theo B. Weidmann, Zhendong Su (ETH Zürich), “Computer Science Achievement and Writing Skills Predict Vibe Coding Proficiency”, CHI 2026, arXiv:2603.14133v1, 2026년 3월 14일 제출.

원문: https://arxiv.org/abs/2603.14133 사전등록: https://aspredicted.org/wg3h-dx9m.pdf

글에 실은 그림은 논문 HTML판에서 인용했다.