how to be good at research

3줄 요약

1. Anthropic 리서치 펠로우 Vivek이 2026년 6월 10일 X에 올린 롱폼 아티클이다. 6,200 좋아요·14,900 북마크·156만 뷰. 제목은 “how to be good at research”.
2. 리서치는 아무도 가르쳐 주지 않는다. 대부분 리서처처럼 보이는 법을 역공학할 뿐, 리서처가 되는 법은 배우지 않는다. 그러나 리서치는 8개의 작은 스킬 스택이며, 거의 모든 항목이 의도적으로 훈련 가능하다.
3. Hamming·Schulman·Karpathy·Sutton·Feynman·Shannon·Darwin·Olah·Ng·Pasteur의 일화로 각 스킬을 묶고, 매일의 작은 우위들이 복리로 쌓여 밖에서 보면 운처럼 보이는 커리어가 된다고 맺는다.

흉내와 실력의 분리

아무도 리서치를 가르치지 않는다. 책상 하나, 누가 골라 준 문제 하나, “새로운 무언가를 만들어라"는 모호한 지시 하나가 주어진다. 그래서 대부분은 보이는 것 — 논문·스레드·발표 — 으로부터 그 일을 역공학한다. 결과적으로 리서처처럼 보이는 법을 배우게 된다. 실제 스킬은 더 작은 스킬들의 스택이며, 거의 모든 항목이 의도적으로 훈련 가능하다.

본문은 그 스택을 8개 영역으로 나누어 정리한다.

1. 자기 문제를 고른다

Hamming은 벨 연구소에서 점심 때마다 옆자리 동료에게 두 가지를 물어 인기를 잃었다. 당신 분야에서 중요한 문제는 무엇인가, 왜 당신은 그걸 하고 있지 않은가. 사람들은 자리를 옮겼다. 대부분은 문제를 고르지 않고 흡수한다 — 지도교수에게서, 큰 랩이 분기마다 발표하는 것에서, 이번 주 모두가 인용하는 논문에서.

흡수된 문제의 함정은 결론은 가졌지만 그 이유는 갖지 못한다는 점이다. 유명한 랩이 어떤 방향을 신경 쓴다는 사실은 알지만, 왜 신경 쓰는지, 무엇을 기대하는지, 무엇을 발견하면 손을 떼는지는 모른다. 그들이 방향을 바꾸면 1년 뒤에야 알아챈다. 이미 유행하는 문제에서는 더 일찍 시작했고 더 많은 컴퓨트를 가진 천 명과 경주하게 된다.

John Schulman의 ML 리서치 가이드는 일을 두 모드로 나눈다.

Schulman은 (2)를 권하며, 조용한 이유는 그것이 독창성을 제조하기 때문이다. 내가 진심으로 원하는 목표는 어떤 서베이 페이퍼도 다루지 않은 영역으로 나를 끌고 간다.

테이스트(taste)는 흔히 재능처럼 이야기되지만 실은 근육에 가깝다. 모든 실험은 돌리기 전에 결과를 예측한다. 논문의 결과 섹션을 가리고 방법만 보고 숫자를 맞춰 본다. 이번 달 출시 중 2년 뒤에도 유효할 것을 표시하고 적중률을 나중에 확인한다. 예측 + 정정을 수백 번 반복하는 것 — 좋은 모델이 학습되는 방식이고, 머릿속 모델도 똑같다.

2. 입력을 업그레이드한다

공유된 독서 리스트는 공유된 아이디어를 낳는다. 정보 식단이 arxiv 트렌딩 페이지 + 그룹 채팅 필터링뿐이라면, 모두와 같은 결론에 같은 시점에 도달한다. 그런 결론의 가치는 0에 가깝다.

옛 자료는 범죄적으로 저평가되어 있다. 이 분야는 자기 과거를 지연 재방송한다.

Rich Sutton의 Bitter Lesson(2019)은 약 1,000단어로 분야의 형태를 어떤 10배 분량의 서베이보다 잘 예측했다. Claude Shannon은 1952년 강연에서 문제를 거의 자명할 때까지 축소 → 작은 버전을 깬다 → 난이도를 한 조각씩 다시 넣는다는 기법을 첫 수로 제시했다. 이 한 가지 트릭이 어떤 현대 생산성 조언보다 더 많은 벽을 뚫어 준다.

깊이만큼 범위가 중요하다. 해석가능성(interpretability)은 신경과학에서 거리낌 없이 빌려온다. 평가(eval) 설계는 연구실 가운을 입은 메커니즘 디자인이다. GPU가 실제로 메모리를 어떻게 옮기는지에 대한 감각은 어떤 아키텍처 논문이 벤치마크 이전에 이미 끝났는지를 알려준다. 정직한 통계는 ML에서 가장 희소한 스킬일 수 있다 — 출판된 엄밀함 상당수가 오차 막대를 단 직감이다.

마지막으로, 논문 자체를 읽는다, 그것을 요약한 스레드가 아니라. 시신은 부록에 묻혀 있고, 한계 섹션은 보통 문서에서 가장 정직한 단락이다.

3. 전부 기록한다

Paul Graham은 아이디어가 말로 옮기려 시도하기 전까지는 완전히 형성된 것처럼 느껴진다고 지적했다. 페이지는 머리가 덮어 두고 있던 틈을 발견한다 — 검증되지 않은 가정, 실제로 이어지지 않는 단계, 조용히 서로 모순되는 두 주장.

Feynman의 원칙은 가장 먼저 속이지 말아야 할 상대는 자신이라는 것이다. 자신이 가장 쉬운 표적이기 때문이다. 글쓰기는 발명된 것 중 가장 값싼 방어 도구다. Darwin은 한 걸음 더 나아가 절차로 만들었다. 자신의 이론에 반하는 사실은 발견 즉시 기록했다 — 기억이 불편한 증거를 편한 증거보다 더 빨리 지운다는 것을 알아챘기 때문이다. 실험 로그의 표준 칸은 단순하다.

가설 / 셋업 / 기대 / 결과 / 갱신된 믿음

지난달 항목을 다시 읽는 일은 어떤 리뷰어도 따라올 수 없는 방식으로 겸손하게 만든다.

그중 일부는 공개한다. Olah와 Carter의 Research Debt 에세이는 분야가 소화되지 않은 아이디어로 질식하며, 명료한 설명은 잡일이 아니라 진짜 기여라고 주장한다. 오늘날 해석가능성에서 일하는 많은 사람들이 학회 논문이 아니라 읽기 좋은 포스트를 통해 분야를 발견했다. 공개 글쓰기 본체는 들 수 있는 가장 강한 자격증이기도 하다 — 내가 어떻게 사고하는지에 대한 위조 불가능한 샘플이기 때문이다.

4. 루프를 단축한다

Alec Radford의 일화는 한 번의 천재적 한 수가 아니라 물량에 관한 것이다. 하루에 더 많은 런, 일주일에 더 많은 잘못된 아이디어 폐기, 누구의 것보다 빠르게 갱신되는 현실 모델. 그것이 실제 게임이다. 리서치 속도는 대부분 내가 틀렸음을 발견하는 속도다.

따라서 도구(tooling)는 1급 리서치 활동이다.

• 런 띄우기는 한 줄 명령이어야 한다.
• 플롯도 한 줄.
• 모든 실험은 config에서 재현 가능해야 한다.
• 두 런 비교는 수초여야 하지, 오후 내내 걸리는 고고학 발굴이 되어선 안 된다.

Karpathy의 Recipe for Training Neural Networks에는 백 배로 보답하는 한 단계가 있다 — 대규모 학습 전에 단일 배치로 오버피팅을 한 번 만들어 본다. 30초로 절반의 버그가 사라진다. 모든 것을 싼 크기까지 축소 → 맞추고 → 그제야 컴퓨트를 쓴다.

그리고 엔지니어링이 리서치의 후배라는 발상은 폐기한다. 프론티어에서는 두 일이 융합했다. 하네스·평가·데이터 파이프라인을 직접 만들 수 있는 리서처가 가설이 실제로 검증되는 사람이다. 나머지는 큐에서 기다린다.

5. 출력을 응시한다

내려가는 손실 곡선은 분석이 아니라 안심이다. 실험은 내가 소비하는 것보다 훨씬 많은 정보를 토해 낸다 — 트랜스크립트, 실패 케이스, 분포의 이상한 꼬리. 대부분은 로그 폴더에서 읽히지 않은 채 죽는다.

Karpathy의 레시피는 훈련 코드를 한 줄도 쓰기 전에 raw 데이터를 손으로 몇 시간 본다에서 시작한다. 대부분의 ML 버그는 데이터에 살며, 조용히 실패한다. 크래시가 나지 않는다 — 그저 평범한 모델과, 그 이유에 대한 잘못된 이론을 얻는다.

Andrew Ng는 10년 넘게 같은 수수한 동작을 가르쳤다.

실패 100개를 뽑는다 → 모두 읽는다 → 더미로 분류한다 → 가장 큰 더미를 공격한다.

모델에 통하고 평가에도 통한다. 트랜스크립트를 한 번도 읽지 않은 벤치마크는 내가 이해하지 못하는 벤치마크다. 진짜로 이상한 행동 트랜스크립트 한 장이, 다음 소수점 정확도보다 훨씬 더 많은 것을 가르친다.

6. 의도적으로 방랑한다

내 첫 하위 분야는 타이밍의 사고다. 그러니 그렇게 다뤄라. 어디에 살지 결정하기 전에 해석가능성·평가·강화학습·시스템 어딘가에서 실제 시간을 쓴다. 분야 어딘가에는 내 특유한 기괴함이 부당한 우위가 되는 코너가 있고, 그것을 찾는 유일한 방법은 여러 곳에서 수업료를 내는 것이다. 그 수업료를 면제해 주는 사람은 없다.

모든 아이디어의 일회용 버전을 먼저 돌리고 대부분을 어려서 죽인다. 베이스라인은 아플 때까지 튜닝한다 — ML의 묘지는 제대로 튜닝된 베이스라인 앞에서 증발한 이득으로 가득하며, 그 사실을 배우기에 리뷰어는 최악의 선생이다. 어블레이션(ablation)은 결과를 지탱하는 것이 어떤 구성요소인지 알 때까지 돌린다. 보통 하나이고, 보통 제목에 들어간 그것이 아니다.

범위는 보험이기도 하다. 모든 하위 분야는 포화한다 — 보통 트위터에서 정점에 오른 직후. 그 전환을 거쳐 계속 산출하는 사람들은 이미 이웃 영역을 알고 있던 사람들이다.

7. 동료를 찾는다

Hamming은 누가 중요한 일을 하게 되는지에서 한 패턴을 보았다.

사무실 문을 닫은 동료는 어느 해든 더 많이 해냈다. 사무실 문을 연 동료는 중요한 일을 했다. 방해가 세상이 실제로 무엇을 필요로 하는지에 대한 정보를 실어 왔기 때문이다.

내가 열어 둔 문은 아마 받은편지함일 것이다. 그대로 열어 둬라.

리서치에서 관대함만큼 복리로 늘어나는 것은 없다.

• 결과를 재현하고 발견을 공개한다.
• 자신을 위해 만든 도구를 공개한다.
• 어려운 것을 평이한 언어로 설명한다.

수익은 옆으로, 몇 달 뒤에 도착한다 — 지원할 수 없었을 협업·인용·역할로. 절반쯤 형성된 아이디어를 공개로 띄우는 것도 마찬가지로 좋다. 타임라인에서 틀리는 비용이 출판물에서 틀리는 비용보다 훨씬 싸다. 그리고 세 달을 쏟기 전에 아이디어가 나쁘다고 말해 주는 동료는 컴퓨트보다 비싸다. 그 관계는 살 수 없고, 벌어야만 가질 수 있다.

8. 긴 게임

Pasteur는 행운은 준비된 마음을 좋아한다고 말했고, Hamming은 그 위에 커리어 철학 전체를 세웠다. 지식과 생산성은 이자처럼 복리로 쌓인다. 매일의 우위들은 따로 보면 사소해 보인다 — 무엇을 읽었는지, 무엇을 기록했는지, 루프가 얼마나 빠른지, 누구와 논쟁하는지. 그것을 몇 년만 두면 밖에서 보면 운처럼 보이는 커리어가 된다.

필요해 보이는 시점보다 일찍 복리를 시작한다. 미래의 나는 이미 안다 — 그것이 싼 부분이었음을.

가장 흥미로운 지점

내게 가장 오래 남는 대목은 두 가지다.

첫째, 흡수된 문제와 고른 문제의 비대칭. 결론만 들고 이유 없이 일하는 자세가 얼마나 자주 나의 디폴트인지 글이 정확히 짚는다. Schulman의 모드 (2) — 존재하기를 원하는 결과로부터 역산 — 는 단순한 워크플로우 조언이 아니라 독창성을 제조하는 메커니즘으로 제시된다. 모방의 비용이 모두에게 균등하게 낮아진 시대에, 독창성은 어디서 시작하는가에 의해 결정된다는 주장으로 읽었다.

둘째, 엔지니어링과 리서치가 프론티어에서 융합했다는 진단. 리서처가 하네스·평가·데이터 파이프라인을 직접 만들 수 있어야 가설이 실제로 검증되며, 그렇지 못한 사람은 큐에서 기다린다는 문장은 이미 여러 곳에서 떠도는 명제지만, 본문은 이를 루프 단축과 묶어 정당화한다. 리서치 속도 = 내가 틀렸음을 발견하는 속도라는 정의가 인상적이다.

남은 한 가지 메모는 이 글이 AI 리서처를 향한 글로 작성되었지만 — Alec Radford, Karpathy, Olah, Sutton 등 모든 사례가 ML 분야다 — 같은 스택이 일반적 지식 노동에도 거의 그대로 적용된다는 점이다. 입력 다양화, 일회용 실행, 출력 응시, 공개 글쓰기, 관대함의 복리는 분야 표지가 떨어진 채로도 작동한다.

출처

• 작성자: vivek (@itsreallyvivek) — Anthropic 리서치 펠로우
• 게시: X Article, 2026-06-10
• 원문: https://x.com/itsreallyvivek/status/2064686372737454155
• 인용된 외부 자료: Hamming “You and Your Research”; Schulman “Opinionated Guide to ML Research”; Karpathy “A Recipe for Training Neural Networks”; Sutton “The Bitter Lesson” (2019); Shannon “Creative Thinking” (1952); Olah & Carter “Research Debt”; Andrew Ng의 에러 분석 강의들; Paul Graham 에세이; Feynman, Darwin, Pasteur 인용.