Interactive User Productivity

3줄 요약

1. IBM 산호세 일반제품사업부의 A. J. Thadhani가 1980년 실제 운영 중이던 MVS/TSO 메인프레임 두 대의 로그를 수집해 1981년 발표한 연구로, 컴퓨터 응답 시간(CRT)이 엔지니어와 프로그래머의 대화형 작업 생산성에 미치는 영향을 정량화했다.
2. 컴퓨터 응답 시간이 3.0초에서 0.5초로 줄면 시간당 상호작용 횟수는 System A가 106회에서 222회로 두 배 이상, System B가 67% 늘어난다. 특히 1초 미만(subsecond) 구간에서는 인간의 단기 기억 버퍼가 유지되어 사용자 자신의 반응 시간까지 함께 짧아진다.
3. 1980년 시점에 이미 대화형 사용자의 시간 비용이 하드웨어와 전산 센터 비용의 합계를 초과했으므로, 메인프레임 운영 목표를 프로세서 가동률 극대화에서 1초 미만 응답 시간 보장으로 전환해야 전체 비용을 절감할 수 있다.

측정 환경과 상호작용 시간의 분해

1960년대 중반에 등장한 대화형 컴퓨팅은 1970년대 들어 IBM의 MVS 운영체제용 시분할 옵션(TSO, Time Sharing Option)과 VM/370용 대화형 모니터 시스템(CMS)이 출시되면서 상업 현장에 널리 보급되었다. 당시에도 응답 시간이 사용자 행동에 영향을 준다는 점은 알려져 있었다. 그러나 상용 MVS/TSO가 실제로 돌아가는 현장에서 응답 시간의 경제적 가치를 실측한 연구는 없었다. 전산실 관리자들에게는 시스템 비용과 사용자 생산성 가운데 무엇을 우선할지 판단할 수치 근거가 없었다.

이 질문에 답하기 위해 Thadhani는 IBM 내부에서 실제 가동 중이던 MVS/TSO 메인프레임 두 대를 조사했다. 두 시스템 모두 IBM System/370 Model 168 프로세서로 구동되었으며, 평일 주간 근무 시간(오전 8시부터 오후 5시까지)에는 대화형 TSO 작업을 주로 처리하고 야간과 주말에는 일괄 처리(batch) 작업을 수행했다.

• System A: System/370 Model 168 부가 프로세서(Attached Processor) 구성으로, 제조 공정을 담당하는 엔지니어와 프로그래머를 지원했다. 전체 사용자의 약 50%가 전화선과 IBM 3705 통신 제어기를 거치는 원격 단말기로 접속했다. 1980년 3월과 4월에 데이터를 수집했다.
• System B: System/370 Model 168 멀티프로세서 구성으로, 소프트웨어 개발에 종사하는 프로그래머를 지원했다. 원격 단말기 사용자는 10% 미만이었고, 90% 이상이 중앙 컴퓨터 채널에 직접 연결된 로컬 단말기를 썼다. 1980년 7월부터 9월까지 데이터를 수집했다.

그림 1. 연구 대상 시스템의 공통 하드웨어 및 통신 구성 (출처: Thadhani, IBM Systems Journal, 1981)

두 시스템 모두 주된 단말기로 IBM 3277 비디오 디스플레이 스테이션을 사용했고, 가상 통신 접근 방식(VTAM)으로 중앙 컴퓨터와 통신했다. 논문에서는 사용자가 로그온해서 로그오프할 때까지를 ‘사용자 세션(user session)‘이라 부르고, 이를 상호작용 100회 단위의 ‘작업 세션(work session)‘으로 분해한다. 개별 ‘상호작용(interaction)‘은 세 가지 시간 요소로 구성된다.

• 사용자 응답 시간(URT, User Response Time): 사용자가 단말기에서 시스템 응답을 받은 시점부터 다음 명령을 입력할 때까지 걸리는 시간이다.
• 네트워크 응답 시간(NRT, Network Response Time): 단말기에서 입력한 명령이 컴퓨터에 전달되는 데 걸리는 시간과, 컴퓨터의 응답이 단말기로 되돌아오는 데 걸리는 시간을 더한 값이다.
• 컴퓨터 응답 시간(CRT, Computer Response Time): 중앙 컴퓨터가 VTAM으로부터 사용자 명령을 수신한 시점부터 처리를 마치고 완료 응답을 VTAM으로 돌려보낼 때까지 걸리는 시간이다.

단말기 앞의 사용자가 체감하는 시스템 응답 시간(SRT, System Response Time)은 $\text{NRT} + \text{CRT}$다. 중앙 컴퓨터는 응답을 내보낸 뒤 다음 명령이 도착할 때까지 기다리는데, 이 시간이 사용자 및 네트워크 응답 시간(UNRT)이고 $\text{URT} + \text{NRT}$와 같다.

그림 2. 사용자 세션, 작업 세션, 개별 상호작용 시간(URT, NRT, CRT, UNRT, SRT)의 관계 (출처: Thadhani, IBM Systems Journal, 1981)

개별 상호작용은 자원 소모량에 따라 두 부류로 구분된다. 편집기(Edit) 명령처럼 몇 초 안에 끝나고 컴퓨터 자원을 적게 쓰는 작업이 인간 집약적(human-intensive) 상호작용이다. 반대로 대규모 소스 프로그램 컴파일처럼 수십 초 동안 많은 자원을 소모하는 작업은 컴퓨터 집약적(computer-intensive) 상호작용에 해당한다. 연구 대상 시스템에서는 전체 상호작용의 약 95%가 인간 집약적 상호작용이었다.

MVS 운영체제의 자원 관리 측정 도구인 RMF(Resource Management Facility)가 15분 간격으로 완료된 상호작용 수, 자원 소모량, 컴퓨터 응답 시간(CRT), 접속 중인 사용자 수를 기록했다¹. 30분 동안 아무 입력이 없는 사용자는 자동으로 로그오프되었으므로, 접속자 수는 곧 활성 사용자 수다. 소수 사용자의 작업 편향을 배제하려고 동시 접속자가 25명 미만인 시간대의 데이터는 분석에서 제외했다.

1초 미만 응답 시간에서 급증하는 사용자 생산성

여기서 대화형 사용자 생산성(IUP, Interactive User Productivity)은 사용자 1명이 1시간 동안 컴퓨터와 주고받은 평균 상호작용 횟수(interactions/user/hour)를 뜻한다². 15분 간격으로 측정한 RMF 데이터에서 15분 동안 완료된 상호작용 수를 $N$, 활성 사용자 수를 $U$라 하면 시간당 생산성 IUP는 다음 식으로 계산한다.

$$\text{IUP} = \frac{N}{U} \times 4$$

인간 집약적 상호작용의 생산성은 위 식의 분자 $N$에 전체 TSO 상호작용 대신 1주기(period 1)에 완료된 상호작용 수를 대입해 구한다. System A(그림 3)와 System B(표지 그림 4)의 실측 데이터를 3차 음지수 다항식으로 최소제곱 피팅했다. 그 결과 두 시스템 모두에서 컴퓨터 응답 시간(CRT)이 짧아질수록 사용자 생산성(IUP)이 뚜렷하게 증가했다.

그림 3. System A의 인간 집약적 상호작용에 대한 컴퓨터 응답 시간(CRT) 대 사용자 생산성(IUP) (출처: Thadhani, IBM Systems Journal, 1981)

CRT가 1.0초를 초과하는 구간보다 1초 미만(subsecond) 구간, 특히 0.25초부터 1.0초까지의 구간에서 생산성이 훨씬 급격하게 증가했다.

구분	System A (제조 엔지니어링, 원격 50%)	System B (소프트웨어 개발, 로컬 90% 이상)
CRT 3.0초일 때 IUP	106회/시간	약 187회/시간 (작업 세션 1,922초 기준)
CRT 0.5초일 때 IUP	222회/시간 (3.0초 대비 2배 이상)	약 312회/시간 (3.0초 대비 67% 증가)
CRT 0~0.25초 외삽 상한	원격 통신 지연으로 측정하지 못함	420~530회/시간 (인간 능력 상한 추정)

System B의 실측 데이터는 대부분 CRT 0.25~3.0초 구간에 분포했고, 0~0.25초 구간의 데이터는 전체의 2% 미만이었다. 이 공백 구간을 메우기 위해 CRT 0.25초에서 곡선의 접선을 그대로 연장하는 외삽과 수평으로 연장하는 상수 외삽 두 가지를 함께 시도했다. 그 결과 컴퓨터가 사용자의 작업 속도를 더는 제약하지 않을 때 사람이 낼 수 있는 최대 생산성, 곧 인간 능력의 상한을 시간당 420~530회로 추정했다. 로컬 단말기도 장비 구성과 부하에 따라 0.02~0.4초의 네트워크 지연(NRT)이 생긴다. CRT가 0초로 줄어들더라도 사용자가 체감하는 응답 시간은 0초가 되지 않는다.

왜 컴퓨터가 빨라지면 사람의 생각 시간까지 줄어드는가

RMF는 사용자가 생각하는 시간(URT)과 네트워크 지연(NRT)을 따로 기록하지 않는다. 대신 상호작용 1회에 걸리는 평균 시간($\text{UNRT} + \text{CRT}$)이 시간당 상호작용 횟수(IUP)의 역수와 같다는 관계를 이용하면, 컴퓨터가 관측한 사용자 및 네트워크 응답 시간(UNRT, 단위: 초)을 역산할 수 있다.

$$\text{UNRT} = \frac{3600}{\text{IUP}} - \text{CRT}$$

이 관계식을 System A와 System B의 실측치에 대입해 컴퓨터 응답 시간(CRT)별 UNRT 변화를 그리면 그림 5와 같다. 원격 사용자가 절반인 System A는 네트워크 지연(NRT)이 커서 UNRT 전체가 높게 나타난다. 반면 사용자의 90% 이상이 로컬 채널 단말기를 쓰는 System B는 NRT가 매우 작아, UNRT가 사용자의 실제 반응 시간(URT)을 거의 그대로 반영한다.

그림 5. System A와 System B의 컴퓨터 응답 시간(CRT)과 사용자 및 네트워크 응답 시간(UNRT)의 관계 (출처: Thadhani, IBM Systems Journal, 1981)

System B의 곡선을 보면, CRT가 1초부터 3초까지인 구간에서는 CRT가 1초 늘어날 때마다 사용자의 반응 시간(UNRT)이 1.4초씩 선형에 가깝게 증가한다. 이는 이전 IBM 시분할 시스템(TSS) 연구가 보고한 경향과 일치한다. 반면 CRT가 0초부터 1초까지인 구간에서는 비선형적인 급변이 나타난다. CRT가 0.25초일 때 8.3초이던 UNRT가 CRT 1.0초에서는 11.4초로 늘어난다. 컴퓨터 응답이 0.75초 늦어지면 사용자가 다음 명령을 치기까지의 시간은 지연분의 네 배를 초과하는 3.1초만큼 늘어난다. 앞서 추정한 최대 생산성(시간당 420~530회)을 대입하면 인간의 최소 반응 시간(UNRT)은 6.8~8.3초가 된다.

컴퓨터 응답이 빨라질 때 사용자의 반응 시간까지 단축되는 까닭을 설명하려고, 논문은 인간의 단기 기억(short-term memory) 작동 방식에 주목한 W. J. Doherty(1979)의 행동주의 모델을 인용한다.

“사람이 시스템 응답을 받을 때마다 매번 새로 생각한다는 전통적인 모델은 정확하지 않아 보인다. 그 대신 사람은 단기 기억 버퍼에 일련의 행동 순서를 미리 담아 두는 듯하다. 시스템 응답 시간이 길어지면 사고 과정이 방해를 받고, 그 결과 이어서 수행할 행동 순서를 처음부터 다시 생각해야 한다.”

이 설명에 비추어 보면, UNRT와 CRT의 비선형 관계는 컴퓨터 응답 시간이 1초 미만인 구간에서 사람의 사고 과정과 작업 능력이 받는 방해가 가장 급격하게 커진다는 점을 보여 준다³.

그림 6. System A에서 컴퓨터 응답 시간(CRT)에 따른 상호작용당 CPU 소비 시간 (출처: Thadhani, IBM Systems Journal, 1981)

물론 다른 가능성도 생각해 볼 수 있다. 응답 시간이 길어질 때 사용자가 단순한 명령 여러 번 대신 복잡한 명령 한 번을 내리는 식으로 작업 방식을 바꿨다면, 인간 집약적 상호작용의 비중이 줄거나 상호작용 1회당 소모하는 CPU 시간이 늘어나야 한다. 그러나 두 시스템 모두에서 인간 집약적 상호작용의 비중에는 유의미한 변화가 없었다. 상호작용 복잡도의 대리 지표인 ‘상호작용당 CPU 시간’(그림 6)도 CRT 0.25~3.0초 구간에서 증가하는 경향을 보이지 않았다. 사용자가 하는 일의 복잡도는 그대로인데, 응답 속도가 빨라질 때 인간 자체가 더 효율적으로 일한 것이다.

한편 System A와 System B의 성능 차이에는 로컬 단말과 원격 단말의 네트워크 응답 시간(NRT) 격차가 그대로 드러난다. 3277 단말기(80열×24행)에서 화면 전체를 한 번 스크롤하는 단순 명령을 예로 들면, 7,200보드(baud) 전화선으로 연결된 원격 단말기는 통신 프로토콜 수립에 약 1초, 전체 화면 데이터 전송에 2초가 걸려 NRT만 3.0초에 이른다. 반면 컴퓨터 채널에 직접 연결된 로컬 단말기는 프로토콜 처리가 수십 밀리초에 불과하고 화면 전송을 합쳐도 약 0.15초면 끝난다. 원격 단말기에서는 중앙 컴퓨터가 아무리 빨라도 사용자가 체감하는 응답 시간을 1초 미만으로 만들 수 없으므로, 1초 미만 응답 시간을 제공하려면 로컬 단말 연결이 필수적이다.

작업 세션 시간과 동시 접속자 수 지표의 해석 오류

상호작용 100회를 수행하는 데 걸리는 시간을 작업 세션 시간(work session time)이라 한다. 인간 집약적 상호작용과 컴퓨터 집약적 상호작용을 합친 복합 작업 세션 시간은 $100 \times (\text{UNRT} + \text{CRT})$로 계산한다. 프로그램 A를 작성해 정상 실행하는 데 필요한 상호작용 횟수가 컴퓨터 응답 시간과 무관하게 일정하다고 가정하면, CRT에 따른 작업 세션 시간은 그림 7처럼 달라진다.

그림 7. 두 시스템에서 컴퓨터 응답 시간(CRT)에 따른 상호작용 100회당 작업 세션 시간 (출처: Thadhani, IBM Systems Journal, 1981)

시스템	CRT 0.5초일 때 작업 세션 시간	CRT 3.0초일 때 작업 세션 시간	증가율
System A	1,624초 (약 27분)	3,391초 (약 56.5분)	+109%
System B	1,154초 (약 19분)	1,922초 (약 32분)	+67%

작업 세션 시간이 줄어들면 실제 시스템의 동시 접속자 수에는 두 가지 상반된 현상이 나타날 수 있다. 사용자가 목표 과업을 마치자마자 로그오프한다면, 같은 양의 전체 작업을 처리하면서도 동시 접속 활성 사용자 수는 도리어 줄어든다. 반대로 사용자가 정해진 시간(예: 1시간) 동안 단말기 앞에 앉아 작업한 뒤 세션을 종료한다면, 동시 접속자 수는 유지되면서 전체 처리 작업량이 늘어난다.

실제 System A에서 인간 집약적 상호작용의 CRT를 절반으로 단축했을 때 두 현상이 차례로 나타났다. 응답 시간을 줄인 직후 며칠 동안은 동시 접속 사용자 수가 줄어들었고, 그 뒤에는 사용자들이 더 많은 작업을 수행하면서 동시 접속자 수와 전체 작업 부하가 함께 증가했다. 따라서 컴퓨터 응답 시간과 사용자 생산성, 전체 처리 작업량은 보지 않고 ‘동시 접속 사용자 수’만으로 시스템의 서비스 기여도를 평가하면 부정확하다.

비용 역전과 시스템 운영 원칙의 전환

1960년대 일괄 처리 환경에서는 컴퓨팅 작업 비용의 대부분을 하드웨어 가격이 차지했고, 일괄 작업의 반환 시간(turnaround time)이 프로젝트 완료 일정을 좌우했다. 그러나 반도체와 하드웨어 기술이 발전하면서 기계 가격은 급격히 하락했다. 수십 명의 대화형 사용자를 동시에 지원하는 시분할 시스템에서는 사용자의 시간 비용(인건비)이 전체 비용의 가장 큰 부분이 되었다.

이를 구체적인 금액으로 확인하기 위해 1980년 당시의 대표적인 비용 구조를 System B(평균 활성 사용자 70명, 최대 동시 사용자 100명)에 적용해 1985년까지의 추세를 예측했다. System B는 주간 1교대에는 대화형 TSO를, 2교대와 3교대와 주말에는 일괄 처리 작업을 실행했다. 이에 따라 전체 하드웨어 임대료(월 50만 달러)와 전산 센터 지원 비용(월 20만 달러)에서 각각 35%를 대화형 TSO 몫으로 배분했다.

비용 항목	1980년 월간 비용 (TSO 기준)	산출 기준	연간 변화율 가정 (1981~1985)
사용자 시간 비용 (평균 70명)	28만 달러	1인당 월 4,000달러 (급여와 복리후생 포함)	연 10% 상승
사용자 시간 비용 (최대 100명)	40만 달러	1인당 월 4,000달러 × 100명	연 10% 상승
하드웨어 비용 (TSO 배분 35%)	17만 5천 달러	System/370 Model 168 MP 및 주변장치 월 50만 달러의 35%	연 15% 하락 (기술 발전 반영)
전산 센터 비용 (TSO 배분 35%)	7만 달러	전산 센터 운영비 월 20만 달러의 35%	연 10% 상승

그림 8. System B의 대화형 TSO 월간 비용 추세 및 1985년까지의 전망 (출처: Thadhani, IBM Systems Journal, 1981)

그림 8에서 보듯 이미 1980년에 70명 사용자의 시간 비용(월 28만 달러)이 하드웨어와 전산 센터 비용의 합계(월 24만 5천 달러)를 초과했다. 1985년이 되면 사용자 비용은 하드웨어 및 전산 센터 합산 비용의 두 배에 이른다.

System B에서 인간 집약적 상호작용의 실제 평균 CRT는 0.84초였다. 이 기준값을 그림 7의 작업 세션 시간 곡선과 위 비용 구조에 대입하면, 응답 시간이 빨라지거나 느려질 때의 월간 비용 변화가 바로 산출된다.

• 평균 CRT를 0.84초에서 0.25초로 줄일 때: 작업 세션 시간이 36% 줄어, 같은 작업량이라면 사용자 시간 비용을 1980년에는 월 10만 달러(28만 달러의 36%), 1985년 예상 비용 기준으로는 월 16만 2천 달러까지 아낄 수 있다.
• 평균 CRT가 0.84초에서 3.0초로 느려질 때: 작업 세션 시간이 44% 늘어나, 1980년에는 월 12만 3천 달러, 1985년에는 월 19만 8천 달러만큼의 사용자 시간 비용이 추가로 소모된다.

응답 시간을 줄이려고 하드웨어를 추가로 도입하더라도, 사용자 시간 절감액에서 하드웨어 증설 비용을 뺀 순절감액(net savings)은 흑자로 남는다.

그럼에도 당시 대형 전산 센터 관리자들은 규모의 경제를 추구한다며 중앙 프로세서 가동률(utilization)과 시스템 처리량 극대화에 집중했다. 프로세서가 일감이 없어 유휴 상태로 남는 일을 막으려고 동시 접속 사용자 수를 의도적으로 높게 유지했다. 사용자들이 응답 지연에 불만을 제기할 때까지 접속자를 늘리고, 불만이 한계에 이르기 직전의 인원에서 멈추는 방식으로 시스템을 운영했다. 고성능 I/O 장치를 들일 때도 응답 시간 단축보다는 스토리지 병목을 줄여 CPU 가동률을 높이는 데 주안점이 있었다.

저자는 이러한 가동률 중심 운영이 기계가 사람보다 비쌌던 1970년대 초반에는 타당했을지 몰라도, 사용자 비용이 기계 비용보다 훨씬 큰 1980년대에는 폐기되어야 한다고 강조한다. 인간 집약적 상호작용의 CRT를 1초 미만으로 줄이려면 병목이 어디에 있는지부터 확인해야 한다.

특성 항목	인간 집약적 상호작용	컴퓨터 집약적 상호작용
전체 상호작용 중 비율	96.5%	3.5%
평균 컴퓨터 응답 시간 (CRT)	0.84초	36초
상호작용당 실행 명령어 수	19만 2천 (192K)	680만 (6.8M)
상호작용당 디스크 I/O 횟수	2회	106회

System B에서 인간 집약적 상호작용 1회는 평균 19만 2천 개의 명령어를 실행하고 디스크 I/O를 2회 요청한다(감독 명령어와 페이징, 스왑 I/O 제외). 감독 명령어가 약 40% 더 있다고 가정해도 System/370 Model 168에서 실행하는 순수 CPU 시간은 약 0.1초에 불과하다. 평균 CRT 0.84초 중 나머지 0.74초는 디스크 파일 I/O, 스왑 및 페이징 I/O, 자원 대기열에서 생기는 지연 시간이다.

따라서 전체 상호작용의 96.5%를 차지하는 인간 집약적 작업을 1초 미만에 처리하려면 CPU 연산 속도를 높이는 것보다 주기억장치 버퍼를 늘려 페이징과 디스크 I/O 자체를 없애는 일이 더 중요하다. 여기에 고성능 I/O 장치와 응답 시간 우선 스케줄링 정책을 결합해야 한다. 반대로 명령어 680만 개와 디스크 I/O 106회를 수행하는 컴퓨터 집약적 상호작용은 빠른 프로세서와 고성능 I/O 장치가 모두 필요하다.

가장 흥미로운 지점

이 논문에서 가장 뜻밖이었던 수치는 컴퓨터 응답 시간이 1.0초에서 0.25초로 줄어들 때 나타나는 사용자 반응 시간(UNRT)의 변화다. 기계 응답이 0.75초 단축됐는데, 정작 사용자가 다음 명령을 입력하기까지 걸리는 시간은 11.4초에서 8.3초로 3.1초가 줄었다. 흔히 컴퓨터가 0.75초 빨라지면 작업 시간도 0.75초만 절약되리라고 예상한다. 그러나 개발자와 엔지니어는 다음에 칠 편집 명령과 실행 순서를 단기 기억 버퍼에 미리 담아 두고 일한다. 응답이 1.0초로 늦어지면 기억해 둔 순서를 잊어버려 다음 행동을 다시 계획해야 하므로 반응 시간이 지연분의 네 배 이상 늘어난다.

전산 센터의 관리 방식을 향한 이 논문의 비판은 오늘날의 클라우드와 AI 인프라 운영을 돌아보게 만든다. 1970년대식 관리법은 사용자에게서 느리다는 불만이 접수되기 직전까지 시스템을 포화 상태로 가동하고, 이를 ‘높은 설비 가동률’이라 불렀다. 측정하기 쉬운 기계 가동률을 지키느라 훨씬 비싼 사용자의 집중력과 시간을 소모시킨 것이다. 오늘날 코딩 에이전트와 대화형 개발 도구의 추론 지연을 줄이는 일도 마찬가지다. 인간의 단기 기억 버퍼가 유지되는 시간 안에 응답을 돌려주어 사고의 연속성을 지키는 일이기 때문이다. 그 경제적 효과도 서버 비용 절감분이 아닌 사용자의 시간 가치로 계산해야 한다는 점을 40여 년 전 메인프레임 실측 데이터가 이미 보여 준다.

출처

• 저자: A. J. Thadhani (IBM General Products Division, San Jose, CA)
• 학술지: IBM Systems Journal, Vol. 20, No. 4, pp. 407~423 (1981)
• 원문: https://www.bitsavers.org/pdf/ibm/IBM_Systems_Journal/204/ibmsj2004E.pdf