How to Give AI Context & Build a Company Brain

3줄 요약

1. 핀테크 기업 램프(Ramp)는 2026년 10월 30일 발표 글에서 개인 채팅창에서만 쓰던 AI 활용법을 팀 전체의 ‘회사 두뇌(Company Brain)’로 전환하는 7단계 실무 절차와 자체 AI 워크스페이스 Glass 구축 사례를 공개했다.
2. AI 모델은 인터넷 데이터로 학습했을 뿐, 지표 산식이나 회계연도 기준, 승인 한도 같은 개별 기업의 암묵지는 알지 못한다. 따라서 추측할 수 없는 정의와 규정은 문서로 적고 실제 업무 도구를 연결해 주어야 정확한 답이 나온다.
3. 컨텍스트를 제대로 구축하려면 1~2쪽짜리 입문 문서와 실시간 커넥터를 결합해야 한다. 연결하기 전에 접근 권한을 점검하고, 이미 정답을 아는 질문 10~20개로 검증하며, 영역별 담당자와 오답 기록부를 두어 지식을 최신 상태로 유지한다.

회사 두뇌(Company Brain)란 무엇이며 왜 필요한가

AI 어시스턴트에게 회사의 3분기 매출을 물어보면 언제나 자신감 있는 어조로 숫자를 답한다. 하지만 그 숫자가 맞는지 틀렸는지는 AI가 이 회사의 매출 집계 기준을 아는지에 달려 있다. 모델은 훈련 과정에서 인터넷에 공개된 정보는 배웠지만, 개별 기업의 내부 규칙은 사용자가 알려준 만큼만 안다.

회사가 미리 알려주지 않으면 AI는 사내 암묵지(tribal knowledge)를 알 수 없다. AI가 가장 자주 틀리는 암묵지는 다섯 가지다.

• 지표 정의: 계약 매출(booked revenue)과 인식 매출(recognized revenue)의 구분, 고객 수 기준 이탈률(logo churn)과 금액 기준 이탈률(dollar churn)의 차이, ‘활성 고객’ 집계 기준
• 일정과 달력: 달력 분기와 회계연도 분기의 차이(예: 2월에 시작하는 회계연도), 월말 및 분기말 결산 마감일
• 승인 한도: 지출 금액 구간별로 누가 승인 권한을 갖는지 정한 기준
• 법인 및 지역별 규정: 출장 일비(per diem), 공휴일, 현지 인사(HR) 규정처럼 국가나 법인마다 다른 규칙
• 내부 명칭: 외부에서는 일반적인 뜻으로 쓰이지만 사내에서는 특정 조직이나 과제를 가리키는 약어, 제품 코드명, 팀 이름

AI가 이러한 맥락을 모르면 시간 낭비와 지식 파편화가 생긴다. 아틀라시안(Atlassian)의 2025년 팀 현황 조사(State of Teams)에서 리더와 실무진은 필요한 답을 찾는 데 업무 시간의 25%를 허비한다고 답했다.¹ 게다가 직원들이 각자 AI에게 회사 사정을 가르쳐도 그 지식은 해당 직원만 쓸 수 있다. 마이크로소프트가 영국 직장인 2,003명을 대상으로 설문한 결과, 응답자의 71%는 회사가 승인하지 않은 개인용 AI 도구를 업무에 사용했다고 밝혔다.² 개인 채팅창에만 저장된 컨텍스트는 직원이 퇴사하면 함께 사라진다.

평소 직원들의 머릿속이나 슬랙 스레드, 옛 문서에는 회사의 용어 정의, 의사결정 내역, 사내 규정, 업무 프로세스가 분산되어 있다. 이처럼 분산된 지식을 모든 직원과 AI 에이전트가 함께 읽고 쓸 수 있게 기록해 둔 공유 맥락을 Ramp는 ‘회사 두뇌(Company Brain)’라고 부른다. 기존 지식 베이스(Knowledge base)나 사내 통합 검색(Enterprise search)과 일부 겹치지만 역할과 갱신 방식이 다르다.

팀 전체가 쓰는 AI 컨텍스트 구축 7단계

팀 전체가 사용할 수 있는 컨텍스트 체계를 만드는 방법은 크게 두 가지다. 첫 번째는 공유 컨텍스트 문서를 작성하고, 팀 프로젝트나 커넥터를 지원하는 어시스턴트에 업무 도구를 연결한 뒤, 권한과 담당자를 직접 관리하는 자체 구축 방식이다. 두 번째는 공유 맥락과 실시간 도구 연결, 재사용 가능한 워크플로우를 한곳에 통합한 팀 전용 AI 워크스페이스(예: Ramp의 Glass)를 도입하는 방식이다. 어느 쪽을 택하든 실무에서 거쳐야 할 일곱 단계는 동일하다.

1단계: 1~2쪽 분량의 기본 회사 컨텍스트 문서 작성

가장 먼저 할 일은 똑똑한 신입 사원이 입사 첫 주에 물어볼 법한 질문과 답을 1~2쪽 분량의 문서 하나로 정리하는 작업이다. 우리 회사를 전혀 모르는 독자를 가정하고 써야 하는데, AI 모델이 그런 독자이기 때문이다. 이 기본 문서에는 다음 일곱 가지 항목이 들어가야 한다.

• 회사 개요: 판매하는 제품과 서비스, 주요 고객층, 임직원 수, 법인 구성, 회계연도 시작 시점
• 사내 용어집: 내부 약어, 제품 코드명, 부서 및 팀 명칭
• 핵심 지표 정의: 연간 반복 매출(ARR), 매출총이익률(gross margin), 이탈률처럼 보고서에 쓰이는 지표별 계산 공식, 원천 데이터 시스템, 관리 담당자
• 고객군 분류 기준: 중소기업(SMB), 미드마켓, 엔터프라이즈 고객을 구분하는 정량 기준
• 사내 규정: 경비 지출 한도, 구매 승인 기준 금액, 데이터 보안 및 취급 규칙
• 업무 진행 방식: 사안별 승인권자, 결산 일정, 데이터별 공식 기록 시스템(예: “영업 파이프라인은 CRM에서 관리하고, 확정 매출은 ERP에서 관리한다”)
• 문체와 문서 양식: 고객 안내 이메일, 이사회 보고서, 사내 문서를 작성할 때 따르는 문체와 양식

제품 가격이나 인원수처럼 시간에 따라 바뀌는 항목에는 작성 일자를 반드시 함께 적어 둔다. 그래야 나중에 정보가 낡았는지 판별할 수 있다.

2단계: 컨텍스트를 저장하고 전달할 방식 선택

컨텍스트를 어디에 두느냐에 따라 공유 범위, 정보의 최신성, 초기 구축 부담이 달라진다. 현업에서 흔히 쓰는 다섯 가지 방식의 장단점은 다음과 같다.

많은 조직이 파인튜닝부터 떠올리지만, 실무에서는 필요성이 가장 낮은 방식이다. 오픈AI의 정확도 최적화 가이드에서도 모델에 지식이 부족할 때는 검색(retrieval)을, 행동의 일관성이 필요할 때만 파인튜닝을 쓰라고 구분해 안내한다.³ 또한 모델 컨텍스트 프로토콜(MCP) 같은 개방형 표준을 활용하면 클로드(Claude) 등의 AI 앱을 사내 데이터와 도구에 연결할 수 있다. 대다수 기업은 정의와 규칙을 정리한 문서와 실시간 기록을 불러오는 커넥터, 이 두 가지를 조합해 쓰게 된다.

3단계: 실제 업무가 이루어지는 도구 연결

고정된 문서는 회사의 규칙을 설명해 주지만, 실무자가 매일 찾는 답은 슬랙 스레드, 고객 통화 녹취록, 지원 티켓, 공유 드라이브에 있다. 이런 도구를 연결해야 AI가 지난 분기에 뽑아 둔 자료 대신 오늘의 실시간 기록으로 답할 수 있다.

처음에는 실제 의사결정이 이루어지는 핵심 도구 두세 개부터 연결하는 편이 안전하다. 우선 연결할 대상은 영업팀의 통화 기록, 고객지원팀의 상담 티켓, 재무팀의 결산 체크리스트와 지출 규정 문서함이다. 이때 답변의 근거가 된 원문 링크를 함께 보여주는 도구(예: ChatGPT의 사내 지식 연결 기능)를 골라야 한다. 그래야 실무자가 의사결정에 반영하기 전에 출처를 직접 검증할 수 있다.

4단계: 도구를 연결하기 전에 접근 권한부터 정비

대부분의 커넥터는 개별 사용자가 연결된 서비스에서 이미 가진 접근 권한을 그대로 상속한다. 클로드도 공식 커넥터 안내서에서 연결된 서비스의 사용자별 권한을 그대로 따른다고 안내한다. 이 방식은 권한이 없는 민감 데이터를 보호해 주지만, 반대로 사내에서 ‘링크가 있는 모든 사용자’로 공유 설정된 파일은 AI 검색으로 누구나 찾아낼 수 있게 된다.

따라서 업무 도구를 연결하기 전에 네 가지 보안 점검을 마쳐야 한다.

1. 재무, 인사(HR), 고객 데이터처럼 민감한 정보가 담긴 폴더나 채널이 전체 공개 상태로 설정되어 있지 않은지 점검한다.
2. 커넥터를 활성화할 수 있는 사람을 정한다(클로드 팀 및 엔터프라이즈 요금제에서는 소유자가 커넥터를 켜고 각 구성원이 개별 로그인한다).
3. 시스템에서 작업을 실행할 수 있는 AI 에이전트라면 조회(read) 권한과 수정 및 실행(write) 권한을 엄격히 분리한다.
4. 각 AI 벤더의 데이터 약관을 확인해 사내 데이터가 모델 학습에 사용되지 않는 요금제인지 검증한다.

5단계: 이미 정답을 알고 있는 질문 10~20개로 검증

컨텍스트 문서를 작성하거나 새로운 도구를 연결할 때마다, 이미 정확한 답을 알고 있는 테스트 질문 10~20개를 AI에게 물어 답을 확인한다. 단순 조회 질문과 AI가 평소 자주 틀리는 함정 질문을 섞어 구성하는 것이 효과적이다.

• 지난 분기 회사의 매출총이익률은 얼마였으며, 어떤 공식으로 계산하는가?
• 자회사 3곳을 보유한 모회사 고객은 고객 수 집계에서 1곳으로 세는가, 4곳으로 세는가?
• 1만 5,000달러 규모의 소프트웨어 구매 계약은 누구의 승인을 받아야 하는가?
• 우리 회사의 회계연도는 몇 월에 시작하는가?

검증할 때는 AI에게 각 답변의 출처 문서를 반드시 인용하게 하고, 제공된 컨텍스트에 없는 내용이면 모른다고 답하도록 지시해야 한다. 그럴듯한 추측을 내놓는 모델보다 “제공된 자료에 해당 정보가 없습니다”라고 답하는 모델이 실무에서 훨씬 유용하다.

6단계: 영역별 담당자 지정과 오답 기록부 운영

사내 컨텍스트는 규정이 바뀌는 그날부터 낡기 시작한다. 문서의 각 영역마다 명확한 관리 담당자(예: 지표 산식은 재무팀, 인사 및 복무 규정은 피플팀)를 지정하고 정기 검토 일자를 정해야 한다.

사용 과정에서 AI가 틀린 답을 내놓으면 그 답을 별도 기록부에 남기고 원인을 두 가지로 분류한다. 처음부터 적어 두지 않은 ‘누락된 정보(missing fact)’라면 내용을 새로 추가하고, 정책 변경을 반영하지 못한 ‘오래된 정보(stale fact)’라면 기존 문서를 갱신한다. 이렇게 오답 기록부를 팀 전체가 함께 운영하면, 한 사람의 개인 채팅창에서 한 번으로 끝났을 정정이 전사 구성원 모두를 위한 영구적인 수정이 된다. Ramp 팀도 자체 워크스페이스 Glass를 구축하면서 시스템이 첫날부터 고장 나는 일은 드물고, 누군가 훌륭한 첫 버전을 만들어 둔 뒤 아무도 갱신하지 않을 때 망가진다는 점을 직접 확인했다.

7단계: 검증된 개인의 작업을 팀의 공유 워크플로우로 전환

실무에서 가장 큰 가치를 내는 컨텍스트는 고정된 안내 문서보다 직원이 직접 일하는 과정에서 탄생한다. 대표적인 예는 어수선한 고객 통화 녹취록을 깔끔한 계정 관리 계획서(account plan)로 바꾸는 프롬프트와, 이사회 발표 자료를 마감하기 전에 예산 편차를 자동으로 찾아내는 작업 흐름이다.

개인이 성과를 낸 프롬프트와 절차를 팀 프로젝트의 공유 워크플로우로 저장해 두면, 다음 동료는 빈 화면에서 프롬프트를 새로 짜는 대신 이미 검증된 프로세스와 배경 맥락을 바탕으로 일을 시작할 수 있다. 직원이 브라우저 탭을 닫거나 휴가를 가거나 퇴사하더라도 업무 노하우가 사라지지 않고 조직에 남는 것이 개인 컨텍스트를 전사 차원의 회사 두뇌로 발전시키는 핵심 단계다. 실제로 Ramp에서는 한 직원이 만들어 공유한 슬라이드 서식 워크플로우 덕분에, 발표 자료를 처음 만드는 동료들이 서식을 고민하지 않고 곧바로 초안을 작성할 수 있었다.

개인 컨텍스트에서 회사 두뇌로: Ramp의 Glass 구축 사례

대다수 기업의 AI 활용 수준은 개인 컨텍스트, 팀 프로젝트, 회사 두뇌의 세 단계 가운데 어느 한 단계에 속한다. 기업이 지향해야 할 목표는 가장 자주 쓰이는 업무 맥락을 전사 공유 단계로 전환하는 일이다.

사내에서 똑같은 문제를 겪은 Ramp는 AI 활용에 적극적인 직원들이 만들어 둔 정교한 개인 설정을 다른 동료가 다시 쓰는 일이 거의 없다는 문제를 발견했다. 이에 소규모 팀이 나서서 사내 AI 워크스페이스 Glass를 개발했다. 구성원 누구나 동료가 이미 검증한 환경과 지식을 바탕으로 작업을 시작할 수 있게 만든 도구다.

이 워크스페이스에는 앞서 살펴본 일곱 단계 원칙이 네 가지 제품 기능으로 구현되어 있다.

• 사내 지식 연결: 팀이 기존에 사용하던 업무 도구를 그대로 연결해 실시간 맥락으로 활용한다.
• 공유 워크플로우: 마지막 일곱 번째 단계에서 다룬 재사용 가능한 업무 절차를 팀의 배경 컨텍스트와 함께 공유 프로젝트에 저장한다.
• 멀티플레이어 협업: 한 AI 세션에 동료를 초대해 고객지원 담당자와 엔지니어가 같은 화면에서 티켓 문제를 함께 해결한다.
• 멀티 모델 선택: 여러 AI 제공사의 모델 중에서 자유롭게 고를 수 있어, 다음 주에 더 뛰어난 신규 모델이 출시되면 기존 컨텍스트는 그대로 두고 모델만 즉시 교체해 사용한다.

과거 Ramp에서는 고객 통화 도중 나온 기능 요청을 직원이 일일이 세일즈포스(Salesforce)에 입력해야 했다. 이후 한 어카운트 매니저가 통화 기록에서 기능 요청만 자동으로 뽑아내는 프롬프트를 만들어 Glass에 저장했다. 지금은 그 첫 번째 프롬프트가 팀 전체의 고객 통화에서 기능 요청을 수집한다. 이어서 두 번째 프롬프트가 요청의 우선순위를 매기고, 세 번째 프롬프트는 해당 기능이 실제로 출시되면 요청했던 고객들에게 안내 이메일을 작성해 보낸다. 직원이 개인 업무를 줄이려고 저장한 프롬프트 하나가 팀 전체의 자동화 파이프라인으로 발전한 사례다.

가장 흥미로운 지점

이번 글을 읽으며 가장 눈여겨본 대목은 기업용 AI의 성패가 모델의 추론 능력이나 파인튜닝 기법보다 사내 규칙을 문서로 명시하고 계속 관리하는 운영 체계에서 결정된다는 진단이었다. 많은 기업이 AI 도입 초기에는 거창한 파인튜닝이나 전사 문서 일괄 색인(RAG)부터 시도한다. 하지만 현장에서 AI가 엉뚱한 답을 내놓는 이유는 인식 매출과 계약 매출 중 무엇을 기본 지표로 삼는지, 자회사 3곳을 둔 모회사를 고객 몇 곳으로 세는지 같은 1~2쪽짜리 기본 정의가 문서로 정리되어 있지 않기 때문이다.

나아가 “시스템이 첫날부터 고장 나는 일은 드물고, 누군가 훌륭한 첫 버전을 만든 뒤 아무도 갱신하지 않을 때 망가진다”라는 Ramp 팀의 경험담도 시사하는 바가 크다. AI가 틀린 답을 냈을 때 개인 채팅창에서 다시 지시하고 끝내는 대신, 오답을 ‘누락된 정보’와 ‘오래된 정보’로 분류해 담당 부서가 원천 문서를 고치게 만드는 피드백 루프가 개인용 챗봇과 조직의 ‘회사 두뇌’를 구분하는 핵심 기준이다.

출처

• 발행 기관 및 저자: Ramp team (Ramp Blog)
• 발표일: 2026년 10월 30일
• 원문: https://ramp.com/blog/how-to-give-ai-context
• 삽화: 커버와 본문 삽화 4장은 「느낌적인 느낌을 숫자로 옮기는 일」에 실린 치비 서소영 라인아트를 참조해 gpt-image-2.6-flare로 생성했다.