📍
바쁜 독자를 위한 TL; DR
챗봇에 익숙해진 우리에게 'AI 에이전트'는 여전히 낯설지만, 그 차이를 이해하는 것이 업무 방식 전환의 실질적인 출발점이 됩니다.
챗봇은 질문에 답하지만, 에이전트는 스스로 설계하고 실행합니다 — 그 차이는 기술의 문제이기도 하지만, AI를 '도구'가 아닌 '동료'로 바라보는 인식 전환이 있을 때에 체감할 수 있습니다.
이 글을 읽고 나면, 에이전트에게 일을 맡길 때 목표·맥락·권한을 함께 전달하는 '위임 능력'이 핵심임을 이해하고, 지금 당장 실천할 수 있는 방향을 잡을 수 있게 됩니다.
교육 담당자 A씨는 ChatGPT를 쓴 지 1년이 넘었다. 직무별 역량 진단 리포트를 만들 때도, 교육 커리큘럼 초안을 잡을 때도 ChatGPT가 옆에 있다. 그런데 AI를 쓰고 있어도 여전히 귀찮은 일은 다 그의 몫이었다. 업계 트렌드를 요약해달라고 한 뒤, 그 결과를 직접 복사해서 다른 프롬프트에 붙여 넣고, "이걸 기반으로 우리 팀 역량 격차와 비교해줘"라고 입력하고, 또 결과를 받아서 다음 단계로 이어줬다. AI는 각 단계를 나름 잘 처리했지만, 누군가 이야기하듯 ‘AI로 생산성이 폭발적으로 늘었어요’와 같은 상황은 체감하지 못했다. 오히려 앞선 단계에서 요청했던 맥락을 뒤쪽 단계에서 놓쳐서 엉뚱한 결과물을 출력해낸 탓에 그걸 수정하는 데 시간을 더 쓰기도 했다.
이런 경험이 혹시 있으신가요? 많은 사람들이 이제는 익숙하게 사용하고 있는 AI 챗봇이 작동하는 방식 때문에 생기는 흔한 모습입니다. 웹페이지를 통해 마주하는 채팅창 형태의 AI와 함께 일하면 으레 있는 일이지요. 다만 이렇게 써서는 ‘AI를 통한 생산성의 폭발적 향상’을 기대하기란 어렵습니다. 그리고 이런 장면을 ‘바람직한 AX’라고 하기에도 조금은 어렵겠지요. 이 시점에서 필요한 것, 바로 AI 에이전트입니다.
AI 에이전트는 AI를 사용해 사용자를 대신하여 목표를 추구하고 할 일을 완수하는 소프트웨어 시스템으로, 추론, 계획, 기억이 가능해 일정 수준의 자율성을 갖고 의사 결정, 학습, 조정을 처리할 수 있습니다.(링크) 이러한 AI 에이전트는 챗봇과 무엇이 어떻게 다르고, 어떻게 활용을 시작할 수 있을까요?
챗봇과 에이전트의 차이를 알아보기 위해, 우선 AI 챗봇을 활용하는 장면으로 돌아가보겠습니다. 사용자가 프롬프트를 입력창에 쓰고 엔터를 누르면, 챗봇은 그에 답합니다. 한 번에 하나씩, 요청이 오면 응답하고 다음 요청을 기다리지요. 물론 챗봇도 똑똑해서 기획서 초안을 쓰고, 아이디어를 정리하는 데 도움을 주기도 하고, 리서치나 데이터 요약도 나름 해냅니다. 사용자가 구체적인 질문을 잘 던질수록 결과도 좋아질 수 있습니다.
하지만 거기까지입니다. AI 챗봇은 일의 다음 단계를 생각하지 않습니다. 이는 챗봇의 구조가 가진 한계 때문입니다. 챗봇은 시스템에 접근해서 데이터를 가져올 수도 없고, 외부의 여러 도구를 연결해 복잡한 흐름을 주도적으로 실행하지도 않습니다. 무엇보다, 별도 메모리 설정이 없기 때문에 대화가 끝나면 맥락이 사라집니다. 다음 대화에서 AI는 이전 결과물이 어떤 맥락과 요청을 토대로 생성된 것인지 모르기 때문에, 사용자가 매번 새로 설명해야 합니다. 스스로 다음 태스크를 설계하지 못하는 이유가 여기에 있습니다. 그렇기에 서두의 예시처럼, 일의 단계마다 지시를 이어줘야 했던 것이지요.
그렇다면, 같은 과제를 AI 에이전트에게 맡기면 어떻게 될까요? 예시로 이런 요청을 했다고 가정해보겠습니다. "우리 팀 AI 역량 교육 6개월 로드맵을 만들어줘. 직무별 역량 데이터와 올해 교육 예산을 반영하고, 주요 기업들의 최근 교육 사례도 조사해서 이사회 보고용으로 정리해줘."
에이전트는 요청을 받으면 우선 스스로 일의 과정과 단계를 설계합니다. 이러한 설계가 가능하고 또 유의미한 이유는 요청자로부터 권한을 받아 파일과 데이터에 직접 접근할 수 있기 때문입니다. 예를 들어 앞선 단락의 요청을 받으면, AI 에이전트는 기존에 가지고 있던 역량 관련 데이터를 읽어 구성원 간 존재하는 역량 격차를 분석하고, 웹에서 최신 교육 사례를 검색하고, 예산 제한 안에서 커리큘럼 옵션을 구성하고, 이 모든 내용을 보고서 형식으로 출력합니다. 사용자가 중간중간 각 단계를 이어줄 필요가 없이 말이지요. 목표와 맥락을 처음에 충분히 전달했다면, 에이전트가 필요한 과정을 알아서 수행합니다. 필요하다면 각 단계에 특화된 에이전트를 여러개 두고 이들끼리 협업하도록 할 수도 있습니다.
차이는 자율성(autonomy)에 있습니다. 챗봇은 답을 주지만, AI 에이전트는 ‘일을 합니다.’ 챗봇이 '응답기'라면, 에이전트는 '실행자'인 것이지요. 목표 지향 추론, 외부 도구 연결(API, 데이터베이스, 검색 등), 다단계 워크플로우 실행, 세션 간 맥락 유지 등 AI 에이전트를 가능하게 하는 기술적 구성 요소 등을 통해 이러한 자율성을 확보하고 발휘합니다. AI 에이전트를 구축하고 활용하는 것은 이러한 기술을 토대로 AI 역량을 극대화해 업무 프로세스에 참여하는 ‘동료’로 기능하도록 하는, 현 시점 가장 진보한 AI와의 협업 방식이라고 할 수 있습니다.
기업들의 AI 에이전트 도입은 빠르게 확산되고 있습니다. Microsoft 365 생태계에서 AI 에이전트 사용량이 1년 만에 15배 증가했다고 보고되는 한편, 글로벌 기업의 62%가 AI 에이전트를 실험 중이며 23%는 이미 일부 업무 영역에서 AI 에이전트를 확대 적용하고 있다는 맥킨지의 조사 결과도 확산세를 뒷받침합니다. 이러한 확산세는 업무에서 만들어내는 생산성 증대가 그 이유임이 분명해보입니다. BCG의 분석에 따르면, AI 에이전트 기반 업무 프로세스를 구축해 동일 업무에 대해 기존 대비 30~50% 처리 속도를 높인 사례가 다수 보고되고 있습니다.
하지만 AI 에이전트를 도입했다고 해서 자연히 원활하게 활용된다고 말할 수는 없습니다. 오히려 AI 에이전트를 도입해두고도 여전히 챗봇처럼 쓰면, 에이전트는 그 역량을 채 발휘하지 못한 채 챗봇과 동일하게 작동합니다. 챗봇에게 이야기하듯 단건의 맥락 없는 요청이나 질문을 던지면 에이전트도 그에 대해서 응답할 수밖에 없다는 것이지요.
챗봇을 잘 쓰는 법과 에이전트를 잘 쓰는 법은 다릅니다. 챗봇 AI에서 중심이 되는 역량은 '프롬프팅' 즉 좋은 질문과 요청을 정리하는 것이라면, 에이전트에서 더 중요해지는 역량은 '위임' 즉 목표와 맥락과 권한을 함께 전달하는 것이라고 할 수 있습니다. 위임은 프롬프팅보다 더 많은 것을 요구합니다. 목표가 무엇인지(달성하려는 결과), 맥락이 무엇인지(우리 팀의 상황, 업무 상황에서의 제약 및 우선순위 등), 어디까지 자율적으로 결정해도 되는지(권한 범위). 이러한 정보가 충분히 전달되면, 에이전트는 실제로 업무를 완수해낼 수 있습니다.
그렇기 때문에, 지금 시점에 AI 에이전트의 활용도를 가르는 것은 오히려 활용하는 사람의 인식에 달려 있을지도 모릅니다. ‘그래봐야 AI는 도구일 뿐인데, 그런 것들을 전달한다고 해서 진짜로 일이 되겠어?’라며 AI의 역할과 업무 범위를 내 머릿속에서 미리 제한하는 것이 아니라, 충분한 맥락과 정보를 실제로 전달하는 것부터가 곧 진짜 AI 에이전트를 활용하는 단계의 시작일 것입니다. 이는 곧 AI를 ‘동료’로 인정한다는 뜻입니다. 새로운 동료에 팀에 합류했을 때 함께 일을 해나가기 위해 일의 목표와 맥락과 지금까지의 진척 등을 전달하는 과정을 당연히 거친다는 것을 생각하면 금방 이해할 수 있는 관점입니다. AI 에이전트를 만드는 방법이 다양하고 쓰는 모습도 각자 다르더라도 ‘AI는 단순 도구가 아니라 동료’라는 멘탈모델만큼은 에이전트를 활용하고자 하는 모두에게 꼭 필요합니다.
💡
멋쟁이사자처럼의 AI 학습 프로세스를 통해 AI 에이전트를 구축하고 온전하게 활용하는 데 필수적인 3가지 멘탈모델 전환을 경험할 수 있습니다.
변화하는 멘탈모델의 구체적인 모습을 아래 버튼을 눌러 살펴보세요!