10화 2026-06-02

에이전트라는 다음 단계 - 채팅에서 비서로

시작하며

지난 편들로 본인 ATOM은 꽤 갖춰진 상태였습니다. 6편에서 Docker로 Open WebUI랑 Ollama를 깔아서 폰에서도 ChatGPT 비슷하게 부를 수 있게 했고, 8편에선 ComfyUI로 이미지 한 장도 손에 잡았어요.

이제 다음단계로 가볼 것입니다.

“내 일정 알려줘” 하면 진짜 내 캘린더를 보고 답하는 것 “사건 자료에서 X 문서 좀 찾아줘” 하면 본인 폴더를 뒤져서 가져오는 것 “오늘 처리할 메일 정리해줘” 하면 진짜로 메일함을 읽는 것

이게 AI 에이전트 라는 개념이에요. 단순히 텍스트만 주고받는 챗봇이 아니라, 본인 데이터에 접근하고, 도구를 호출하고, 다단계 작업을 수행하는 무언가.

오늘 글은 그 다음 단계로 가는 첫 발걸음의 기록입니다. 도구 선택, 모델 선택, 그리고 그 과정에서 만난 의외의 발견들. 본격적인 설치는 다음 편에서, 오늘은 선택의 이야기예요.

에이전트 vs 챗봇 - 진짜 차이는?

처음엔 “그게 뭐 큰 차이야?” 싶었어요. 챗봇한테도 도구 좀 붙이면 에이전트 되는 거 아닌가?

깊이 들어가보니까 진짜 차이가 있었어요.

비유로 풀면, 챗봇은 똑똑한 답변 자동판매기예요. 동전(질문) 넣으면 콜라(답변) 나옴. 그런데 에이전트는 비서예요. “오전 10시에 이 미팅 잡고, 그 전에 자료 정리해둬” 하면 알아서 계획 짜고 도구 써가며 처리합니다.

당연히 비서가 더 유용하죠. 다만 비서를 들이는 건 책임도 따라온다는 게 함정이에요. 변호사인 본인 입장에선 특히. 비서가 본인 파일을 읽고 명령을 실행할 수 있다는 건, 잘못 들이면 의뢰인 데이터에 누군가 잘못 접근할 수도 있다는 뜻이거든요. 그래서 도구 선택부터 신중해야 합니다.

OpenClaw - 가재 이모지로 등장한 도구

후보를 찾아보니 몇 가지가 있었어요.

• LangChain / LangGraph - 코드로 직접 짜는 프레임워크. 개발자용.
• AutoGen - Microsoft의 에이전트 프레임워크. 역시 코드 중심.
• OpenWebUI Functions - 이미 깔린 거에 기능 추가. 가벼움.
• OpenClaw - 비교적 신생, 데스크탑 사용자를 위한 로컬 에이전트 플랫폼.

마지막 거 이름이 좀 우스웠어요. OpenClaw. 가재 🦞 가 마스코트예요. Claude의 패러디 같은 느낌도 들고요. 그런데 이걸 고른 이유는 두 가지였습니다.

첫째, 본인이 코드 짜는 사람이 아니에요. LangChain은 좋은 도구지만 본질적으로 개발자 도구예요. 본인이 원한 건 “셋업하고 채팅창으로 쓰는” 비서지, 매번 파이썬 코드 짜야 하는 게 아니었어요.

둘째, 보안 문서가 솔직했어요. OpenClaw 문서는 첫 줄부터 빨간 경고로 시작합니다. “이건 본인 컴퓨터에서 명령을 실행할 수 있는 에이전트입니다. 위험합니다. 격리된 환경에서 쓰세요.” 솔직하게 위험을 인정하는 도구를 좋아해요. 위험을 숨기는 것보다 명시하는 게 훨씬 안전한 거.

가재 이모지가 좀 웃기긴 한데, 도구 자체는 진지하게 만들어졌어요. 마음에 들었습니다.

두뇌 고르기 - Nemotron-3-Nano-30B-A3B의 정체

다음 결정은 어떤 모델을 두뇌로 쓸 거냐였어요. 6편 때 받은 gpt-oss:20b를 그대로 쓸 수도 있었지만, 더 흥미로워 보이는 후보가 있었습니다.

Nemotron-3-Nano-30B-A3B

이름이 무슨 암호 같죠. 부분별로 뜯어보면 의미가 명확해져요.

마지막 A3B가 이 모델의 비밀이에요.

MoE - 전문가가 128명이지만 한 번에 6명만

이 모델은 MoE (Mixture of Experts) 라는 구조를 써요. 풀면 “전문가 혼합”.

비유: 전문가 128명이 한 사무실에 있는 상황입니다.

• 일반 30B 모델 = 직원 30명 모두가 모든 일에 매번 참여 → 느림
• MoE 30B-A3B = 128명 중 매번 6명만 발탁해서 일 → 확 빠름

기술적으로 정리하면,

• 총 128 전문가 + 항상 일하는 공유 전문가 1명
• 토큰 하나당 6명만 활성화 (게이트 신경망이 골라줌)
• 메모리엔 전원 대기 (30B 다 로드), 계산은 3B 분량만

3편에서 봤던 “GPU가 좋을수록 작은 정밀도를 쓴다” 라는 흐름의 연장선이에요. AI 업계는 더 큰 모델, 더 적은 계산을 향해 가고 있어요. MoE는 그 한 가지 방법입니다.

Mamba + Transformer 하이브리드

여기서 한 단계 더 깊이 들어가요. Nemotron은 그냥 MoE가 아니라 Mamba + Transformer 하이브리드 아키텍처예요.

지난 5년간 모든 대형 모델은 Transformer 라는 한 가지 구조를 썼어요. ChatGPT도, Claude도, Llama도. 그런데 2024년부터 Mamba 라는 새 구조가 등장했습니다. 긴 문맥을 더 효율적으로 처리하는 방식.

Nemotron은 이걸 섞었어요. Mamba 23개 + MoE 23개 + Transformer 6개. 각 구조의 장점만 골라 쓰는 셈이에요.

비유하자면, 가솔린 엔진(Transformer)에 전기 모터(Mamba)를 함께 단 하이브리드 자동차예요. 둘 다 잘하는 영역이 다르니까 같이 쓰면 더 좋은 결과.

이게 2025년 12월에 나온 최신 아키텍처예요.

Reasoning Mode - 생각하고 답한다

Nemotron에 또 한 가지 특별한 기능이 있어요. Reasoning Mode (추론 모드).

• 옛날 LLM (2023년 이전): 입력 → 즉시 출력. 직관적 답.
• 요즘 LLM (Nemotron 포함): 입력 → 속으로 생각 → 정리해서 출력.

이게 2024년 OpenAI의 o1 모델이 처음 대중적으로 보여준 패러다임이에요. 답을 한 번에 만들지 않고,

1. 문제 분석
2. 여러 접근 시도
3. 자기 검증
4. 최종 답

이 과정을 모델 안에서 거치고 답을 내놔요. 결과? 수학, 코딩, 논리 문제에서 정확도 폭발적 증가.

이걸 Chain of Thought (CoT, 생각의 연쇄) 라고 부르기도 해요. 답을 단계별로 풀어가는 방식.

에이전트한테는 이 기능이 진짜로 중요해요. 비서가 “오전 10시 미팅 잡아” 같은 요청을 받으면,

• 어느 캘린더에 잡지?
• 다른 일정과 안 겹쳐?
• 알림은 언제?
• 회의실 예약도 필요해?

이 모든 걸 순서대로 생각해야 해요. Reasoning Mode가 그걸 가능하게 해줍니다. NVIDIA가 Nemotron을 “에이전트용 모델”이라고 부르는 이유가 여기에 있어요.

Context Window - 책상의 크기

마지막 한 가지 개념. Context Window.

비유: LLM의 책상 크기예요.

• 책상 작음 → 책 한 권 펴면 다른 거 치워야 함
• 책상 큼 → 책 여러 권 펴놓고 참고하며 답 만들 수 있음

이걸 토큰 이라는 단위로 잽니다. 한 토큰은 대충 영어 3~4글자, 한국어 1~2글자.

Nemotron은 이론적으로 1M까지 지원해요. 한 번에 책 한 권을 읽고 답할 수 있다는 뜻.

다만 이게 함정이 됩니다. 책상이 크면 좋아 보이지만, 그만큼 메모리도 잡아먹어요. 그리고 다음 편에서 보겠지만, 1M으로 잡으면 버그도 같이 나타나요.

이런 트레이드오프를 변호사 본능적으로 미리 의심해뒀어야 했는데, 결국 첫 시도에서 호되게 당했습니다. 그 얘기는 다음 편에서.

보안 한 마디 - 비서를 들이기 전에

에이전트를 깔기 전에 한 번 더 짚어둘 게 있어요. 에이전트는 위험합니다. 챗봇이랑 본질적으로 달라요.

그래서 OpenClaw 셋업 단계에서 “Skills 켤래?” 같은 질문이 나와요. 처음엔 모두 끈 상태 로 시작하고, 본인이 신뢰할 수 있는 능력만 하나씩 켜는 게 맞아요. 다음 편에서 그 마법사 단계가 나옵니다.

그리고 ATOM은 본인의 학습용 머신이지 의뢰인 데이터가 본격적으로 들어있는 메인 PC가 아니에요. 그래서 에이전트 실험엔 적합합니다. 회사 메인 PC에 함부로 깔지 않기. 이게 변호사스러운 보수적 판단입니다.

오늘의 정리

• ✅ 에이전트 ≠ 챗봇. 챗봇은 답변기, 에이전트는 비서
• ✅ OpenClaw: 가재 🦞 이모지가 마스코트인 로컬 에이전트 플랫폼. 보안 위험을 솔직히 명시하는 점이 마음에 듦
• ✅ Nemotron-3-Nano-30B-A3B: NVIDIA의 2025년 12월 최신 모델
  • A3B: 30B 중 3B만 활성 (MoE 구조)
  • Mamba + Transformer 하이브리드: 두 아키텍처를 섞은 신형
• ✅ Reasoning Mode: 답하기 전에 속으로 생각하는 기능 (CoT). 에이전트에 특히 잘 어울림
• ✅ Context Window = LLM의 책상 크기. 32K가 균형 잡힌 선택. 1M은 함정이 될 수 있음
• ✅ 에이전트는 위험을 수반함. 학습용 머신에서 신중하게 시작

오늘은 선택의 이야기였어요. 다음 편엔 실제 설치 + 마법사를 거치며 만난 의외의 학습들, 그리고 첫 메시지에서 모델이 크래시한 그 순간 으로 이어집니다. GitHub 이슈를 검색하고 Modelfile을 만든 날이에요.

읽어주셔서 감사합니다.

#에이전트#모델선택