변호사의 로컬LLM 세팅기
변호사가 DGX Spark 위에 로컬 AI 환경을 세팅하는 과정의 기록. · 전체 30편
연재 소개 (feat. NVIDIA DGX Spark)
저는 변호사입니다. 코딩을 업으로 삼는 사람도 아니고, 리눅스 터미널을 보면 본능적으로 닫고 싶어지던 평범한 맥 유저였습니다. 그런 제가 어쩌다 보니 책상 위에 GIGABYTE AI TOP ATOM…
변호사가 책상 위에 AI 슈퍼컴퓨터를 들였습니다
안녕하세요. 저는 변호사입니다. 그리고 며칠 전, 책상 위에 작은 박스를 하나 올려놨습니다. GIGABYTE AI TOP ATOM이라는, 이름부터 거창한 물건이에요.
처음으로 AI 이미지 한 장 만들기까지
지난 편에서는 ATOM을 켜고 리눅스 환경에 적응하는 이야기를 했어요. 오늘은 본격적으로 여러분이 그대로 따라하실 수 있는 첫 AI 이미지 생성 과정을 단계별로 풀어볼게요.
GPU가 좋을수록 왜 덜 정확하게 쓸까?
지난 편에서 처음으로 AI 이미지 한 장 만들어보셨다면, 오늘 글은 그 코드를 한 번 더 깊이 들여다보는 시간입니다. 따라하실 단계는 거의 없어요. 대신 AI 세계의 의외의 규칙 하나를 배우게 됩니…
집의 본체를 사무실에서 부르는 법
지난 편까지 ATOM 위에서 첫 AI 이미지를 만들어보고, 코드 한 줄의 의미까지 파헤쳐봤습니다. 그런데 며칠 지나니 새로운 문제가 생겼어요. 본체는 집에 있는데, 저는 매일 사무실에서 출근한다는 …
AI 두뇌 넣기: 내 책상 위의 ChatGPT: Docker로 첫 컨테이너 띄우기
지난 편에서 사무실에서도 본체에 접속할 수 있게 되었습니다. 그런데 거기까지 하고 나니 새로운 질문이 떠올랐어요.
gpt-oss와 폰에서 부르는 ChatGPT
지난 편에서 ChatGPT 비슷한 화면까지 만들었어요. Docker로 Open WebUI 컨테이너를 띄우고, 브라우저에서 localhost:8080 으로 접속해서 회원가입까지 했죠. 그런데 끝낼 때…
별채가 아니라 방하나만 빌리기(docker vs venv)
지난 편까지 본인 ATOM에는 Open WebUI랑 Ollama가 깔려 있어요. 폰에서도 접속 가능하고, 재부팅돼도 알아서 살아납니다. 텍스트로 대화하는 ChatGPT 비슷한 환경은 완성된 셈이죠.
보라색 우주 병이 태어난 날
지난 편에서 ComfyUI를 돌릴 작업실(venv + 본체)을 만들었어요. 이제 진짜로 그림을 만들어봅니다.
카카오는 이걸 다 자체 개발하는 건가?
7편이랑 8편에서 ComfyUI 깔고 보라색 우주 병 하나 만들었어요. 거기서 그쳤으면 그냥 "이미지 생성 도구 익혔다" 정도였을 텐데, 본인 안에 작은 의심 하나가 생겼어요.
에이전트라는 다음 단계 - 채팅에서 비서로
지난 편들로 본인 ATOM은 꽤 갖춰진 상태였습니다. 6편에서 Docker로 Open WebUI랑 Ollama를 깔아서 폰에서도 ChatGPT 비슷하게 부를 수 있게 했고, 8편에선 ComfyUI로…
1M의 함정
지난 편에서 OpenClaw랑 Nemotron-3-Nano-30B-A3B를 골랐어요. "왜 이 두 도구인가" 까지만 정리했고, 실제 설치는 안 다뤘죠. 오늘 글이 그 후일담입니다.
게이트웨이의 비밀 - 에이전트는 어떻게 살아있나
지난 편에서 한참 디버깅하고, 첫 메시지에서 답을 받았어요. 그런데 그 답이 오는 데 40초 가까이 걸렸어요. 모델이 죽지 않은 건 좋은데, 응답이 너무 느렸죠. 6편 때 Open WebUI에서 g…
OpenClaw를 텔레그램에 연결하기
지난 편에서 본인 ATOM에는 OpenClaw 에이전트가 살아있는 상태가 됐어요. 다만 게이트웨이가 127.0.0.1(= 본인 컴퓨터 안에서만)에 묶여 있어서, ATOM 앞에 앉아야만 비서를 부를 …
가짜 같은 진짜 — 환각인가 아닌가
지난 편 마지막에 이상한 신호 두 가지를 적었습니다. 노란 경고 삼각형, 그리고 비서가 스스로 대화를 리셋한 사건. 둘 다 정체를 풀어보겠다고 약속했는데, 두 사건이 결이 좀 달라서 한 편에 묶기는…
비서가 첫 마디 전부터 9,500자를 들고 있다는 사실
지난 편 끝에서 환각인 줄 알았던 답이 사실 진짜였다는 결론에 도착했습니다. 다만 그 추리 과정에서 다른 신호가 자꾸 보였어요. 새로 시작한 대화 세션이 첫 마디 듣기도 전에 38KB(약 9,500…
에이전트한테 손을 달다 - SKILL.md
제가 직접 스킬을 한 번 만들어보고 싶었어요.
에이전트에게 LegalT3ch 글을 읽히다 (MCP)
먼저 결과부터 보여드릴게요. 제 에이전트한테 이렇게 시켰어요.
매번 10초씩 멈추는 에이전트.
지난 편에서 게시판을 에이전트한테 연결하는 데 성공했어요. 그런데 쓸 때마다 묘하게 거슬리는 게 있었어요. 뭘 시키든 답하기 전에 꼭 몇 초씩 멈추고, 화면엔 늘 이 안내가 떴어요.
로컬 LLM에게 내 글을 평가시켰더니
10초 멈춤 문제를 쫓던 도중에, 재미 삼아 에이전트한테 장난 같은 질문을 하나 던졌어요. 제가 쓴 16화 글(SKILL.md 만들기 편)을 게시판에서 읽게 한 다음에,
법제처를 에이전트에 물리다
이 세팅기의 목적은 변호사 업무에 도움되는 에이전트를 만드는 데 있다. 그런데 로컬 모델은 프론티어 모델보다 환각이 더 자주 나타난다. 조문 인용 등에서는 환각이 일어나면 안 되기에, 법제처에 직접…
형사 증거기록 OCR, 어떤 모델로 할까
형사 사건을 맡으면 증거기록을 받는다. 수십, 수백 페이지짜리 스캔본 PDF다. 이걸 읽고 사실관계를 파악하고 변론 방향을 잡는 것이 일의 출발점인데, 종이를 통째로 다시 타이핑할 수는 없으니 OC…
한글 형사기록, 로컬 모델로 읽힌 첫 페이지
지난 화에서 비교군을 좁혔다. 글로벌 범용 VLM인 Qwen3-VL을 기준선으로 삼아, 실제 증거기록 한 페이지를 읽혀보기로 했다.
표와 자필진술서, OCR은 어디까지 읽어낼까
지난 화에서 qwen3-vl:8b-instruct로 인쇄된 한글 본문을 빠르고 정확하게 읽었다. 피의자신문조서나 판결문처럼 문장이 줄줄이 이어지는 글, 이 글에서는 이런 페이지를 '줄글'이라 부르겠…
1.2B 파서를 형사기록에 들이밀다 — 점수와 실사용의 거리
지난 화 끝에 적었듯, 구독자 한 분이 한국딥러닝의 KDL-Frontier-Parser-nano를 알려주셨다. 12억(1.2B) 매개변수의 초경량 문서 파싱 모델인데, 글로벌 문서 파싱 벤치마크 P…
에이전트에게 구글 워크스페이스 열쇠를 쥐여주다
사무실로 들어오는 서류는 대부분 스캔을 거친다. 스캐너가 찍은 파일은 구글 드라이브의 한 폴더(Ai Test > SCAN)로 올라간다. 지금까지는 이 파일들을 사람이 하나씩 열어 분류하고, 기일이 …
기일지정서를 읽고 일정을 만들기까지
지난 화에서 gog 인증을 끝내, 에이전트가 구글 드라이브와 캘린더에 손을 댈 수 있게 됐다. 이번 화는 그 손으로 실제 문서를 다룬다. 목표는 이렇다.
송달문서(SCAN파일) 정리하기
26화에서 기일지정서 한 장으로 구글 드라이브에서 받아, 모델로 읽히고, 캘린더에 일정을 만드는 흐름이 작동하는 것을 봤다. 이번에는 그 흐름을 스크립트로 묶으려 한다.
송달문서(SCAN파일) 정리하기(2)
27화에서 추출 단계를 단단히 했다. PDF를 받아 당사자·출석일정·일시를 깨끗한 JSON으로 뽑는 데까지 왔다. 그런데 이건 전체 파이프라인의 한 토막일 뿐이다. 27화에서 그렸던 큰 그림을 다시…
한국 법률 AI 벤치마크에는 무엇이 있을까
최근 한국에서 만든 오픈웨이트 LLM을 찾아보다 보니 이름이 꽤 많이 나온다.