AI끼리 서로 채점한다? 카파시 LLM Council(LLM 카운슬) 설치·사용법·활용 사례 총정리

LLM Council(LLM 카운슬)은 안드레이 카파시가 공개한 무료 오픈소스 웹앱이에요.
질문 하나를 GPT·Gemini·Claude·Grok에 동시에 보내고,
AI끼리 익명으로 서로 채점한 뒤 의장 AI가 최종 답을 정리해 줘요.
이 글에서 설치 방법, 비용, 장단점, 실제 활용 사례까지 쉽게 정리했어요.

 

최종 업데이트: 2026.10.28 · GitHub 저장소와 공식 README, 외부 공개 자료 기준

 

LLM Council 공식 README 헤더 이미지 (원탁에 둘러앉은 AI 위원회)

출처: karpathy/llm-council GitHub 저장소

 

ChatGPT한테 물어보고, 혹시 몰라서 제미나이한테 또 묻고,
그래도 찜찜해서 클로드까지 열어 본 적 있으세요?
중요한 질문일수록 탭을 서너 개씩 띄워 놓고 비교하게 되죠.

 

LLM Council은 바로 이 번거로운 과정을 한 번에 해 주는 도구예요.
여러 AI가 각자 답하고, 누가 쓴 답인지 모르는 상태에서 서로 순위를 매기고,
마지막에 의장 역할의 AI가 하나의 답으로 정리해 주는 구조예요.

📌 3줄 요약
1. LLM Council은 여러 AI에게 같은 질문을 던지고, 익명 상호평가를 거쳐 의장 AI가 최종 답을 내는 로컬 웹앱이에요.
2. 코드는 무료지만 OpenRouter API 키와 크레딧이 필요하고, 질문 1번에 AI 호출이 약 10번 일어나요.
3. 카파시는 "지원하지 않는다"고 못 박은 주말 프로젝트라, 개조판(포크)이나 클로드 스킬 버전으로 많이 쓰여요.

 

 

---

 

 

LLM Council이란? 카파시가 만든 'AI 위원회'

LLM Council은 여러 대형 언어 모델(LLM)을 하나의 위원회처럼 묶어서
같은 질문에 함께 답하게 만드는 웹 애플리케이션이에요.
겉모습은 ChatGPT처럼 생긴 채팅 화면이지만, 뒤에서는 AI 여러 개가 일해요.

 

만든 사람은 OpenAI 공동 창업자이자 테슬라 AI 총괄을 지낸
안드레이 카파시(Andrej Karpathy)예요.
'바이브 코딩'이라는 말을 유행시킨 바로 그 사람이죠.

 

카파시는 2025년 11월 22일, 이 프로젝트를
"재미로 만든 토요일 바이브 코딩 프로젝트"라며 X(트위터)에 공개했어요.
책 챕터를 여러 LLM과 함께 읽으면서 모델들의 답을
나란히 비교해 보고 싶어서 만들었다고 해요.

 

작동 방식: 3단계면 끝나요

LLM Council 작동 방식 한눈에 보기 (README 내용을 바탕으로 재구성)

출처: LLM Council README 내용을 바탕으로 Smartech 제작

 

1단계, 각자 답변(First opinions)
내 질문이 위원회의 모든 AI에게 따로따로 전달돼요.
답변은 탭 형태로 나와서 하나씩 눌러 비교할 수 있어요.

 

2단계, 익명 상호평가(Review)
각 AI가 다른 AI들의 답변을 읽고 정확도와 통찰력으로 순위를 매겨요.
이때 답변은 'Response A, B, C'처럼 이름이 가려져 있어서
자기 회사 모델 편을 들기 어렵게 되어 있어요.

 

3단계, 최종 답변(Final response)
의장(Chairman) 역할의 AI가 모든 답변과 순위를 모아서
최종 답변 하나로 정리해 보여 줘요.

 

2단계 결과는 모델별 평균 순위로도 계산돼요.
화면에는 'Aggregate Rankings (Street Cred)'라는 이름으로 나오는데,
숫자가 낮을수록 다른 AI들에게 좋은 평가를 받았다는 뜻이에요.

 

한눈에 보는 기본 정보

karpathy/llm-council 저장소 화면 (2026년 10월 28일 기준 스타 26.0k, 포크 4.5k)

출처: GitHub karpathy/llm-council (2026.10.28 캡처)

 

항목	내용
만든 사람	안드레이 카파시 (Andrej Karpathy)
공개일	2025년 11월 22일 (이후 추가 커밋 없음, 총 5커밋)
인기	GitHub 스타 약 2.6만 개, 포크 약 4.5천 개 (2026.10.28 기준)
가격	코드는 무료, AI 호출 비용은 OpenRouter 크레딧으로 별도 결제
기본 위원	GPT-5.1, Gemini 3 Pro(프리뷰), Claude Sonnet 4.5, Grok 4
기본 의장	Gemini 3 Pro(프리뷰)
기술 스택	FastAPI(파이썬 3.10+), React + Vite, 대화는 JSON 파일로 저장
라이선스	저장소에 라이선스 파일 없음

 

 

---

 

 

LLM Council 특징과 장점

① AI 4개의 답을 한 화면에서 비교

탭을 여러 개 띄워 복사·붙여넣기를 반복할 필요가 없어요.
질문 한 번이면 모델별 답변이 탭으로 정리돼서
누가 더 자세하고, 누가 핵심만 짚는지 바로 보여요.

 

② 이름을 가린 '블라인드 채점'

AI가 서로의 답을 평가할 때 어떤 모델이 썼는지 모르게 해요.
카파시는 모델들이 생각보다 순순히 다른 모델의 답을
자기 답보다 낫다고 고르는 경우가 많았다고 적었어요.

 

③ 의견이 갈리는 지점이 곧 정보

AI 네 개가 같은 결론을 내면 조금 더 믿고 움직일 수 있고,
서로 다른 말을 하면 "여기는 더 확인해야겠다"는 신호가 돼요.
단일 AI의 그럴듯한 오답을 걸러 내는 데 도움이 되는 구조예요.

 

④ 모델 교체가 코드 한 줄

OpenRouter를 거쳐 모델을 부르기 때문에
설정 파일의 모델 이름만 바꾸면 위원을 갈아 끼울 수 있어요.
VentureBeat는 이 점을 들어, 모델을 부품처럼 바꾸는
기업용 AI 오케스트레이션의 축소판이라고 평가했어요.

 

⑤ 코드가 짧아서 공부·개조용으로 최고

핵심 로직이 파이썬 파일 몇 개에 다 들어 있어요.
카파시도 "코드는 이제 일회용이니 원하는 대로
LLM에게 고쳐 달라고 하라"고 README에 적어 뒀어요.

 

 

---

 

 

단점과 주의할 점, 솔직하게

① 공식 지원이 없어요

README에 "어떤 방식으로도 지원하지 않고, 개선할 생각도 없다"고 적혀 있어요.
실제로 공개 당일 이후 커밋이 없고, 열린 이슈도 70개나 쌓여 있어요.
버그가 생기면 직접 고치거나 개조판을 써야 해요.

 

② API 비용이 질문마다 몇 배로 들어요

기본 설정이면 질문 1번에 1단계 4번, 2단계 4번, 의장 1번,
대화 제목 생성 1번까지 AI 호출이 약 10번 일어나요.
2단계에서는 다른 답변 전체를 읽혀야 해서 입력 토큰도 길어져요.

 

③ 대화를 이어 가지 못해요

원본은 대화 하나에 질문 하나만 받는 구조예요.
추가 질문을 하려면 '+ New Conversation'으로 새 대화를 열어야 하고,
이전 답변 맥락도 넘어가지 않아요.

 

④ AI 채점이 사람 판단과 다를 수 있어요

카파시가 책 챕터를 읽을 때 위원회는 GPT-5.1을 최고로,
Claude를 최하로 꼽는 일이 많았다고 해요.
그런데 정작 카파시 본인은 GPT-5.1이 장황하다고 느꼈고,
Gemini 3의 압축된 답을 더 좋게 봤다고 밝혔어요.

 

또 의장 모델 하나가 최종 답을 쓰기 때문에
그 모델의 성향이 결과에 크게 반영된다는 지적(이슈 #3)도 있어요.
순위는 참고용으로 보고, 최종 판단은 직접 하는 게 좋아요.

 

⑤ 상업적으로 쓰기 애매해요

저장소에 라이선스 파일이 없어서 회사 제품에 그대로 넣기는 조심스러워요.
VentureBeat도 인증, 개인정보 마스킹, 컴플라이언스 같은
실서비스 요소가 빠져 있다고 짚었어요.

 

 

---

 

 

LLM Council 설치 방법 (맥·윈도우)

설치는 생각보다 단순해요. 터미널 명령어 몇 줄이면 돼요.
다만 개발 도구가 처음이라면 준비물부터 챙겨 주세요.

 

준비물
☐ Git (저장소 내려받기용)
☐ Python 3.10 이상
☐ uv (파이썬 패키지 관리 도구)
☐ Node.js와 npm (화면 실행용)
☐ OpenRouter 계정, API 키, 충전한 크레딧

 

1단계. uv 설치

LLM Council은 파이썬 패키지 관리에 uv를 써요.
맥·리눅스는 첫 줄, 윈도우는 PowerShell에서 둘째 줄을 실행해요.

# macOS / Linux
curl -LsSf https://astral.sh/uv/install.sh | sh

# Windows (PowerShell)
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

 

2단계. 저장소 내려받고 패키지 설치

git clone https://github.com/karpathy/llm-council.git
cd llm-council
uv sync
cd frontend
npm install
cd ..

README 설치 안내: 의존성 설치(uv sync, npm install)와 API 키 설정

출처: LLM Council README, Setup

 

3단계. OpenRouter API 키 넣기

OpenRouter는 GPT, Gemini, Claude, Grok 등을
키 하나로 부를 수 있게 해 주는 중계 서비스예요.
openrouter.ai에서 가입하고 크레딧을 충전한 뒤 API 키를 만들어 주세요.

 

그다음 llm-council 폴더 맨 위에 .env 파일을 만들고 한 줄만 적으면 돼요.
이 키는 비밀번호와 같으니 다른 사람에게 보여 주지 마세요.

OPENROUTER_API_KEY=sk-or-v1-여기에_내_키

 

4단계. 위원과 의장 고르기 (선택)

backend/config.py 파일에서 위원(COUNCIL_MODELS)과
의장(CHAIRMAN_MODEL)을 바꿀 수 있어요.
이름은 OpenRouter 모델 페이지에 적힌 ID를 그대로 쓰면 돼요.

위원·의장 모델 설정과 실행 방법 (README)

출처: LLM Council README, Configure Models

 

비용이 걱정되면 위원을 3개로 줄이거나
값싼 모델 위주로 꾸리는 것도 방법이에요.
OpenRouter에는 이름 끝에 ':free'가 붙은 무료 모델도 있는데,
하루 요청 수 제한이 있어서 가볍게 시험해 볼 때만 추천해요.

 

5단계. 실행하기

# 맥·리눅스: 한 번에 실행
./start.sh

# 윈도우 또는 수동 실행: 터미널 2개
uv run python -m backend.main      # 터미널 1 (백엔드, 8001 포트)
cd frontend && npm run dev         # 터미널 2 (화면, 5173 포트)

 

실행이 끝나면 브라우저에서 http://localhost:5173을 열면 돼요.
start.sh는 bash 스크립트라서 윈도우에서는 수동 실행이 편해요.

 

영상으로 따라 하고 싶다면 아래 단계별 설치 가이드가 도움이 돼요.

출처: Bibek Dhakal, LLM Council by Andrej Karpathy | Complete Step-by-Step Setup (YouTube, 2026.02.06)

 

 

---

 

 

LLM Council 사용법, 이렇게 쓰면 돼요

① 새 대화 열기
왼쪽 사이드바의 '+ New Conversation'을 눌러 대화를 만들어요.

 

② 질문 입력
아래 입력창에 질문을 쓰고 Enter를 누르면 돼요.
줄을 바꾸고 싶을 때는 Shift+Enter를 눌러요.

 

③ 단계별 진행 지켜보기
'Running Stage 1, 2, 3' 문구와 함께 결과가 차례로 채워져요.
답변이 4번, 채점이 4번 돌기 때문에 일반 채팅보다 시간이 꽤 걸려요.

 

④ 결과 읽는 순서
Stage 3의 최종 답(Final Council Answer)을 먼저 읽고,
궁금한 부분은 Stage 1 탭에서 모델별 원문을 확인해요.
Stage 2에서는 각 모델의 채점 이유와 평균 순위를 볼 수 있어요.

 

⑤ 저장 위치
대화는 data/conversations 폴더에 JSON 파일로 저장돼요.
외부 서버가 아니라 내 컴퓨터에 남는다는 점은 장점이에요.

 

💡 이런 질문에 잘 맞아요
· "이 두 기술 중 우리 상황에 맞는 건? 장단점을 비교해 줘" 같은 선택 문제
· 계약 조건, 가격 책정처럼 한쪽으로 쏠리면 손해 보는 결정
· 사실 확인이 필요한 리서치 질문, 책·논문 챕터 해설

이런 질문엔 과해요
· 간단한 번역, 맞춤법 검사, 짧은 요약
· 이전 대화를 이어 가야 하는 긴 작업 (원본은 단일 질문 구조)

 

기본 화면과 프롬프트는 모두 영어예요.
한국어로 질문하면 대부분 모델이 한국어로 답하지만,
Claude Code나 Codex에게 "UI와 프롬프트를 한국어로 바꿔 줘"라고
맡기는 것도 카파시가 권하는 방식 그대로예요.

 

 

---

 

 

실전 베스트 활용 사례 5가지

카파시가 손을 놓은 대신, 전 세계 개발자들이
이 아이디어를 가져다 각자 쓰기 좋게 바꿨어요.
실제로 공개된 사례 중 따라 해 볼 만한 것만 골랐어요.

 

사례 1. 카파시 본인: AI와 함께 책 읽기

LLM Council의 출발점은 독서였어요.
카파시는 글이나 책 챕터를 먼저 혼자 읽고, 다음에 LLM에게 설명·요약을 받고,
마지막에 질문을 주고받는 방식으로 읽는다고 소개했어요.

 

이 과정에서 모델 하나가 아니라 여러 모델의 해석을
나란히 놓고 보려고 만든 게 LLM Council이에요.
어려운 원서나 논문을 읽을 때 그대로 따라 하기 좋은 활용법이에요.

출처: Andrej Karpathy, LLM과 함께 읽기 (X, 2025.11.18) · LLM Council 공개 글 (X, 2025.11.22)

 

사례 2. LLM Council Plus: 설정 화면과 로컬 모델 지원

LLM Council Plus 시작 화면: 다중 모델 토론과 페르소나 토론 모드

출처: jacob-bd/llm-council-plus (GitHub, MIT)

 

원본의 가장 큰 불편은 모델을 바꾸려면 코드를 고쳐야 한다는 점이었어요.
개발자 jacob-bd가 만든 LLM Council Plus는 설정 화면에서
OpenRouter, Ollama(로컬), Groq 등 여러 제공자를 고를 수 있게 했어요.

 

위원 수를 1~8개로 조절하고, 웹 검색(DuckDuckGo, Tavily, Brave 등)을 붙이고,
답변만 받기, 순위까지 받기, 전체 토론처럼 단계를 골라
비용을 아낄 수 있는 것도 실용적인 부분이에요.

 

참고로 이 저장소는 현재 지원 종료로 표시돼 있고,
후속 프로젝트인 'The AI Counsel'로 옮겨 갔어요.
또 API 키가 설정 파일에 평문으로 저장된다고 README에 적혀 있으니 주의하세요.

출처: Super Intelligence Spotlight, LLM Council Plus 데모 (YouTube, 2026.01.05) · Reddit r/MachineLearning 소개 글

 

사례 3. XDA: 내 PC의 로컬 AI 3개로 위원회 꾸리기

로컬 모델로 돌린 LLM Council 3단계 진행 화면 (의장: Gemma 4 E4B)

출처: XDA Developers, Shekhar Vaidya (2026.07.02)

 

API 비용이 부담된다면 이 사례가 좋은 답이 돼요.
XDA의 Shekhar Vaidya는 RTX 4070 Ti(12GB) 한 장에
DeepSeek-R1 8B, Qwen 3.5 9B, Gemma 4 E4B를 Ollama로 올려 위원회를 만들었어요.

 

GPU 한 장에서 세 모델을 동시에 부르자 답 하나가 조용히 빠지는 문제가 생겨서,
순서대로 호출하도록 고쳤다고 해요. 대신 단계마다 시간이 더 걸렸고요.

모든 모델이 자기 답을 1위로 꼽아 평균 2.00 동점이 된 상호평가 결과

출처: XDA Developers, Shekhar Vaidya (2026.07.02)

 

재미있는 건 결과였어요. 세 모델이 모두 자기 답을 1위로 꼽아서
평균 순위가 전부 2.00으로 동점이 됐어요.
그래서 그는 순위보다 의장의 종합 답변에서 가치를 찾았다고 정리했어요.

 

평소엔 Gemma 하나로 쓰고, 복잡한 질문만 위원회에 맡긴다고 해요.
작은 로컬 모델일수록 익명 채점이 잘 안 먹힐 수 있다는 점도 참고할 만해요.

 

사례 4. Claude Code 스킬로 만든 '/council' 명령어

하나의 결정을 다섯 관점(반대론자, 확장론자, 제1원리, 외부인, 실행가)으로 검토하는 /council 스킬

출처: youcanbuildthings, How to Build an LLM Council in Claude Code (2026.06.03)

 

서버를 두 개 띄우는 것도 귀찮다면 이 방식이 가장 간편해요.
Claude Code의 스킬 폴더에 SKILL.md 하나를 넣으면
'/council' 명령 한 번으로 위원회가 소집돼요.

 

여기서는 여러 회사의 모델 대신 역할이 다른 조언자 5명이 등장해요.
무조건 반대하는 사람, 판을 키우는 사람, 전제를 의심하는 사람,
외부인의 눈으로 보는 사람, 당장 할 일을 정하는 사람이 서로 평가해요.

 

GitHub의 tenfoldmarc/llm-council-skill(스타 약 970개)도 같은 구조예요.
한 사용자는 이 스킬로 브랜드 협업 단가를 검토하다가
반대론자가 짚은 빈틈 덕분에 더 높은 금액을 제안했고,
상대가 받아들였다고 직접 소개했어요(본인 후기).

 

다만 이 방식은 모델 하나가 여러 역할을 연기하는 것이라,
서로 다른 회사의 AI를 비교하는 원본과는 성격이 달라요.

출처: tenfoldmarc/llm-council-skill (GitHub) · Abhijay Vuyyuru, I let 5 AIs fight over my decisions (2026.06.10)

 

사례 5. 퍼플렉시티 'Model Council': 같은 아이디어의 상용 버전

퍼플렉시티 Model Council: 모델별로 찾아낸 고유 정보를 표로 비교

출처: Perplexity, Introducing Model Council (2026.02.05)

 

설치가 부담스럽다면 이미 서비스로 나온 버전도 있어요.
퍼플렉시티는 2026년 2월 5일 Max 구독자용으로 Model Council을 내놨어요.
질문 하나를 세 모델에 동시에 돌리고, 종합 모델이 결과를 합쳐 줘요.

 

모델들이 어디서 같은 말을 하고 어디서 갈리는지 보여 주는 게 핵심이에요.
퍼플렉시티는 투자 리서치, 큰 구매·이직 같은 결정, 사실 검증에 쓰라고 안내해요.
다만 카파시 버전의 익명 상호채점 단계는 없고, 월 200달러 요금제가 필요해요.

 

 

---

 

 

원본 vs 개조판 vs 서비스, 뭘 고를까?

방식	추천 대상	비용	한계
카파시 원본	구조를 공부하고 직접 고쳐 쓰고 싶은 개발자	코드 무료 + OpenRouter 사용료	지원 없음, 단일 질문, 영어 UI
LLM Council Plus 계열	설정 화면, 로컬 모델, 웹 검색이 필요한 사람	무료(MIT) + API 또는 로컬 GPU	지원 종료 후 후속 프로젝트로 이전
로컬 모델(Ollama)	API 비용 없이, 데이터를 밖에 안 보내고 싶은 사람	전기·GPU 비용	느리고, 작은 모델은 채점 품질이 낮음
Claude Code 스킬	이미 Claude Code를 쓰는 사람, 의사결정 점검	Claude 구독·사용량	모델 하나가 역할을 나눠 연기
퍼플렉시티 Model Council	설치 없이 바로 쓰고 싶은 사람	Max 요금제(월 200달러)	상호채점 단계 없음, 웹 우선

 

 

---

 

 

자주 묻는 질문 (FAQ)

Q. LLM Council은 무료인가요?

코드는 GitHub에서 무료로 받을 수 있어요.
하지만 AI를 부를 때마다 OpenRouter 크레딧이 차감되고,
질문 1번에 호출이 약 10번 일어나서 일반 채팅보다 비용이 커요.

 

Q. 웹사이트에서 바로 쓸 수는 없나요?

카파시가 운영하는 공식 웹 버전은 없어요.
내 컴퓨터에 설치해서 localhost로 여는 방식이에요.
설치 없이 비슷하게 쓰려면 퍼플렉시티 Model Council 같은 서비스를 봐야 해요.

 

Q. 한국어로 질문해도 되나요?

네. 화면과 내부 프롬프트는 영어지만 한국어 질문은 그대로 전달돼요.
답변 언어를 확실히 고정하고 싶다면 질문 끝에
"한국어로 답해 줘"를 붙이는 게 좋아요.

 

Q. ChatGPT, 제미나이, 클로드 구독만 있으면 되나요?

아니요. 각 서비스의 월 구독과 API는 별개예요.
LLM Council은 OpenRouter API 키로 동작하니 따로 충전이 필요해요.

 

Q. 회사 업무에 써도 될까요?

개인 실험이나 사내 데모로는 괜찮지만, 제품에 넣는 건 신중해야 해요.
라이선스 파일이 없고 인증·보안 기능도 없어요.
질문 내용이 여러 AI 회사로 전송된다는 점도 꼭 확인하세요.

 

 

---

 

 

총평: AI 하나의 '확신'을 의심하고 싶을 때

LLM Council은 완성된 제품이라기보다 잘 만든 아이디어 시제품에 가까워요.
설치와 API 비용이라는 문턱이 있고, 공식 지원도 없어요.

 

그래도 "AI 여러 개에게 묻고, 서로 검증하게 하고, 마지막에 정리한다"는 흐름은
퍼플렉시티 같은 큰 서비스가 기능으로 넣을 만큼 설득력이 있었어요.
중요한 결정이나 어려운 공부를 AI 하나에만 맡기기 불안했다면
이 방식을 한 번 경험해 볼 가치는 충분해요.

 

✅ 시작 전 체크리스트
☐ Git, Python 3.10+, uv, Node.js 설치
☐ OpenRouter 가입, 크레딧 충전, API 키 발급
☐ .env 파일에 OPENROUTER_API_KEY 입력
☐ 비용이 걱정되면 config.py에서 위원 수 줄이기
☐ ./start.sh 실행 후 localhost:5173 접속
☐ 순위는 참고만, 최종 판단은 직접

 

참고 자료 (2026년 10월 28일 확인): karpathy/llm-council · 카파시 X 공개 글 · VentureBeat · LLM Council Plus · XDA Developers · youcanbuildthings · llm-council-skill · Perplexity Model Council · OpenRouter 요청 한도 문서 · uv 공식 문서