[ 1 人 1 Project #1 ] - 최종 결과

안녕하세요 김준원입니다

중간중간 올리는게 아니라 한번에 올리겠습니다.

 

0x00. 프로젝트 개요

CTF-Killer는 LLM을 활용한 CTF / wargame Auto Solver입니다.

특히 모든 분야를 다 풀려고 한 건 아니고,
최종적으로는 WEB 문제에 최적화하는 방향으로 잡았습니다.

처음에는 WEB, REV, CRYPTO, PWN 같은 여러 분야를 다 대상으로 생각할 수 있었지만
그렇게 하면 목적이 너무 넓어지고 성능도 애매해질 수 있다고 봤습니다.

그래서 CTF-Killer에서는 범위를 줄였습니다.

WEB ONLY

즉, CTF에서 웹 문제를 풀 때 필요한 흐름을 AI에게 맡기는 프로그램입니다.

일반적인 CTF Web 문제 풀이 흐름은 보통 이렇습니다.

1. 문제 제목, 지문 확인
2. 문제 코드 분석
3. 취약점 인식 및 공격 로직 구성
4. Exploit 코드 작성 및 실행
5. 필요하면 Write Up 작성

CTF-Killer는 이 과정을 AI와 자동화 도구를 통해 최대한 처리하도록 만든 프로젝트입니다.

대충 말하면

CTF Web 문제를 딸깍으로 풀어보자

입니다.

물론 진짜 모든 문제가 딸깍으로 풀리는 건 아닙니다.
그랬으면 제가 지금 해커가 아니라 OpenAI한테 돈을 바치고 있었을 듯합니다.

아니 사실 이미 좀 바친 것 같기도 합니다.

---

0x01. 제작 배경

이 프로젝트를 만들게 된 배경은 크게 세 가지였습니다.

첫 번째는 CTF 대회에서 AI가 문제를 푸는 모습을 보면서였습니다.
2025 CCE Final 이후 디스코드에서 AI가 문제 풀이에 활용되는 사례를 보게 되었고,
이걸 보면서 “어라, 이거 CTF 문제 풀이에도 꽤 쓸 수 있겠는데?”라는 생각을 했습니다.

두 번째는 AIxCC 같은 사례였습니다.
AI가 실제 보안 분석, 취약점 탐지, 패치 생성 같은 작업에 활용되는 흐름이 있었고,
단순히 사람이 AI에게 힌트를 받는 수준을 넘어서
AI가 스스로 분석하고 판단하는 방향이 가능하다는 점이 흥미로웠습니다.

세 번째는 GPT Prompt 관련 사례였습니다.
프롬프트만 잘 설계해도 생각보다 많은 보안 이슈를 찾아낼 수 있다는 사례를 보면서,
CTF 문제 풀이에서도 프롬프트 구조와 실행 구조를 잘 잡으면 성능이 나올 수 있겠다고 생각했습니다.

그래서 기존의 방향은

AI와 인간의 협업

이었다면,

CTF-Killer에서는 조금 더 나아가서

AI만으로 문제를 해결

하는 쪽을 목표로 잡았습니다.

물론 여기서 “AI만으로”라는 말은
사람이 아예 아무 생각도 안 해도 된다는 뜻은 아닙니다.

프롬프트를 짜고, 구조를 만들고, 실행 환경을 만들고, 도구를 붙이고, 실패를 분석하는 건 결국 사람이 해야 합니다.

근데 적어도 문제 하나를 넣었을 때
AI가 분석부터 익스플로잇 실행까지 최대한 자동으로 가는 구조를 만들고 싶었습니다.

---

0x02. 초기 모델 - Wargame Killer

CTF-Killer를 만들기 전에 초기 모델로 Wargame Killer가 있었습니다.

Wargame Killer는 사전에 만들어둔 프롬프트를 가지고
API 호출과 실행을 반복하는 방식의 프로그램이었습니다.

쉽게 말하면

문제 파일 주고 “알아서 풀어!!”

에 가까운 방식이었습니다.

근데 역시 세상은 그렇게 만만하지 않았습니다.

뭔가 돌아가긴 하는데
어딘가 애매하고
어째서인지 성능이 잘 안 나오고
엄,,,, hmm,,

성능 이슈가 있었습니다.

문제는 크게 두 가지였습니다.

첫 번째는 목적이 너무 넓다는 점이었습니다.
WEB, REV, CRYPTO, PWN을 전부 대상으로 하면 AI가 어떤 방식으로 접근해야 하는지 흐려졌습니다.

두 번째는 AI만의 사고로는 부족하다는 점이었습니다.
LLM이 생각을 잘하긴 하지만, 실제 파일을 읽고, 명령어를 실행하고, 웹 요청을 보내고, 결과를 다시 보고, 코드를 수정하는 과정이 필요했습니다.

그래서 CTF-Killer에서는 구조를 바꿨습니다.

---

0x03. CTF-Killer에서 바꾼 점

1. WEB에 최적화

가장 먼저 한 일은 범위를 줄이는 것이었습니다.

Wargame Killer는 여러 분야를 다 보려고 했지만,
CTF-Killer는 WEB 문제만 풀도록 방향을 잡았습니다.

이렇게 한 이유는 명확합니다.

웹 문제는 보통 코드 분석, HTTP 요청, 인증 우회, SSRF, command injection, template injection 같은 흐름이 있고
파일 구조와 실행 환경을 보면 취약점 후보를 비교적 체계적으로 뽑을 수 있습니다.

즉, AI가 단계적으로 분석하기 좋습니다.

그래서 프롬프트도 웹 문제 풀이에 맞게 바꾸고,
프로그램 구조도 웹 문제 풀이 흐름에 맞게 다시 설계했습니다.

2. 문제 풀이 절차를 4단계로 구획

기존 방식은 너무 자유도가 높았습니다.

그냥 문제 파일을 주고
“알아서 풀어라”
라고 하면 LLM이 뭔가 하긴 하는데, 결과가 흔들릴 수 있었습니다.

그래서 CTF-Killer에서는 문제 풀이를 4단계로 나눴습니다.

• STAGE 0: readme.md 확인, remote 주소와 문제 설명, 지침 확인
• STAGE 1: 정적 분석 후 취약점 후보를 JSON으로 저장
• STAGE 2: 분석한 내용을 바탕으로 exploit logic 생성
• STAGE 3: 익스 코드 생성 → 실행 → 결과 확인 → 다시 수정 반복

이렇게 단계별로 나누면
AI가 지금 해야 하는 일이 명확해집니다.

그냥 “풀어줘”가 아니라
지금은 문제 정보를 읽는 단계인지,
취약점을 찾는 단계인지,
공격 로직을 짜는 단계인지,
실행하고 수정하는 단계인지 나누는 것입니다.

대충 인간이 CTF 문제를 풀 때 머릿속에서 하는 과정을
프로그램 구조로 강제로 나눠놓은 느낌입니다.

3. 다양한 Tool 사용

LLM 혼자 생각만 해서는 부족했습니다.

그래서 CTF-Killer는 여러 도구를 사용할 수 있도록 만들었습니다.

예를 들면 파일 읽기, 디렉토리 확인, 명령어 실행, HTTP 요청, 웹 검색, 코드 생성, 파일 작성 같은 작업을
AI가 직접 요청하고 프로그램이 실행해주는 구조입니다.

즉, AI가

파일 읽어줘

라고 하면 tools.py의 read_file() 같은 함수가 실행되고,
그 결과가 다시 main.py를 통해 AI에게 전달됩니다.

이런 식으로 AI가 생각만 하는 것이 아니라
실제 실행 환경과 상호작용하면서 문제를 풀도록 만들었습니다.

---

0x04. 전체 동작 원리

CTF-Killer의 전체 흐름은 대충 이런 느낌입니다.

문제 파일 확인
↓
README 및 remote 정보 확인
↓
LLM에게 분석 요청
↓
취약점 후보 정리
↓
공격 로직 생성
↓
익스플로잇 코드 작성
↓
실행
↓
실패하면 다시 수정
↓
Flag 발견 시 종료 및 로그 저장

말은 간단한데
막상 구현하려면 귀찮은 부분이 많았습니다.

특히 중요한 건 AI가 한 번에 정답을 내는 게 아니라는 점입니다.

AI가 처음에 만든 exploit이 실패할 수도 있고,
remote가 안 붙을 수도 있고,
취약점 후보를 잘못 잡을 수도 있고,
fake flag에 속을 수도 있습니다.

그래서 실행 결과를 보고 다시 수정하는 반복 구조가 필요했습니다.

이 부분이 CTF-Killer의 핵심입니다.

---

0x05. 주요 컴포넌트

프로젝트는 대략 아래 파일들로 구성되었습니다.

main.py

전체 흐름을 관리하는 중심 파일입니다.

단순히 프롬프트만 던지는 방식이 아니라,
문제 풀이를 STAGE 0부터 STAGE 3까지 나누고
각 단계를 함수로 관리하도록 만들었습니다.

또한 tools.py와 상호작용하면서
AI가 실제 파일을 읽거나 명령어를 실행할 수 있게 합니다.

즉, CTF-Killer의 본체 같은 역할입니다.

tools.py

AI가 사용할 수 있는 도구들을 모아둔 파일입니다.

파일 읽기, 파일 작성, 디렉토리 확인, 명령어 실행, 웹 요청, 로그 저장 같은 기능이 여기에 들어갑니다.

AI가 직접 시스템을 만지는 게 아니라
정해진 함수들을 통해서만 행동하도록 제한한 구조입니다.

이게 꽤 중요합니다.

그냥 LLM에게 “터미널 써라”라고 하는 것보다
가능한 행동을 함수 단위로 제한해두는 게 더 안정적입니다.

prompt.py

STAGE별 프롬프트가 들어있는 파일입니다.

CTF-Killer에서는 프롬프트가 그냥 설명문이 아니라
AI의 행동을 제한하고 방향을 잡아주는 역할을 합니다.

예를 들어 취약점 분석 단계에서는
어떤 파일을 봐야 하는지, 어떤 형식으로 결과를 저장해야 하는지,
어떤 기준으로 취약점 후보를 뽑아야 하는지를 지정합니다.

익스플로잇 로직을 짤 때도
바로 코드를 쓰는 게 아니라
분석 결과를 바탕으로 계획을 먼저 세우게 합니다.

secret.py

API 키 같은 민감한 정보를 관리하는 파일입니다.

Dockerfile

실행 환경을 고정하기 위한 파일입니다.

CTF 문제는 환경 차이 때문에 실행이 꼬일 수 있으므로
Docker 기반으로 실행할 수 있게 구성했습니다.

---

0x06. 실험 결과

발표 자료에서는 실제 Dreamhack Web 문제를 대상으로 CTF-Killer를 실행한 예시가 들어갔습니다.

흐름은 이랬습니다.

먼저 문제 이름과 모델을 지정해서 CTF-Killer를 실행했습니다.

그 후 프로그램이 README를 확인하고,
STAGE 0에서 문제 설명과 remote 정보를 읽었습니다.

STAGE 1에서는 코드 분석을 통해 취약점 후보를 정리했고,
STAGE 2에서는 그 후보를 기반으로 exploit plan을 만들었습니다.

STAGE 3에서는 실제 exploit 코드를 생성하고 실행했습니다.

결과적으로 flag를 획득한 케이스가 있었습니다.

실행 중에는 stage0_readme.json, stage1_suspects.json, stage2_plan.json, final.txt, log.txt 같은 파일이 생성되었고
각 단계별 분석 결과와 로그가 저장되었습니다.

이 부분은 꽤 만족스러웠습니다.

왜냐하면 단순히 “AI가 맞췄다”가 아니라
어떤 식으로 분석했고, 어떤 취약점 후보를 잡았고, 어떤 로직으로 접근했는지를
파일로 남길 수 있었기 때문입니다.

즉, 결과만 남는 게 아니라
과정도 어느 정도 확인할 수 있었습니다.

이게 그냥 ChatGPT 창에 문제 붙여넣고 물어보는 것과 다른 점입니다.

---

0x07. 문제점

근데 역시 치명적인 단점이 있었습니다.

바로 돈입니다.

정말 돈이 많이 듭니다.

발표 자료 기준으로 Web 문제 하나를 푸는 데
대략 1.5~5달러 정도가 소비될 수 있었고,
심지어 실패할 수도 있었습니다.

이건 고등학생 기준으로는 상당히 큽니다.

한 문제 풀 때마다 돈이 나가는데
그 문제가 풀린다는 보장도 없습니다.

즉,

pay2pwn

입니다.

그리고 성능도 아직 완벽하지 않습니다.

간단한 문제나 구조가 명확한 문제에서는 꽤 잘 동작하지만,
복잡한 문제나 환경 의존성이 큰 문제에서는 실패할 수 있습니다.

발표 자료에도 실패 사례가 들어갔습니다.

remote web service에 접근하지 못하거나,
flag를 가져오지 못하고 exploit이 incomplete 상태로 끝나는 경우가 있었습니다.

그래서 현재 기준으로 CTF-Killer가
정말 웹을 잘하는 사람보다 뛰어나다고 보기는 어렵습니다.

발표 자료에서도 정리했듯이

pandas <<<<<<<<<<<<< CTF-Killer <<< 정말로 똑똑하신 웹해커

이 정도 느낌입니다.

저보다야 똑똑할 수 있는데
진짜 잘하는 웹 해커한테는 아직 안 됩니다.

엄.

---

0x08. 향후 계획

앞으로 개선하고 싶은 부분은 크게 다섯 가지입니다.

1. 비용 최적화

가장 먼저 해야 할 것은 비용 최적화입니다.

입력 토큰과 출력 토큰을 줄이고,
불필요한 분석을 줄이고,
중간 결과를 더 효율적으로 재사용해야 합니다.

지금처럼 모든 걸 길게 분석하게 하면
돈이 너무 빠르게 사라집니다.

진짜로 지갑이 아픕니다.

2. 성능 최대화

더 다양한 도구를 붙여보고 싶습니다.

예를 들면 Burp Suite API 같은 걸 붙이면
웹 요청 분석이나 반복 테스트를 더 잘할 수 있을지도 모릅니다.

또 Perplexity API 같은 검색 기반 도구를 사용하면
특정 취약점 패턴이나 라이브러리 정보를 찾는 데 도움이 될 수도 있습니다.

물론 이것도 돈이 듭니다.

돈돈돈.

3. Real World

단순한 CTF 문제를 넘어서
실제 취약점을 찾는 방향까지도 도전해보고 싶습니다.

다만 이 부분은 반드시 허가된 환경에서만 해야 합니다.

CTF 문제는 명확하게 허가된 환경이지만,
실제 서비스는 그렇지 않기 때문에
윤리적이고 합법적인 범위 안에서 접근해야 합니다.

궁극적으로는 버그바운티 같은 환경에서
AI 기반 분석 자동화가 어디까지 가능한지 확인해보고 싶습니다.

4. Co-Worker

제가 웹을 엄청 잘하는 편은 아니기 때문에
웹을 잘하는 친구들과 협업하면 성능을 더 올릴 수 있을 것 같습니다.

또 AI 쪽을 더 잘 아는 분들과 협업하면
프롬프트나 에이전트 구조도 더 잘 다듬을 수 있을 것 같습니다.

혼자 하면 한계가 있습니다.

이건 진짜입니다.

5. PWN-Killer

언젠가는 포너블 바이너리와 Docker만 있으면
full auto solving까지 하는 프로그램도 만들어보고 싶습니다.

이름은 대충 PWN-Killer가 될 것 같습니다.

물론 지금 당장은 WEB도 완벽하지 않기 때문에
먼 미래의 이야기입니다.

근데 언젠가는 해보고 싶습니다.

---

0x09. 결론

CTF-Killer를 만들면서 느낀 점은 꽤 많았습니다.

첫 번째로, 생각보다 성과가 좋았습니다.

처음에는 그냥 재미로 시작한 느낌도 있었는데,
실제로 문제 분석부터 exploit 작성, 실행, flag 획득까지 되는 케이스가 나오니까
“어라 이게 되네” 싶었습니다.

두 번째로, CTF-Killer는 약간
CTF-WEB 문제용으로 다듬은 Codex 같은 느낌이었습니다.

일반적인 코드 생성 AI가 아니라
CTF 문제 풀이에 맞게 단계와 도구를 제한한 에이전트에 가까웠습니다.

세 번째로, 돈이 너무 많이 듭니다.

정말 너무너무너무 많이 듭니다.
고등학생 기준이긴 합니다.

네 번째로, 진짜 각 잡고 몇백씩 투자하면
버그바운티 쪽에서도 뭔가 가능할지도 모르겠다는 생각이 들었습니다.

물론 이건 아직 가능성에 가까운 이야기고,
무조건 된다 이런 건 절대 아닙니다.

마지막으로 가장 중요한 점은
CTF에서의 Full Auto Solving with LLM이
진정한 “해킹” 공부에 도움이 된다고 보기는 어렵다는 것입니다.

AI가 풀어준다고 해서
내가 그 취약점을 이해한 것은 아닙니다.

오히려 공부 목적이라면
AI가 푼 결과를 보고 왜 그렇게 되는지 다시 분석해야 합니다.

즉, CTF-Killer는 공부를 대체하는 도구가 아니라
AI가 보안 문제를 어떻게 분석하고 행동하는지 실험하는 프로젝트에 가깝습니다.

결론은 이겁니다.

AI 발전이 정말 대단하고, 공부할 것이 너무너무너무 많다!!

여튼 재미있었습니다.

감사합니담,,,!!!!