Thoughts, stories and ideas.

[Educational Measurement] 벤치마크 점수는 어디까지 말할 수 있을까요?

LLM과 AI 에이전트 평가를 공부하다 보면 자연스럽게 데이터셋, 평가 지표, LLM-as-a-Judge, 리더보드 같은 주제에 관심이 갑니다. 저 역시 처음에는 더 좋은 벤치마크를 만들기 위해 어떤 태스크를 넣어야 하는지, 정확도를 어떻게 계산해야 하는지, 평가자를 어떻게 설계해야 하는지를 주로 살펴봤습니다. 그런데 평가를 계속 고민해볼 수록, 기초를 알아야겠다는 생각을 하였습니다. 우리가 계산한 이

멀티 에이전트 시스템에서 먼저 설계해야 하는 것

최근 OpenRouter가 Fusion이라는 기능을 공개했습니다. 여러 모델이 같은 질문에 답하고, judge 모델이 그 답변들을 읽은 뒤 하나의 결과로 합성하는 방식입니다. OpenRouter는 deep research 벤치마크에서 이 구조가 단일 frontier 모델보다 더 높은 점수를 냈다고 설명했습니다. 이 발표에서 눈에 들어온 부분은 “여러 모델을 붙였더니 성능이 올랐다”는 결과 자체보다, 성능을 올리는 방식이었습니다.

Text-to-SQL 에이전트만으로 신뢰할 수 있는 데이터 에이전트를 만들 수 있을까?

자연어로 질문하면 SQL을 생성하고, 실행한 뒤, 결과를 요약해 주는 데이터 에이전트는 이제 꽤 익숙한 패턴이 되었습니다. 저도 데이터 에이전트를 설계한다고 하면 가장 먼저 text-to-SQL 구조를 떠올렸습니다. 사용자의 질문을 받고, 관련 schema를 찾고, 필요한 테이블과 컬럼을 고른 뒤 SQL을 생성합니다. 이후 SQL을 실행하고, 결과를 다시 자연어로 설명하는 방식입니다. 흐름을 단순화하면 다음과

[논문 리뷰] LLM 모델은 답하기 전에 성공 가능성을 알고 있을까?

Sparse Reward Subsystem in Large Language Models를 읽고, 내부 신뢰도 신호를 어디까지 실제 업무에 활용할 수 있을지 정리합니다. LLM의 추론 성능은 빠르게 좋아지고 있습니다. 하지만 모델이 왜 특정 문제를 잘 풀고, 어떤 상황에서 실패하는지는 여전히 설명하기 어렵습니다. 실제 업무에서는 이 문제를 완화하기 위해 모델에게 직접 자신감을 말하게 하기도 합니다. 예를

DeepSeek 이후, 한국 오픈소스 AI 생태계는 무엇을 갖춰야 할까

모델 공개를 넘어, 작동하는 생태계로 2025년 이후 글로벌 오픈소스 AI 생태계에서 가장 큰 변화는 모델 성능 향상만으로 설명하기 어렵습니다. 더 중요한 변화는 오픈소스가 AI 시스템 설계의 기본 전제로 자리 잡기 시작했다는 점입니다. DeepSeek R1 이후 중국 사례에서 확인할 수 있듯이, 모델은 더 이상 완결된 결과물로만 다뤄지지 않습니다. 이제 모델은 재사용하고,

Activation Steering: 미세 조정 없이 LLM의 행동을 제어하기

LLM이 빠르게 발전하면서 연구와 제품 개발의 관심사는 단순한 성능 향상을 넘어가고 있습니다. 이제 중요한 질문은 “모델이 얼마나 잘하느냐”만이 아닙니다. 모델이 왜 그렇게 행동하는지, 그리고 원하는 방향으로 얼마나 안정적으로 제어할 수 있는지가 점점 더 중요해지고 있습니다. 이 맥락에서 Activation Steering은 흥미로운 접근입니다. 모델을 바깥에서 프롬프트로만 유도하는 방식에서 한 걸음 더

KIRO의 Powers와 Claude의 Agent Skills 비교하기

에이전트가 단순히 답변을 생성하는 도구를 넘어, 실제 파일을 다루고, 외부 서비스를 호출하고, 배포와 문서 작업까지 수행하는 방향으로 발전하고 있습니다. 이 흐름에서 다시 보게 되는 질문이 있습니다. 에이전트에게 우리 팀의 일하는 방식을 어떻게 가르칠 수 있을까요? AWS Kiro의 Powers와 Claude의 Agent Skills는 이 질문에 대한 서로 다른 접근입니다. 둘 다 파일과

Gemma Scope 2, 대형 언어모델의 뇌를 해부하기

대형 언어모델(LLM)은 이제 단순히 “답을 잘하는 모델”을 넘어, 더 복잡한 판단과 추론을 수행하는 시스템으로 발전하고 있습니다. 하지만 성능이 좋아질수록 더 까다로운 문제가 따라옵니다. 모델이 왜 특정 답변을 했는지, 왜 탈옥(jailbreak) 프롬프트에 취약한지, 왜 실제 reasoning과 다른 Chain-of-Thought를 만들어내는지 설명하기가 점점 어려워집니다. 이 문제를 다루려면 모델의 출력만

HuggingChat의 Omni (Router) 알아보기

Hugging Face의 HuggingChat에는 Omni라는 선택지가 있습니다. 이름만 보면 또 하나의 대화 모델처럼 보일 수 있지만, Omni의 핵심은 모델 자체가 아니라 모델을 고르는 방식에 있습니다. 사용자는 질문을 입력합니다. 시스템은 그 질문이 코딩인지, 번역인지, 요약인지, 일반 대화인지 판단합니다. 그리고 해당 요청에 더 적합한 오픈소스 모델을 골라 응답을 생성합니다. 즉, Omni는 사용자가 직접

[독서 노트] 공자가 죽어야 나라가 산다 - 김경일

서론: 시대의 금기에 도전한 문제작 1998년, 대한민국이 IMF 외환위기라는 미증유의 국가적 재난 속에서 신음하고 있을 때, 한 권의 책이 사회에 거대한 파문을 던졌다. 바로 김경일의 '공자가 죽어야 나라가 산다'이다. 이 책은 '공자'라는, 한국 정신문화의 근간을 이루는 성인(聖人)의 죽음을 선언하는 도발적인 제목만으로도 엄청난

[EDITOR'S CUT] 책, 끝까지 다 읽어야 할까? 생성 AI 요약이면 충분할까?

[에디터의 노트] 아래는 일본의 저명한 편집자 이와사 후미오(岩佐 文夫) 씨가 기고한 칼럼을 번역한 글입니다. 생성 AI 시대의 독서법에 대한 그의 통찰은 매우 시의적절합니다. 저는 이 글이 한국 독자들에게 더 큰 가치를 제공할 수 있도록, 원문의 내용을 해치지 않는 선에서 추가적인 해설과 분석을 덧붙였습니다. 본문에 언급된 책과 핵심 개념에 대한

메타 프롬프팅: AI에게 답을 맡기기 전에 기준부터 설계하는 법

어제(9월 24일) 래블업의 5번째 컨퍼런스에 다녀왔습니다. 여러 세션 중에서도 최승준님의 [생성형 호기심이 불러일으킨 상상] 발표가 특히 기억에 남았습니다. 이 발표에서 다뤘던 '메타 프롬프팅'이라는 개념을 보다 상세히 다뤄보고자 합니다. 메타 프롬프팅은 생성형 AI의 가능성을 한 단계 더 끌어올릴 이 흥미로운 기법입니다. 프롬프트 엔지니어링은 보통 “AI에게 어떻게 말해야