자연어로 질문하면 SQL을 생성하고, 실행하고, 결과를 요약해주는 에이전트는 이제 꽤 익숙한 패턴이 됐습니다. 저도 그동안 데이터 에이전트를 만든다고 하면 거의 항상 text-to-SQL을 먼저 떠올렸습니다. 질문을 받고, 관련 schema를 찾고, 테이블과 컬럼을 고르고, SQL을 만들고, 실행 결과를 다시 자연어로 설명하는 방식입니다. 대략 이런 흐름입니다. 사용자 질문 → schema retrieval → table / column selection

LLM 안의 보상 회로를 찾는다: Sparse Reward Subsystem in Large Language Models 읽고, 어디까지 쓸 수 있을까 최근 LLM 추론 성능은 빠르게 좋아졌지만, 왜 잘 푸는지는 여전히 블랙박스에 가깝습니다. 그래서 실무에서는 모델이 스스로 얼마나 맞을 것 같은지를 말하게 만드는 프롬프트를 붙이기도 하죠. 문제는 그 자기보고식 confidence가 생각보다 잘 안 맞는다는

LLM이 비약적으로 발전하면서 이제 연구의 초점은 단순히 성능을 높이는 것을 넘어 모델이 왜 그렇게 행동하는가에 맞춰지고 있습니다. 이러한 맥락에서 Activation Steering은 단순히 모델을 관찰하는 것을 넘어, 모델의 내부 표현 공간에 직접 개입하여 행동을 조절하려는 시도입니다. 프롬프트 엔지니어링과 미세조정 사이의 간극을 메우는 제3의 제어 수단으로 주목받고 있지만, 연구실 데모와 실제 서비스

에이전트가 점점 사람 대신 일하는 존재에 가까워질수록, 결국 이런 질문으로 돌아오게 됩니다. “이 모델한테 우리 팀의 일하는 방식을 어떻게 가르칠까?” AWS KIRO의 Powers와 Claude의 Agent Skills는 이 질문에 대한 두 가지 답입니다. 둘 다 파일과 폴더 단위로 에이전트의 능력을 패키징하지만, 지향점과 기술적인 구조는 꽤 다릅니다. 이 글에서는 * KIRO Powers와 Claude

대형 언어모델(LLM)이 비약적으로 발전하면서 이제 연구의 초점은 단순히 성능을 높이는 것을 넘어 모델이 왜 그렇게 행동하는가에 맞춰지고 있습니다. 인공지능이 왜 할루시네이션을 일으키는지, 왜 특정 탈옥(jailbreak) 프롬프트에 취약한지, 그리고 생각하는 척하는 거짓 Chain-of-Thought 회로는 어떻게 만들어지는지 알아내기 위해서는 모델 내부를 직접 들여다볼 수 있는 정교한 도구가 필요합니다. 오늘

요즘 저는 Hugging Face의 'Omni'를 지켜보고 있습니다. 이것은 또 하나의 흔한 챗봇이 아닙니다. 수많은 오픈소스 AI 모델들 사이에서 사용자의 질문(프롬프트)에 가장 적합한 모델을 자동으로 골라 연결해주는 지능형 라우팅 시스템입니다. Omni는 사용자가 어떤 작업을 원하는지 파악한 뒤, Hugging Face의 방대한 라이브러리에서 번역, 코딩, 요약 등 해당

안녕하세요. 글을 작성하는 오늘은 9월 25일입니다. 어제(9월 24일) 래블업의 5번째 컨퍼런스에 다녀왔습니다. 여러 세션 중에서도 최승준님의 [생성형 호기심이 불러일으킨 상상] 발표가 특히 기억에 남았습니다. 이 발표에서 다뤘던 '메타 프롬프팅'이라는 개념을 보다 상세히 다뤄보고자 합니다. 메타 프롬프팅은 생성형 AI의 가능성을 한 단계 더 끌어올릴 이 흥미로운 기법입니다.

이전에는 대화형 언어 모델의 챗 템플릿(Chat Template)을 확인하려면 Hugging Face 저장소의 'Files and Versions' 탭에서 tokenizer_config.json 같은 설정 파일을 직접 찾아봐야 했습니다. 모델마다 다른 프롬프트 형식을 적용하기 위해 거쳐야 하는 다소 번거로운 과정이었습니다. 최근 허깅페이스 모델 페이지에 이 챗 템플릿을 바로 확인할 수 있는

이 가이드는 Gradio 앱을 MCP(Model Context Protocol) 서버로 실행하는 방법을 안내합니다. 핵심은 .launch()에 mcp_server=True를 넣는 것입니다. 나머지는 Gradio가 자동으로 처리합니다. 참고 문서: https://www.gradio.app/guides/building-mcp-server-with-gradio 시작하기 전에 필요 한 것 아직 Gradio가 설치되어 있지 않다면, 아래 명령어로 MCP 관련 기능까지 한 번에 설치할

Prompt Tuning PEFT(Parameter-Efficient Fine-Tuning)는 적은 수의 파라미터를 학습하는것만으로 모델 전체를 파인튜닝하는 것과 유사한 효과를 누릴 수 있도록 해줍니다. PEFT 방법 중 하나인 Prompt Tuning에 대해서 알아봅시다. 참고 논문: https://arxiv.org/pdf/2104.08691.pdf 프롬프트 튜닝이란? 언어 모델을 특정 작업에 맞게 조정하기 위해 사용되는 기술입니다. 기존의 방식은