자연어로 질문하면 SQL을 생성하고, 실행하고, 결과를 요약해 주는 에이전트는 이제 익숙한 패턴이 됐습니다. 저도 데이터 에이전트를 설계한다고 하면 가장 먼저 text-to-SQL 구조를 떠올렸습니다. 사용자의 질문을 받고, 관련 schema를 찾고, 필요한 테이블과 컬럼을 고른 뒤 SQL을 생성합니다. 이후 SQL을 실행하고 결과를 다시 자연어로 설명하는 방식입니다. 흐름을 단순화하면 이렇습니다. 사용자 질문 → schema

Sparse Reward Subsystem in Large Language Models를 읽고, 내부 신뢰도 신호를 어디까지 실무에 활용할 수 있을지 정리합니다. LLM의 추론 성능은 빠르게 좋아지고 있습니다. 하지만 모델이 왜 특정 문제를 잘 풀고, 어떤 상황에서 실패하는지는 여전히 설명하기 어렵습니다. 실무에서는 이 문제를 완화하기 위해 모델에게 직접 자신감을 말하게 하기도 합니다. 예를 들어 “이

LLM이 빠르게 발전하면서 연구와 제품 개발의 관심사는 단순한 성능 향상을 넘어가고 있습니다. 이제 중요한 질문은 “모델이 얼마나 잘하느냐”만이 아닙니다. 모델이 왜 그렇게 행동하는지, 그리고 원하는 방향으로 얼마나 안정적으로 제어할 수 있는지가 점점 더 중요해지고 있습니다. 이 맥락에서 Activation Steering은 흥미로운 접근입니다. 모델을 바깥에서 프롬프트로만 유도하는 방식에서 한 걸음 더

에이전트가 단순히 답변을 생성하는 도구를 넘어, 실제 파일을 다루고, 외부 서비스를 호출하고, 배포와 문서 작업까지 수행하는 방향으로 발전하고 있습니다. 이 흐름에서 다시 보게 되는 질문이 있습니다. 에이전트에게 우리 팀의 일하는 방식을 어떻게 가르칠 수 있을까요? AWS Kiro의 Powers와 Claude의 Agent Skills는 이 질문에 대한 서로 다른 접근입니다. 둘 다 파일과

대형 언어모델(LLM)은 이제 단순히 “답을 잘하는 모델”을 넘어, 더 복잡한 판단과 추론을 수행하는 시스템으로 발전하고 있습니다. 하지만 성능이 좋아질수록 더 까다로운 문제가 따라옵니다. 모델이 왜 특정 답변을 했는지, 왜 탈옥(jailbreak) 프롬프트에 취약한지, 왜 실제 reasoning과 다른 Chain-of-Thought를 만들어내는지 설명하기가 점점 어려워집니다. 이 문제를 다루려면 모델의 출력만

요즘 저는 Hugging Face의 'Omni'를 지켜보고 있습니다. 이것은 또 하나의 흔한 챗봇이 아닙니다. 수많은 오픈소스 AI 모델들 사이에서 사용자의 질문(프롬프트)에 가장 적합한 모델을 자동으로 골라 연결해주는 지능형 라우팅 시스템입니다. Omni는 사용자가 어떤 작업을 원하는지 파악한 뒤, Hugging Face의 방대한 라이브러리에서 번역, 코딩, 요약 등 해당

안녕하세요. 글을 작성하는 오늘은 9월 25일입니다. 어제(9월 24일) 래블업의 5번째 컨퍼런스에 다녀왔습니다. 여러 세션 중에서도 최승준님의 [생성형 호기심이 불러일으킨 상상] 발표가 특히 기억에 남았습니다. 이 발표에서 다뤘던 '메타 프롬프팅'이라는 개념을 보다 상세히 다뤄보고자 합니다. 메타 프롬프팅은 생성형 AI의 가능성을 한 단계 더 끌어올릴 이 흥미로운 기법입니다.

이전에는 대화형 언어 모델의 챗 템플릿(Chat Template)을 확인하려면 Hugging Face 저장소의 'Files and Versions' 탭에서 tokenizer_config.json 같은 설정 파일을 직접 찾아봐야 했습니다. 모델마다 다른 프롬프트 형식을 적용하기 위해 거쳐야 하는 다소 번거로운 과정이었습니다. 최근 허깅페이스 모델 페이지에 이 챗 템플릿을 바로 확인할 수 있는

이 가이드는 Gradio 앱을 MCP(Model Context Protocol) 서버로 실행하는 방법을 안내합니다. 핵심은 .launch()에 mcp_server=True를 넣는 것입니다. 나머지는 Gradio가 자동으로 처리합니다. 참고 문서: https://www.gradio.app/guides/building-mcp-server-with-gradio 시작하기 전에 필요 한 것 아직 Gradio가 설치되어 있지 않다면, 아래 명령어로 MCP 관련 기능까지 한 번에 설치할

Prompt Tuning PEFT(Parameter-Efficient Fine-Tuning)는 적은 수의 파라미터를 학습하는것만으로 모델 전체를 파인튜닝하는 것과 유사한 효과를 누릴 수 있도록 해줍니다. PEFT 방법 중 하나인 Prompt Tuning에 대해서 알아봅시다. 참고 논문: https://arxiv.org/pdf/2104.08691.pdf 프롬프트 튜닝이란? 언어 모델을 특정 작업에 맞게 조정하기 위해 사용되는 기술입니다. 기존의 방식은