LLM

Gemma Scope 2, 대형 언어모델의 뇌를 해부하기

harheem

23 Dec 2025 • 26 min read

대형 언어모델(LLM)은 이제 단순히 “답을 잘하는 모델”을 넘어, 더 복잡한 판단과 추론을 수행하는 시스템으로 발전하고 있습니다. 하지만 성능이 좋아질수록 더 까다로운 문제가 따라옵니다. 모델이 왜 특정 답변을 했는지, 왜 탈옥(jailbreak) 프롬프트에 취약한지, 왜 실제 reasoning과 다른 Chain-of-Thought를 만들어내는지 설명하기가 점점 어려워집니다.

https://deepmind.google/blog/gemma-scope-2-helping-the-ai-safety-community-deepen-understanding-of-complex-language-model-behavior/

이 문제를 다루려면 모델의 출력만 관찰해서는 부족합니다. 모델 내부에서 어떤 특징이 켜지고, 어떤 계산 회로가 이어지며, 그 결과가 최종 답변에 어떻게 반영되는지 직접 분석할 수 있어야 합니다.

Google DeepMind의 Gemma Scope 2는 이 목적을 위해 공개된 해석 가능성(interpretability) 도구 모음입니다. Gemma 3 계열 모델의 내부 활성값을 분석하고, 특정 latent를 조작했을 때 모델의 행동이 어떻게 바뀌는지 실험할 수 있도록 설계되었습니다.

이번 글에서는 Gemma Scope 2를 처음 접하는 분을 기준으로, 다음 내용을 차례대로 살펴보겠습니다.

왜 LLM 내부를 분석해야 하는지
Gemma와 Gemma Scope 2가 어떤 관계인지
Sparse Autoencoder(SAE)가 무엇을 하는지
Transcoder와 Skip Transcoder가 왜 필요한지
멀티 레이어 분석이 AI 안전 연구에서 왜 중요한지
Gemma Scope 2가 이전 버전보다 무엇을 개선했는지

1. 왜 LLM 내부를 봐야 할까

최근 LLM에서 문제가 되는 현상은 단순한 성능 부족만으로 설명하기 어렵습니다. 모델이 특정 질문에서는 정확하게 답하다가도, 어떤 상황에서는 그럴듯한 환각(hallucination)을 만들거나, 안전 정책을 우회하는 프롬프트에 취약하게 반응하기도 합니다. 때로는 겉으로는 논리적인 추론 과정을 보여주지만, 실제 내부 계산과는 맞지 않는 Chain-of-Thought를 생성하기도 합니다.

이런 문제를 해결하려면 출력 결과만 보는 방식으로는 한계가 있습니다. 모델이 어떤 단어를 출력했는지보다 더 중요한 질문이 있습니다.

모델 내부의 어느 지점에서 특정 개념이 활성화되었는가?
그 활성화는 다음 레이어로 어떻게 전달되었는가?
어떤 내부 회로가 최종 답변의 방향을 바꾸었는가?
특정 latent를 켜거나 끄면 모델의 행동도 함께 바뀌는가?

이 질문에 답하려면 모델 내부의 활성값(activation)을 분석할 수 있어야 합니다. 활성값은 모델이 입력을 처리하는 과정에서 각 레이어와 서브레이어에 만들어지는 중간 표현입니다. Gemma Scope 2는 이 활성값을 해석 가능한 단위로 분해하고, 필요하면 특정 특징을 조작해 모델 행동의 원인과 결과를 확인할 수 있게 합니다.

비유하자면, LLM의 출력만 보는 것은 환자의 말만 듣고 뇌의 상태를 추측하는 것과 비슷합니다. Gemma Scope 2는 모델 내부에 연결하는 현미경이자, 특정 회로를 자극해 반응을 확인하는 실험 장치에 가깝습니다.

2. Gemma 와 Gemma Scope 2의 관계

먼저 용어를 분리해서 이해해야 합니다.

Gemma 3는 Google DeepMind가 공개한 오픈 모델 계열입니다. 270M, 1B, 4B, 12B, 27B처럼 여러 크기의 모델이 있으며, 사용자가 입력을 주면 텍스트를 생성하는 LLM 본체라고 볼 수 있습니다.

Gemma Scope 2는 이 Gemma 3 모델을 분석하기 위한 도구 모음입니다. 모델 자체를 새로 만든 것이 아니라, Gemma 3의 각 레이어와 서브레이어에 Sparse Autoencoder(SAE), Transcoder, Skip Transcoder, Cross-layer 모델을 학습해 붙여둔 프로젝트입니다.

정리하면 다음과 같습니다.

Gemma 3: 분석 대상이 되는 LLM 본체
Gemma Scope 2: Gemma 3 내부를 해석하고 조작하기 위한 도구 모음
SAE: 활성값을 해석 가능한 sparse latent로 분해하는 도구
Transcoder: MLP가 수행하는 계산을 latent 단위로 근사하는 도구
Cross-layer 모델: 여러 레이어에 걸쳐 이어지는 회로를 분석하는 도구

Gemma Scope 2의 핵심은 모델 내부의 복잡한 벡터를 사람이 이해할 수 있는 특징 단위로 바꾸는 데 있습니다. 예를 들어 어떤 latent가 특정 인물, 언어 패턴, 코드 스타일, 사기 이메일, 해적 말투, 혹은 탈옥 시도와 관련된 특징을 나타낼 수 있습니다. 연구자는 이런 latent를 관찰하고, 조작하고, 모델 행동과의 관계를 실험할 수 있습니다.

3. LLM 내부의 레이어와 활성값

트랜스포머 기반 LLM은 입력 토큰을 여러 레이어에 통과시키며 다음 토큰의 확률 분포를 만듭니다. 각 레이어에는 대략 두 가지 핵심 블록이 있습니다.

첫째는 어텐션(attention) 블록입니다. 어텐션은 입력 안의 여러 토큰이 서로 어떤 관계를 갖는지 계산합니다. 둘째는 MLP 또는 Feedforward 블록입니다. 이 블록은 어텐션을 거친 표현을 다시 비선형적으로 변환하면서 더 복잡한 특징을 만듭니다. 이 과정 사이에는 잔차 스트림(residual stream)이 흐릅니다.

우리가 분석하려는 활성값은 이 계산 과정 중간에 생기는 벡터입니다. 구체적으로는 다음과 같은 값들이 포함됩니다.

각 레이어의 residual stream 값
MLP에 들어가기 전의 입력값
MLP가 계산한 출력값
어텐션 또는 서브레이어 주변에서 만들어지는 중간 표현

문제는 이 활성값이 매우 고차원적이고 복잡하다는 점입니다. 벡터 하나가 수천 개 이상의 차원을 가질 수 있고, 그 안에는 여러 의미가 뒤섞여 있습니다. 사람이 직접 읽고 해석하기에는 거의 불가능합니다.

Gemma Scope 2는 이 복잡한 활성값을 더 해석 가능한 latent들의 조합으로 설명하려고 합니다. 여기서 등장하는 핵심 도구가 Sparse Autoencoder입니다.

4. Sparse Autoencoder(SAE)

Sparse Autoencoder(SAE)는 활성값을 압축하고 다시 복원하는 오토인코더의 한 종류입니다. 일반적인 오토인코더와 다른 점은 중간 표현을 희소(sparse)하게 만든다는 데 있습니다.

희소하다는 것은 대부분의 latent가 꺼져 있고, 일부 latent만 켜진다는 뜻입니다. 이 구조가 중요한 이유는 해석 가능성 때문입니다. 모든 latent가 조금씩 켜지는 모델보다, 특정 상황에서 특정 latent만 뚜렷하게 켜지는 모델이 훨씬 해석하기 쉽습니다.

예를 들어 어떤 입력에서 “프랑스 수도”와 관련된 latent가 켜지고, 다른 입력에서 “파이썬 코드 패턴”과 관련된 latent가 켜진다면, 연구자는 모델 내부에서 어떤 개념이 어떻게 표현되는지 추적할 수 있습니다.

4.1 SAE의 기본 구조

어떤 레이어의 활성값을 다음과 같이 둡니다.

$$x \in \mathbb{R}^n$$

인코더는 이 활성값을 받아 latent 벡터를 만듭니다.

$$f(x) = \sigma(W_{\text{enc}} x + b_{\text{enc}})$$

여기서 생성된 latent 벡터는 보통 원래 활성값보다 더 높은 차원을 가질 수 있습니다.

$$f(x) \in \mathbb{R}^m,\quad m \gg n$$

하지만 모든 차원이 활발하게 쓰이는 것은 아닙니다. SAE는 대부분의 latent가 0이 되도록 학습됩니다. 이후 디코더는 이 sparse latent를 다시 원래 활성값에 가깝게 복원합니다.

$$\hat x(f) = W_{\text{dec}} f + b_{\text{dec}}$$

학습 목표는 두 가지를 동시에 만족하는 것입니다.

첫째, 원래 활성값을 잘 복원해야 합니다.
둘째, 가능한 한 적은 수의 latent만 켜져야 합니다.

이 균형을 맞추기 위해 복원 오차인 MSE와 latent 활성 개수에 대한 페널티를 함께 사용합니다. 이렇게 학습된 latent는 모델 내부에서 반복적으로 등장하는 의미 있는 특징을 나타낼 가능성이 높아집니다.

4.2 JumpReLU

Gemma Scope 2의 싱글 레이어 SAE는 JumpReLU를 사용합니다. 일반적인 ReLU는 입력이 0보다 크면 그대로 통과시키지만, JumpReLU는 각 latent마다 별도의 문턱값을 둡니다.

$$\sigma(z) = z \odot H(z - \theta)$$

여기서 $\theta$는 latent별 문턱값입니다. 신호가 문턱값보다 작으면 0이 되고, 문턱값을 넘을 때만 활성화됩니다.

이 설계는 “충분히 강한 신호일 때만 latent를 켠다”는 의미를 갖습니다. 덕분에 약하고 애매한 활성화는 줄어들고, 해석 가능한 강한 특징만 남기기 쉬워집니다.

Gemma Scope 2는 JumpReLU에 제곱형 $L_0$ 페널티와 실행 빈도에 대한 추가 페널티를 결합했습니다. 너무 많은 latent가 자주 켜지는 현상을 줄이고, 목표로 하는 희소성 수준 근처에서 더 안정적으로 학습되도록 만든 것입니다.

5. Transcoder와 Skip Transcoder

SAE가 활성값을 복원하는 도구라면, Transcoder는 MLP가 수행하는 계산 자체를 설명하려는 도구입니다.

LLM에서 MLP는 단순한 저장소가 아닙니다. 입력 표현을 받아 비선형 변환을 수행하고, 다음 단계의 표현을 크게 바꿉니다. 특정 답변 스타일, 개념 연결, 거부 응답, 탈옥 반응 같은 행동이 MLP 계산과 연결되어 있을 수 있습니다.

Transcoder는 MLP에 들어가기 전의 residual 값을 입력으로 받고, MLP의 실제 출력값을 타깃으로 삼습니다. 즉, 거대한 비선형 함수인 MLP를 sparse latent들의 조합으로 근사합니다.

이 접근법의 장점은 단순히 “어떤 특징이 존재한다”를 넘어서, “그 특징이 모델의 다음 계산에 어떤 영향을 주는가”를 볼 수 있다는 점입니다. 특정 latent를 조작했을 때 최종 답변이 어떻게 바뀌는지 실험할 수 있으므로, 내부 특징과 모델 행동 사이의 인과 관계를 더 직접적으로 확인할 수 있습니다.

Skip Transcoder는 Transcoder에 스킵 항을 추가한 모델입니다.

$$\hat y_{\text{skip}}(f, x) = W_{\text{dec}} f + b_{\text{dec}} + W_{\text{skip}} x$$

여기서 두 항은 서로 다른 역할을 합니다.

$$W_{\text{skip}} x$$는 입력에서 출력으로 거의 선형적으로 이어지는 부분을 담당합니다. 반면 $$W_{\text{dec}} f$$는 latent를 통해 설명되는 비선형적이고 의미 있는 패턴을 담당합니다.

이렇게 역할을 나누면 latent가 단순한 선형 변환까지 떠안지 않아도 됩니다. 대신 실제로 해석 가치가 높은 계산에 더 집중할 수 있습니다. 해석 가능성 관점에서는 중요한 차이입니다. 연구자가 보고 싶은 것은 단순히 값이 전달되는 경로가 아니라, 모델 행동을 바꾸는 의미 있는 내부 계산이기 때문입니다.

Gemma Scope 2는 Gemma 3 계열의 모든 모델 크기에 대해 Skip Transcoder suite를 제공합니다. 이를 통해 연구자는 다양한 규모의 모델에서 MLP 계산을 더 체계적으로 분석할 수 있습니다.

6. 멀티 레이어 모델이 필요한 이유

초기 해석 가능성 연구는 특정 레이어 하나를 분석하는 방식이 많았습니다. 이 접근법도 유용하지만, 실제 LLM 내부의 중요한 행동은 여러 레이어에 걸쳐 만들어지는 경우가 많습니다.

예를 들어 모델이 프롬프트를 해석하고, 답변 전략을 세우고, 안전 정책을 적용하고, 최종 문체를 결정하는 과정은 한 레이어에서 끝나지 않습니다. 여러 레이어를 따라 정보가 이동하고, 중간 계산이 쌓이면서 최종 답변이 만들어집니다.

따라서 단일 레이어만 보면 장거리 회로를 놓칠 수 있습니다. 어떤 latent가 낮은 레이어에서 켜지고, 그 영향이 높은 레이어의 답변 스타일이나 안전 정책 적용에 반영될 수 있습니다. 이런 현상을 보려면 여러 레이어를 함께 분석할 수 있는 모델이 필요합니다.

Gemma Scope 2에서 중요한 변화 중 하나가 바로 이 멀티 레이어 분석입니다.

6.1 Weakly Causal Crosscoder

Weakly Causal Crosscoder는 여러 레이어의 활성값을 함께 다루는 모델입니다. 다만 아무 레이어나 자유롭게 서로 설명하도록 두지는 않습니다. 인코더와 디코더에 약한 인과 제약을 둡니다.

핵심 아이디어는 다음과 같습니다.

인코더는 하나의 레이어를 보고 latent를 켤 수 있습니다.
디코더는 현재 레이어와 그 이후의 레이어만 복원할 수 있습니다.
미래 레이어의 정보로 과거 레이어를 설명하지 않도록 제한합니다.

이 제약은 중요합니다. 모델 해석에서 미래 정보를 사용해 과거를 설명하면 그럴듯해 보이는 잘못된 회로가 만들어질 수 있습니다. Weakly Causal Crosscoder는 레이어의 순서를 고려해, 실제 계산 흐름에 더 맞는 latent를 찾도록 돕습니다.

이 방식은 여러 레이어에 걸쳐 이어지는 개념이나 행동 패턴을 하나의 latent 단위로 포착하는 데 유용합니다.

6.2 Cross-layer Transcoder (CLT)

Cross-layer Transcoder(CLT)는 Transcoder를 멀티 레이어로 확장한 형태입니다. 여러 레이어의 MLP 입력을 받아, 여러 레이어의 MLP 출력을 함께 설명하려고 합니다.

단일 레이어 Transcoder가 “이 레이어의 MLP가 무엇을 계산하는가”를 묻는다면, CLT는 “여러 레이어에 걸친 MLP 계산이 어떤 회로를 만드는가”를 묻습니다.

예를 들어 어떤 cross-layer latent가 낮은 레이어에서는 프롬프트의 특정 패턴을 감지하고, 높은 레이어에서는 답변의 방향이나 문체를 바꾸는 역할을 할 수 있습니다. 이런 분석은 거짓 Chain-of-Thought, 탈옥 반응, 거부 메커니즘, 과도한 동조(sycophancy) 같은 복잡한 행동을 이해하는 데 도움이 될 수 있습니다.

7. Gemma Scope 1 vs 2

Gemma Scope 2는 기존 Gemma Scope보다 더 넓은 모델 범위와 더 정교한 분석 도구를 제공합니다. 핵심 변화는 다음과 같이 정리할 수 있습니다.

7.1 타깃 모델과 커버리지의 확장

기존 Gemma Scope는 Gemma 2의 일부 영역에 초점을 맞췄습니다. Gemma Scope 2는 Gemma 3 계열의 270M부터 27B까지 다양한 모델 크기를 대상으로 합니다.

모델 크기별로 내부 회로가 어떻게 달라지는지 비교할 수 있다는 점이 중요합니다. 작은 모델에서는 보이지 않던 행동이 큰 모델에서 나타날 수 있고, 반대로 작은 모델에서 단순하게 보이던 회로가 큰 모델에서는 여러 레이어에 걸쳐 분산될 수 있습니다.

7.2 싱글 레이어에서 멀티 레이어로의 진화

Gemma Scope 2는 Gemma 3 모델의 모든 레이어에 SAE와 Transcoder 계열 도구를 제공합니다. 일부 위치만 들여다보는 방식보다 훨씬 더 넓은 커버리지를 갖습니다.

해석 가능성 연구에서 blind spot은 큰 문제입니다. 특정 행동의 원인이 분석 도구가 붙어 있지 않은 레이어에 있다면, 연구자는 중요한 회로를 놓칠 수 있습니다. 전 레이어 커버리지는 이런 위험을 줄여줍니다.

7.3 트랜스코더 계열의 확장

Gemma Scope 2는 Skip Transcoder를 전 레이어에 제공하고, 멀티 레이어 분석을 위한 Cross-layer 모델도 포함합니다. 이는 단일 레이어의 특징 분석에서 여러 레이어에 걸친 계산 회로 분석으로 초점이 확장되었다는 뜻입니다.

AI 안전 연구에서 중요한 현상은 종종 한 번의 계산으로 끝나지 않습니다. 프롬프트 공격, 거부 응답, 숨은 의도 감지, Chain-of-Thought faithfulness 같은 주제는 여러 단계의 내부 계산을 거칠 가능성이 큽니다. Cross-layer 도구는 이런 현상을 분석하기 위한 기반을 제공합니다.

7.4 희소성 정규화 설계의 변경

Gemma Scope 2는 SAE 학습에서 희소성을 더 안정적으로 제어하기 위한 정규화 설계를 사용합니다. 목표로 하는 희소성 수준 근처에서 제곱형으로 작동하는 Quadratic $L_0$ 페널티를 도입하고, 너무 자주 켜지는 latent에는 추가 페널티를 적용합니다.

이 설계의 목적은 latent가 너무 많이 켜지거나, 특정 latent가 지나치게 자주 활성화되는 문제를 줄이는 것입니다. latent가 잘 분리되어야 연구자가 각 latent의 의미를 더 쉽게 해석할 수 있습니다.

7.5 End-to-End(E2E) 파인튜닝 도입

기존 접근은 활성값을 잘 복원하는 데 집중하는 경우가 많았습니다. 하지만 활성값을 복원한다고 해서 모델의 실제 출력 행동까지 잘 보존된다고 단정할 수는 없습니다.

Gemma Scope 2는 SAE와 Transcoder 출력을 실제 모델에 연결했을 때, 모델의 출력 분포도 유지되도록 End-to-End(E2E) 미세 조정을 도입했습니다.

손실 함수는 MSE와 KL 발산을 함께 고려합니다.

$$\text{L} = \text{MSE} + \alpha\beta , \text{KL} / (1 + \beta)$$

여기서 $\alpha$는 다음과 같이 동적으로 스케일링됩니다.

$$\alpha = \text{MSE} / (\text{KL} + \epsilon)$$

이 구조는 MSE와 KL 항 사이의 균형을 더 일관되게 맞추기 위한 설계입니다. 해석 도구가 내부 활성값만 비슷하게 복원하는 데 그치지 않고, 실제 모델 행동도 가능한 한 유지하도록 만드는 것이 목표입니다.

7.6 Instruction-tuned(IT) SAE 학습 방식의 개선

Gemma 3에는 프리트레인(PT) 모델과 인스트럭션 튜닝(IT) 모델이 있습니다. PT 모델은 대규모 텍스트로 기본 언어 능력을 학습한 모델이고, IT 모델은 사용자 지시를 따르도록 추가 조정된 모델입니다.

Gemma Scope 2는 IT 모델용 SAE를 학습할 때 PT 모델의 SAE 가중치에서 초기화합니다. 이렇게 하면 PT와 IT 사이에서 같은 개념이 어떻게 달라지는지 더 연속적으로 추적할 수 있습니다.

또한 IT 모델 분석에는 실제 오픈소스 사용자 프롬프트와 모델 롤아웃 데이터를 활용합니다. 이는 챗봇 사용 환경에서 나타나는 행동, 예를 들어 탈옥 반응, 거부 메커니즘, Chain-of-Thought의 충실성 문제를 분석하는 데 더 적합합니다.

7.7 멀티 레이어 학습을 위한 인프라 구축

멀티 레이어 모델은 계산 비용이 큽니다. 여러 레이어를 동시에 다루면 필요한 행렬 연산이 빠르게 커지고, 저장해야 할 중간 값도 많아집니다.

Gemma Scope 2는 이를 해결하기 위해 Sparse kernel과 모델 병렬화(sharding) 인프라를 사용합니다. 목표는 실제 규모의 Gemma 3 모델 전체를 다룰 수 있을 정도로 계산을 실용화하는 것입니다.

해석 가능성 도구가 작은 연구용 모델에서만 작동한다면 가치는 제한됩니다. Gemma Scope 2의 중요한 의미는 실제 서비스 규모에 가까운 모델 계열에서도 내부 분석을 시도할 수 있는 기반을 제공한다는 점입니다.

7.8 BatchTopK에서 JumpReLU로의 변환

Gemma Scope 2는 학습 단계와 해석 단계의 요구를 나눠서 봅니다. 학습 단계에서는 TPU에서 효율적으로 희소 연산을 수행하기 위해 BatchTopK 방식을 사용하고, 이후 추론과 해석 단계에서는 이를 JumpReLU 파라미터로 변환합니다.

이 설계는 학습 효율과 해석 용이성 사이의 균형을 맞추려는 접근입니다. 학습할 때는 효율적인 sparse training 방식을 쓰고, 분석할 때는 latent별 문턱값이 명확한 JumpReLU 구조로 해석합니다.

8. AI 보안에서 얻는 이점

Gemma Scope 2가 중요한 이유는 단순히 내부를 “볼 수 있다”는 데 있지 않습니다. 더 중요한 점은 내부 특징과 모델 행동 사이의 관계를 실험할 수 있다는 것입니다.

AI 보안 관점에서 Gemma Scope 2는 다음과 같은 연구에 활용될 수 있습니다.

모델이 환각을 일으키는 내부 조건 분석
탈옥 프롬프트가 특정 회로를 어떻게 활성화하는지 추적
거부 응답(refusal)이 어떤 latent와 연결되는지 확인
Chain-of-Thought가 실제 내부 상태와 얼마나 맞는지 비교
프리트레인 모델과 인스트럭션 튜닝 모델의 개념 표현 차이 분석
특정 latent를 조작했을 때 답변 스타일이나 정책 준수 행동이 어떻게 바뀌는지 실험
AI 에이전트의 복잡한 행동을 감사하고 디버깅하기 위한 기반 마련

특히 “모델이 왜 이런 답을 했는가”라는 질문을 다룰 때, Gemma Scope 2는 출력 로그보다 더 깊은 수준의 단서를 제공합니다. 출력만 보면 결과는 보이지만 원인은 흐릿할 것입니다. 내부 latent와 레이어 간 회로를 함께 보면, 특정 행동이 어떤 계산 경로를 통해 만들어졌는지 더 구체적으로 추적할 수 있습니다.

9. 조심히 해석해야할 부분

Gemma Scope 2가 해석 가능성 연구에 큰 진전을 제공한다고 해서, LLM 내부를 완전히 이해할 수 있게 된 것은 아닙니다. 이 도구들은 모델 내부를 들여다보는 강력한 방법을 제공하지만, 분석 결과를 해석할 때는 몇 가지 주의가 필요합니다.

첫째, latent가 항상 사람이 붙인 이름 그대로의 개념을 의미한다고 단정하기는 어렵습니다. 하나의 latent가 여러 맥락에서 다르게 작동할 수 있고, 사람이 이해하기 쉬운 이름은 분석을 위한 근사일 수 있습니다.

둘째, 특정 latent를 조작했을 때 행동이 바뀌더라도, 그것이 전체 원인을 완전히 설명한다고 보기는 어렵습니다. LLM의 행동은 여러 회로가 함께 만든 결과일 수 있습니다.

셋째, 해석 도구 자체도 학습된 모델입니다. SAE나 Transcoder가 원본 모델의 내부 계산을 완벽하게 복원한다고 볼 수는 없습니다. 그래서 Gemma Scope 2가 End-to-End 미세 조정과 KL 기반 행동 보존을 함께 고려하는 점이 중요합니다.

핵심은 Gemma Scope 2를 “정답을 알려주는 도구”로 보기보다, 모델 내부 행동에 대한 더 정교한 실험을 가능하게 하는 연구 장비로 보는 것입니다.

10. 결론

Gemma Scope 2의 방향은 분명합니다. 단순히 활성값을 잘 복원하는 데서 멈추지 않고, 모델의 실제 행동과 연결되는 내부 회로를 찾으려는 것입니다.

이전에는 특정 레이어의 활성값을 분석하는 데 초점이 있었다면, 이제는 여러 레이어에 걸친 계산 흐름과 모델의 최종 행동까지 함께 보려는 방향으로 이동하고 있습니다. SAE, Skip Transcoder, Cross-layer Transcoder, E2E 미세 조정은 모두 이 흐름 안에 있습니다.

AI 안전 연구에서 중요한 질문은 점점 더 구체적이 되고 있습니다.

모델은 언제 거짓 Chain-of-Thought를 만들어내는가?
탈옥 프롬프트는 어떤 내부 회로를 건드리는가?
거부 응답은 어떤 latent와 연결되어 있는가?
프리트레인 모델의 개념 표현은 인스트럭션 튜닝 이후 어떻게 바뀌는가?
특정 회로를 조작하면 모델 행동을 더 안전하게 바꿀 수 있는가?

Gemma Scope 2는 이런 질문을 출력 수준이 아니라 내부 계산 수준에서 다룰 수 있게 합니다. 아직 모든 답을 주는 도구는 아니지만, LLM의 복잡한 행동을 해부하고 실험하기 위한 중요한 기반이 될 수 있습니다.

이번 글에서는 Gemma Scope 2의 배경과 전체 구조를 중심으로 살펴봤습니다. 다음 글에서는 JumpReLU SAE를 더 구체적으로 따라가며, latent가 실제로 어떤 의미를 갖는지 예시 중심으로 살펴보겠습니다. 이어서 멀티 레이어 분석을 통해 Chain-of-Thought 관련 회로나 안전 정책 관련 회로를 어떻게 추적할 수 있는지도 다뤄보겠습니다.