---
ai_assisted: true
title: "Weight-Space Programming"
description: "LLM이 직접 수행한 가중치 편집의 방식과 전망"
pubDate: 2026-11-04T00:00:00.000Z
category: AI
subcategory: Model
tags:
  - AI
  - LLM
  - Weight-Space Programming
  - Model Editing
  - Interpretability
  - Self-Improvement
  - LoRA
  - ICL
heroImage: ''
serial: 44
draft: false
published: true
---

최근 MIT CSAIL 연구진이 GPT-6 Astra로 하여금 Qwen3.5-0.8B의 가중치를 직접 편집하게 해 수학 성능을 끌어올리는 데 성공했다며, 이를 Weight-Space Programming(WSP)이라는 새로운 연구 분야의 출발점으로 제시한 연구 [Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights](https://rikiyat.github.io/blog/weight-space-programming/)를 발표해 화제가 되었다. 특히 전체 가중치의 약 0.016%를 편집 대상으로 삼아 MATH-500 정확도를 7.9%에서 48.1%로 높였다는 결과가 주목받았다. 다만 이 수치는 Astra에 50회의 모델 실행 기회를 부여한 조건에서 나온 것으로, 10회와 25회 조건에서는 각각 12.3%, 14.1%에 그쳤다.

기존에도 모델이 스스로를 개선하는 재귀적 자기개선(Recursive Self-Improvement, RSI)의 초석이 될 것이라는 기대와 함께, 큰 모델이 자율적으로 파인튜닝 코드를 작성하고 실행하거나 나아가 아키텍처까지 개선하여 자기 자신 혹은 다른 모델을 변형하도록 하려는 연구는 많이 이루어져 왔다. 가령 [PostTrainBench](https://posttrainbench.com/)는 에이전트가 제한된 자원으로 소형 모델의 사후학습을 얼마나 효과적으로 수행하는지 평가하는 벤치마크다. 물론 다른 모델을 개선하는 것과 자신의 개선 능력을 재귀적으로 향상시키는 것은 구별해야 하지만, 전자가 후자의 기반 기술이 될 수 있다는 기대는 이해할 만하다. 다만 실험을 설계하고 파인튜닝 코드를 작성해 실행하는 일은 인간 연구자들도 오랫동안 해오던 작업이기 때문에, 코딩 에이전트가 온갖 기예를 보여주는 요새는 더 이상 그렇게 신기하게 여겨지지 않게 되었다. 이러한 접근은 넓은 의미에서 LLM-as-Optimizer라고 볼 수 있다.

## 가중치 해석의 범위와 한계

이번 연구를 접하고 궁금했던 것은 개별 파라미터에는 직접 읽어낼 수 있는 고정된 시맨틱(semantic)이 없는데, 제아무리 Astra라도 어떻게 이를 해석하고 편집했을까 하는 점이었다. 원문의 실험을 보면 이 질문에 대한 부분적인 답이 있다. 어떤 게임을 학습한 네트워크인지, 확산 모델이 어떤 도형을 생성하는지 맞힌 첫 두 실험에서(다만 게임 실험의 Freeway 네트워크에 대한 답은 "Frogger"였고, README에 적힌 키워드 규칙에 따라 정답으로 처리되었다) Astra가 주로 분석한 것은 입력층과 출력층의 가중치였다. 이들은 격자의 칸이나 이미지의 픽셀처럼 좌표에 이미 의미가 부여된 입력·출력 구조를 갖고 있으므로, 모델 내부에 형성된 임의의 개념을 처음부터 해독하는 경우와는 다르다.

저자들도 이 점을 인정하고, 세 번째 실험에서는 소형 언어 모델의 입출력층을 제거한 뒤 중간 Transformer 블록만 제공했다. Astra는 여기서도 학습 언어를 구분하고 복사 헤드(induction head)를 찾아냈는데, 개별 파라미터의 의미를 읽었다기보다 가중치 행렬의 조합으로 드러나는 기능적 관계를 분석한 것으로 이해할 수 있다. 반면 두 Gemma 3 270M 모델 중 어느 쪽이 아첨하도록 학습되었는지 고르는 실험에서는 가중치만으로 네 차례 모두 실패했다. Astra가 직접 작성한 텍스트에 대해 두 모델이 보이는 attention 패턴을 제공받은 뒤에야 세 쌍을 모두 구별했다. 결국 처음 두 실험에서는 좌표가 고정된 입출력 구조의 도움을 받았고, 세 번째에서는 중간 계층의 회로를 분석했지만, 가중치만으로 복잡한 행동 차이까지 안정적으로 판별하지는 못했다.

저자들이 장기적 전망으로 제시한 '평가 없는 감사(auditing without evaluation)' 역시 이러한 제약을 감안해야 한다. 추론을 실행하지 않고 가중치만 분석하여 백도어나 숨겨진 행동 특성을 찾아낸다는 구상인데, 현재 결과만으로는 그 가능성이 충분히 검증되었다고 보기 어렵다. 아첨 성향을 가중치만으로 구별하지 못한 실험은 오히려 정적인 가중치 분석과 실제 입력에 대한 기능적 분석 사이에 여전히 간극이 있음을 보여준다.

## 방향 기반 편집과 Qwen 실험

그런데 사실 최근 활발히 연구되는 접근 중 하나가 모델의 특정 행동과 연결된 활성화 방향을 찾아내고, 그 방향이 출력에 미치는 기여를 가중치 수준에서 국소적으로 수정하는 모델 편집 기술이다. 아키텍처와 선행연구에 기반해 가설을 세우고, 내부 활성값과 출력의 관계를 분석하여 행동에 관여하는 방향을 추정한 뒤, 관련 가중치를 수정하고 결과를 검증하는 방식이다. 가령 거부(refusal) 행동이 특정 방향에 의해 매개될 수 있으며 그 방향에 개입하면 거부 행동이 달라진다는 Arditi et al.(2024)의 연구([Refusal in Language Models Is Mediated by a Single Direction](https://arxiv.org/abs/2406.11717))가 있다. 이는 Activation Steering, Representation Engineering, 방향 기반 가중치 편집(Directional Weight Editing)과 연결되는 연구의 계보다.

실제로 Astra가 Qwen의 수학 성능을 개선한 방식도 이러한 접근과 크게 다르지 않았다. 모델이 반복적인 추론 루프에 빠지는 현상을 관찰하고, 정상적으로 진행되는 추론과 반복에 빠진 추론을 비교하여 15번째와 19번째 계층의 MLP 출력과 관련된 방향을 찾아냈다. 이후 두 계층의 가중치 행렬에서 각각 64개 열을 선택해 해당 방향의 투영 성분에 개입했다. 저자들은 이를 단일 방향을 제거하는 방식에 비유하지만, 공개 체크포인트에 대한 별도 검증([Weight-Space Programming: the edit decided from its bytes, the scores re-graded](https://carlostoledo.co/reports/weight-space-programming.html))에 따르면 실제 수정은 해당 투영 성분의 6배를 빼는 연산으로, 단순히 방향을 없애는 것보다 훨씬 강한 조정이었다. 같은 보고서에 따르면 이 6배라는 강도는 1, 2, 3, 4, 6배를 시험한 끝에, 42번째 실행 뒤 연습 문제 답변 3,680개를 채점한 결과를 보고 고정되었다. 이 과정에서 MATH-500 문항은 한 번도 쓰이지 않았다.

더욱이 이 실험에서는 Astra에 최대 50회의 모델 실행 기회가 주어졌으며, 각 실행에서 여러 문제를 한꺼번에 평가할 수 있었다. 따라서 피드백 없이 단번에 가중치를 수정한 것은 아니었다. 앞서 본 강도 선택 과정은 그 탐색이 실제로 어떻게 이루어졌는지를 보여준다. Astra는 처음부터 정답을 알고 가중치를 고친 것이 아니라, 수천 개의 연습 문제 답변을 채점하며 수정의 강도를 맞춰 나갔다. 다만 10회·25회·50회 조건은 예산마다 실행이 한 번씩뿐이고, 세 실행은 서로 다른 편집에 도달했다. 10회 실행은 15개 층에 걸친 30개 행렬에서 반복 방향을 1.5배로 뺐고, 25회 실행은 15층의 attention head 하나를 껐으며, 50회 실행만 두 층의 MLP를 6배로 고쳤다. 따라서 25회의 14.1%와 50회의 48.1% 사이의 차이를 예산 효과로만 읽기는 어렵다. 50회 실행이 강도를 1에서 6까지 올리며 검증하는 데 30회 넘게 썼다는 점은 예산이 도움이 되었음을 보여주지만, 실행마다 다른 경로로 갔다는 점과 분리할 수는 없다.

수학 성능이 크게 향상된 이유도 새로운 추론 능력을 만들어냈다기보다, 모델이 답변을 끝내지 못하던 문제를 완화하여 기존 능력이 발현되도록 한 효과에 가깝다. 원본 Qwen의 MATH-500 출력 중 93.0%가 토큰 한도에 도달했지만 수정 후에는 그 비율이 33.1%로 줄었다. Astra가 작업 중 연습 문제에서 보고한 분석에 따르면, 수정 후 정답으로 바뀐 579건 가운데 576건이 원래 토큰 한도에 걸리던 사례였다. Toledo의 재채점에 따르면 MATH-500에서도 원본 모델은 첫 샘플 중 박스로 답을 낸 35건이 모두 정답이었고, 편집 모델은 박스로 답을 낸 303건 중 241건(79.5%)이 정답이었다. 두 집합이 같지 않아 직접 비교할 수는 없지만, 수정이 모델을 더 정확하게 만들었다기보다 답을 끝까지 쓰게 만들었다는 해석과 맞는다. 반복 문제가 드문 Gemma 3 270M에 유사한 작업을 적용했을 때 MATH-500 정확도가 6.8%에서 최대 7.7%로만 바뀐 결과도 같은 해석을 뒷받침한다. 저자들 역시 반복을 멈추게 하는 것과 원래 없던 수학 능력을 추가하는 것은 다르다고 명시한다.

이 맥락에서 가장 아쉬운 것은 비교 기준선이다. Qwen 공식 모델 카드는 소형 모델의 사고 루프 문제를 경고하고 있는데, 그렇다면 디코딩 설정 조정이나 비사고 모드 전환만으로 어느 정도의 성능을 회복할 수 있는지 먼저 비교할 필요가 있다. 실제로 독립적인 재평가([Weight-Space Programming: the edit decided from its bytes, the scores re-graded](https://carlostoledo.co/reports/weight-space-programming.html))에서는 수정하지 않은 Qwen이 모델 카드의 권장 설정에서 MATH-500 정확도 22.3%(사고 모드, 토큰 한도 81,920)와 44.0%(비사고 모드, 거부된 답을 오답으로 센 하한값이며 판정된 답만 세면 49.7%)를 기록했다. 사고 모드 권장 설정은 원문 평가(토큰 한도 32,768, temperature 0.6)와 한도·온도가 모두 다르다는 점도 감안해야 한다. 비사고 모드는 같은 추론 방식을 비교하는 조건이 아니므로 편집 후 48.1%와 단순히 우열을 가릴 수는 없지만, '6배 향상'이라는 인상이 기준선 설정에 크게 의존한다는 점은 분명하다. 같은 보고서가 원문 설정으로 다시 돌린 무편집 모델은 7.2%로 원문의 7.9%와 비슷했다. 원문은 무작위 방향 편집 등 내부 대조 실험을 제시했으나, 이러한 무편집 추론 설정과의 비교까지 제공하지는 않았다.

한편 실험 기록과 수정 모델이 공개되었고, Hugging Face의 Ahsen Khaliq이 로그에서 모델을 재구성해 평가를 다시 수행했다는 사실은 결과를 검토할 수 있게 해 준다. 다만 로그 저장소 [RikiyaT/lm_understand-logs](https://github.com/RikiyaT/lm_understand-logs)는 본문에 보고된 실행만 포함하며, 이전 프롬프트 버전의 시험 실행은 제외했다고 명시한다. 그래도 저장소의 결과표에는 본문에 없는 실행이 일부 남아 있다. 0회(이전 프롬프트)와 5회 조건, 그리고 다른 프롬프트 버전의 10회 조건은 편집을 제출하지 않아 원본과 같은 점수였고, 그 버전의 25회 조건은 14.1%였다. 48.1%는 이 가운데 50회 실행 한 번에서 나온 값이다. 같은 설정을 반복했을 때 얼마나 재현되는지는 아직 알 수 없다.

## 기존 모델 편집 기법의 에이전트화

그렇게 보면 이번 연구의 의미는, 적어도 Qwen 실험에 관해서는, LLM-as-Optimizer와 방향 기반 가중치 편집을 결합하여 기존의 모델 해석·편집 작업을 범용 LLM이 자율적으로 수행하도록 했다는 데 있다. 새로운 최적화 원리를 발견했다기보다, 이미 발전해 온 기계론적 해석과 모델 편집 방법을 LLM 기반 최적화의 맥락으로 가져온 것이다. 물론 작은 신경망의 가중치를 처음부터 작성하는 실험까지 이러한 설명으로 포괄할 수는 없다. 다만 그 실험들도 알려진 게임 규칙과 알고리즘을 신경망 계산으로 구현한 사례에 가깝다. 경사로를 넘지 못하던 자동차 제어 네트워크를 도구 없이 한 번에 고친 실험도, 차의 위치와 속도를 읽어 후진한 뒤 가속하게 하는 별도 경로를 끼워 넣은 것이었다. 그 과정에서 최대 2.37이던 가중치 절댓값이 876까지 커졌고 100을 넘는 값이 13개 생겼다. 평가는 단일 레벨에서 이루어졌으며, 프롬프트에 따르면 모든 에피소드가 같은 상태에서 시작해 행동 샘플링만 달랐다. 따라서 이 실험들을 가중치 공간에 보편적으로 통용되는 시맨틱을 발견했다는 증거로 볼 수는 없다. 결국 이번 연구의 기여는 직접 가중치를 수정했다는 사실 자체보다, 범용 LLM이 문제를 분석하고 수정 절차를 구성하여 실제 모델 개선을 수행했다는 점에서 찾아야 할 것이다.

## 최적화 절차의 내재화와 제로샷 편집

사실 피드백 없이 가중치를 쓰는 일은 이번 연구에서 이미 일부 실증되었다. MinAtar 실험에서 Astra는 게임 규칙과 소스 코드, 네트워크 구조만 받고 환경을 한 번도 실행하지 않은 채 가중치를 작성했으며, Breakout에서는 5억 단계 학습한 PPO 정책보다 높은 점수를 냈다(Seaquest와 Asterix에서는 그 PPO에 미치지 못했다). Kinetix 실험에서도 장면·규칙·관측 구조 설명과 기존 정책의 256회 실패 결과, 기록된 에피소드 하나, 그리고 가중치를 받아 한 번에 정책을 고쳤고, 1,024회 평가에서 모두 성공했다. 바둑 실험의 순전파 0회 조건 역시 Python을 한 번 실행해 손으로 설계한 회로를 가중치로 만들었고, 더 작은 PPO 네트워크를 상대로 절반을 조금 넘게(54%) 이겼다. 다만 이는 아무 정보 없이 이루어진 제로샷이 아니라, 주어진 구조와 문제 설명을 바탕으로 한 무반복·무학습 생성과 편집이다. 또 이 능력은 좌표에 의미가 고정되어 있거나 규칙이 알려진 작은 네트워크에서 드러났고, 실제 언어 모델인 Qwen에서는 실행과 관찰의 반복이 필요했다. 10회와 25회 실행도 GSM8K는 두 배 가까이 올렸지만, MATH-500은 몇 %p에 그쳤고 토큰 한도에 걸리는 비율도 거의 줄지 않았다. 바둑에서도 같은 크기의 PPO 네트워크와는 0회와 50회 조건만 대국했는데, 0회 조건은 졌고 50회 조건은 이겼다. 여기서 말하려는 내재화는 이와 다른 것이다. Astra의 제로샷 편집은 사전학습으로 얻은 일반 지식에서 나왔지만, 모델 편집 실험이 충분히 축적되어 특정 체크포인트에 종속되지 않는 일반화 가능한 수정 규칙을 학습할 수 있다면, 큰 모델에서 지금 필요한 가설·실행·관찰의 반복 자체가 매개변수에 내재화될 수도 있다. 그렇게 된다면 별도의 경사하강법이나 반복적인 피드백 없이도 자연어로 주어진 목표에 따라 다른 모델의 가중치를 즉석에서 제로샷으로 수정하는 일이 가능해질지 모른다.

사실 이러한 가능성은 이미 Sakana AI의 [Text-to-LoRA: Instant Transformer Adaption](https://proceedings.mlr.press/v267/charakorn25a.html)(ICML 2025)와 [Doc-to-LoRA: Learning to Instantly Internalize Contexts](https://proceedings.mlr.press/v306/charakorn26a.html)(ICML 2026) 같은 연구에서 제한적으로 실현되고 있다. 전자는 자연어로 주어진 작업 설명에 따라 LoRA 어댑터를 생성하도록 사전 학습한 Hypernetwork이며, 후자는 문서나 문맥에 담긴 정보를 어댑터로 압축하는 과정을 메타학습한다. 두 연구 모두 새로운 입력에 대해 대상 모델을 별도로 파인튜닝하지 않고 한 번의 순전파로 어댑터를 생성할 수 있다. 다만 전자는 작업별 어댑터의 생성을 학습하고 후자는 문맥 증류를 근사하므로, 두 연구가 학습한 변환의 목적까지 동일한 것은 아니다.

WSP가 문제를 분석하면서 수정 방법을 그때그때 구성하는 방식이라면, Text-to-LoRA와 Doc-to-LoRA는 사전에 학습된 변환 규칙을 새로운 입력에 적용한다는 차이가 있다. 그렇지만 WSP의 분석·편집 과정에서 축적한 경험을 이러한 메타모델의 학습에 활용할 수 있다면, 두 접근이 만나는 지점에서 보다 일반적인 가중치 편집 능력이 등장할 가능성도 있다. 특히 특정 작업에 대한 제로샷 일반화를 넘어, 서로 다른 모델 구조와 가중치 좌표계까지 다룰 수 있는지가 중요한 문제가 될 것이다. 현재의 연구들이 그 수준에 도달했다는 뜻은 아니며, 이 연결은 어디까지나 후속 연구에 관한 가설이다.

## ICL과 명시적 가중치 갱신의 계산적 관계

그런데 더 근본적으로 생각하면, In-Context Learning(ICL) 자체가 이미 파라미터 학습과 유사한 계산을 암묵적으로 수행할 수 있다는 연구들도 있다. 가령 [Linear Transformers Are Secretly Fast Weight Programmers](https://proceedings.mlr.press/v139/schlag21a.html)(ICML 2021)는 선형 어텐션과 Fast Weight Programming 사이의 수학적 동등성을 보였으며, [Transformers Learn In-Context by Gradient Descent](https://proceedings.mlr.press/v202/von-oswald23a.html)(ICML 2023)는 특정 선형 회귀 설정에서 Transformer의 순전파가 경사하강법과 동등한 계산을 구현할 수 있음을 보였다. 물론 이러한 결과가 실제 모든 LLM의 ICL이 경사하강법과 똑같이 작동한다는 의미는 아니다. 그러나 고정된 파라미터 위에서 이루어지는 문맥 기반 추론과 명시적 파라미터 갱신이 계산적으로 완전히 이질적인 것은 아니라는 사실을 보여준다.

그렇다면 ICL과 명시적인 가중치 수정은 반드시 별개의 적응 원리라기보다, 유사한 계산을 활성값이나 문맥 상태와 명시적 매개변수라는 서로 다른 표현으로 구현하는 방식일 수도 있다. 이 관점에서 Text-to-LoRA와 Doc-to-LoRA는 문맥이나 작업 설명을 명시적인 파라미터 수정으로 변환하는 계산을 학습했다는 점에서 흥미롭다. 물론 두 방식 사이에는 상태의 지속성, 메모리 사용량, 반복 추론 비용, 구현할 수 있는 함수의 범위에서 실질적인 차이가 남는다. 그러나 일부 조건에서 기능적으로 유사한 적응을 구현할 수 있다면, 우리가 학습과 ICL 사이에 설정해 온 구분도 계산 원리 자체보다 상태를 어떻게 표현하고 저장하는가, 다시 말해 추상화 경계의 문제에 가까운 부분이 있는 것은 아닐까.

이러한 관점에서 WSP가 발전한다면, 지금 에이전트가 외부에서 수행하는 모델 분석과 최적화 절차를 하나의 학습 가능한 연산으로 내재화할 수도 있을 것이다. 이는 운영 데이터로 매번 LoRA 어댑터를 학습시키는 방식과 달리, 사전에 학습한 적응 규칙을 추론 시점에 적용하는 형태의 온라인 적응으로 이어질 수 있다. 나아가 새로운 경험을 지속적으로 반영하고 누적된 수정이 안정적으로 유지된다면 온라인 지속학습으로도 발전할 가능성이 있다. 다만 학습 비용이 사라지는 것이 아니라 개별 수정에 필요한 최적화 비용 일부를 사전 메타학습으로 이전하는 것이며, 기존 능력의 보존과 누적 수정의 안정성도 별도로 입증해야 한다.

## 가중치 편집 능력의 배포와 통제

그런데 이러한 기술의 실제 파급력은 기술적 가능성만으로 결정되지 않을 것이다. 결국 OpenAI나 Anthropic 같은 프론티어 모델 기업들이 자사 모델에 이러한 능력을 얼마나 적극적으로 탑재하고, 사용자에게 어느 정도의 수정 권한을 허용할 것인지도 중요한 변수가 된다. 모델의 안전성 통제와 무결성, 지식재산권, 서비스 운영의 안정성을 고려하면 이들이 자연어 지시만으로 상용 모델의 가중치를 자유롭게 변경하는 권한을 제공하고 싶어 할지는 의문이다. 내부적으로는 이러한 기술을 모델 개발과 개선에 활용하더라도 외부에는 제한된 파인튜닝이나 관리형 어댑터 생성 기능만 제공할 가능성이 있다. 그렇다면 범용적인 제로샷 가중치 편집은 당분간 연구실이나 오픈 웨이트 모델 생태계에서 먼저 발전할지도 모른다.

반면 사용자에게 원본 가중치를 직접 수정할 권한을 주지 않더라도, 문맥에 따라 내부 상태를 갱신하거나 임시 어댑터를 생성하는 기능은 다른 형태로 제공할 수 있다. 그렇게 보면 장기적으로 중요한 것은 모델이 가중치를 수정할 수 있는가뿐 아니라, 학습된 적응 계산을 어디에서 수행하고 그 수정 결과에 대한 통제권을 누구에게 부여할 것인가라는 문제일 것이다. 결국 WSP가 새로운 연구 분야로 자리 잡는 과정에서는 가중치 편집 규칙의 일반화 가능성과 더불어, 그러한 능력이 실제 시스템에서 어떤 형태로 허용되고 활용되는지가 중요한 변수가 될 것으로 보인다.
