해외(미국) · 모델 해석·모델 편집 · MIT CSAIL(오마르 카타브 연구실) · 연구 블로그 공개 · 2026년 11월 2일
학습 없이 '가중치를 직접 프로그래밍'한다 — MIT CSAIL 연구진, 최첨단 LLM이 자연어 목표만으로 다른 신경망의 가중치를 읽고 수정하는 '가중치 공간 프로그래밍' 실험 공개…큐원3.5-0.8B의 0.016%만 고쳐 MATH-500 7.9%→48.1%
MIT 컴퓨터과학·인공지능연구소(CSAIL)의 리키야 다케히, 제이든 테오, 알렉스 장, 오마르 카타브 연구진은 경사하강법(손실을 줄이는 방향으로 가중치를 반복 갱신하는 학습 기법)이나 학습 루프 없이, 범용 최첨단 언어 모델(GPT-6 Astra)이 자연어로 주어진 목표에 따라 신경망 가중치를 직접 읽고 쓰는 실험 결과를 공개하였다. 실험에 따라 모델은 가중치만 보거나, 파이썬 샌드박스를 쓰거나, 제한된 횟수의 순전파(입력을 넣어 출력을 확인하는 시험)를 허용받았다.
판독 실험에서 모델은 17,253개 가중치로 된 강화학습 정책 4종의 원시 가중치만 보고 어떤 게임(브레이크아웃·퐁·팩맨·프리웨이)을 학습했는지 모두 맞혔다. 수정 실험에서는 경사로 자동차 과제 정책의 가중치 3.5%를 한 번 편집해 성공률을 0/256에서 1,024/1,024로 바꾸었다. 언어 모델 편집에서는 큐원3.5-0.8B의 가중치 131,072개(0.016%)를 순전파 50회 예산으로 수정해 MATH-500을 7.9%에서 48.1%, GSM8K를 13.8%에서 67.1%, IFEval을 21.0%에서 62.3%로 높였으며, 토큰 한도에 걸린 답변 비율은 93%에서 33.1%로 줄었다. 다만 반복 출력 문제가 거의 없는 젬마3 270M에서는 개선이 미미했고, 연구진은 편집이 장애물을 제거할 수는 있어도 없는 능력을 더하지는 못한다고 밝혔다.
기술적 의미
첫째, 대형 모델이 소형 모델의 내부 구조를 해석하고 표적 수정까지 수행할 수 있다는 점은 기계적 해석 가능성과 모델 감사 연구를 자동화할 가능성을 보여 준다. 둘째, 큐원 사례의 개선은 주로 '반복 출력' 실패 모드 교정에서 나온 것이어서, 일반적 능력 향상으로 확대 해석하기는 어렵다. 셋째, 동료 심사 전 초기 결과이며 표본 수가 적고, 연구진도 체계적 평가를 위한 벤치마크를 구축 중이라고 밝혔다.
해외(미국) · AI 평가·에이전트 벤치마크 · 세미애널리시스 · 벤치마크 발표 · 2026년 11월 2일
최고 모델도 12%에 그쳤다 — 세미애널리시스, 칩 설계·사이버보안·금융·법률 등 11개 경제 영역의 실전형 에이전트 벤치마크 'GDPx' 공개…금융 실사 과제는 어떤 모델도 완수하지 못해
반도체·AI 분석 기관 세미애널리시스는 향후 1~2년 내 AI의 가속 효과가 클 것으로 예상되는 경제 영역에서 범용 에이전트 능력을 측정하는 벤치마크 'GDPx'를 공개하였다. 대상 영역은 칩 설계, 사이버보안, 생물학, 금융, 법률, 퀀트 트레이딩, 재귀적 자기 개선, 하드웨어 설계, 재료과학, 정렬(alignment), 소프트웨어 공학의 11개이다. 각 영역은 강화학습 환경 전문 기업들이 구축했으며, 예컨대 금융 과제는 약 4,000개 파일로 된 인수합병 자료실 환경에서 수행된다. 과제당 기본 제한 시간은 8시간이고, 점수는 세 번 시도 기준 pass@1로 산정된다.
세미애널리시스는 최고 모델의 종합 점수도 12% 수준에 그쳤다고 밝혔다. 공개 집계에 따르면 앤트로픽의 클로드 오퍼스 5.5가 12.0%, 구글 제미나이 4 카본이 10.9%, 오픈AI GPT-6 Astra가 9.6%였으며, 영역별로는 모델마다 강점이 뚜렷하게 갈리는 '불균일성'이 관찰되었다. 금융 영역에서는 실제 수준의 이익 품질 실사 과제를 완수한 모델이 없었고, 생물학에서는 반복 측정값을 독립 관측치로 취급하는 통계 오류가 반복되었다. 사이버보안에서는 한 접근 통제 취약점 공략에 이전 세대 모델이 3시간 넘게 걸린 반면 최신 모델은 35~50분이면 충분해 공격 소요 시간이 빠르게 줄고 있는 것으로 나타났다. 일부 모델의 점수는 안전 분류기에 의한 거부로 낮아졌다는 점도 함께 지적되었다.
기술적 의미
첫째, 단발성 문서 생성 위주의 기존 평가와 달리 대규모 파일 환경·장시간 과제를 사용해, 실제 업무 대체 가능성에 대한 기대와 현재 능력 사이의 간극을 정량화하였다. 둘째, 사이버보안 영역의 공략 시간 단축은 방어 측 자동화와 취약점 공개 주기의 재설계를 요구한다. 셋째, 평가 기관과 환경 제공 기업이 결과에 이해관계를 가질 수 있고, 안전 정책에 따른 거부가 점수에 반영되는 구조이므로 독립 재현과 세부 공개가 필요하다.
해외(중국) · 대형 언어 모델·멀티모달 · 메이퇀 · 모델 공개 · 2026년 11월 2일
배달 플랫폼이 1조 6천억 매개변수 모델을 내놓았다 — 메이퇀, 전문가 혼합 구조 '롱캣-2.5' 공개…토큰당 약 480억 매개변수 활성화, 장기 과제 강화학습으로 대형 코드베이스·시각 코딩 성능 강화
중국 생활 서비스 플랫폼 메이퇀은 총 1조 6천억 개 매개변수 가운데 토큰마다 약 480억 개만 활성화하는 전문가 혼합(MoE, 입력별로 일부 하위 신경망만 선택해 연산하는 구조) 모델 '롱캣-2.5(LongCat-2.5)'를 공개하였다. 회사는 긴 작업 시퀀스와 대규모 강화학습으로 모델을 훈련해 복잡한 코드베이스와 소프트웨어 프로젝트 처리 능력을 높였다고 설명하였다.
롱캣-2.5는 시각 입력과 텍스트를 하나의 토큰 체계로 통합 처리해 화면 이미지를 코드로 옮기는 시각 코딩, 창작 디자인, 3D 작업을 지원한다. 현재 메이퇀의 온라인 대화 서비스와 API 플랫폼으로 이용할 수 있으며, 깃허브와 허깅페이스 공개는 예정 단계이다. 구체적인 벤치마크 수치는 공개 보도에 포함되지 않았다.
기술적 의미
첫째, 조 단위 매개변수와 낮은 활성 비율을 결합한 MoE 설계가 중국 대형 모델의 표준적 선택으로 굳어지며, 추론 비용을 억제하면서 모델 용량을 키우는 경쟁이 이어지고 있다. 둘째, 인터넷 서비스 기업이 자체 최첨단 모델을 확보해 코딩·디자인 등 범용 영역으로 진출하는 흐름은 중국 AI 시장의 공급자 다변화를 보여 준다. 셋째, 독립 벤치마크와 가중치 공개 범위가 확인되기 전까지 성능 비교는 유보할 필요가 있다.
국내(한국) · 멀티모달 생성 모델·잠재 추론 · KAIST AI(신진우·조민수 교수 등) · arXiv 공개 · 2026년 11월 초
이미지를 그리기 전에 '말이 아닌 벡터로' 생각한다 — KAIST 연구진, 통합 멀티모달 모델의 추론을 연속 은닉 상태에서 수행하는 LARC 제안…GenEval에서 기반 모델 BAGEL 대비 7%포인트 향상
KAIST AI 연구진(전병우, 정윤우, 이현석, 조민수, 신진우)은 하나의 모델로 이해와 생성을 함께 수행하는 통합 멀티모달 모델이 언어 기반 사고 사슬(chain-of-thought) 추론을 이미지 생성에 잘 활용하지 못하는 원인을, 이산적 토큰 공간의 추론과 연속적 이미지 생성 사이의 불일치에서 찾았다. 이에 따라 추론을 단어 토큰이 아닌 연속적인 은닉 상태 공간에서 수행하는 기법 'LARC(Latent Reasoning in Continuous Space)'를 arXiv에 공개하였다.
학습은 두 단계로 이루어진다. 먼저 교육과정형 지도 미세조정으로 토큰 단위 추론을 점진적으로 잠재 추론으로 전환하고, 이어 정답 레이블 없이 정보 이득을 보상으로 삼는 강화학습으로 잠재 추론이 스스로 발전하도록 한다. 그 결과 텍스트-이미지 생성 평가 지표 GenEval에서 기반 모델 BAGEL 대비 7%포인트 향상된 최고 수준 성능을 기록했으며, 다양한 벤치마크에서 생성 품질·프롬프트 준수·구성 정확도가 일관되게 개선되었다. 병렬·순차 방식의 추론 시점 확장(test-time scaling)에서도 토큰 기반 생성보다 우수한 결과를 보였다.
기술적 의미
첫째, '생각을 언어로 적는' 방식이 모든 양식에 최적은 아니라는 점을 보이며, 시각 생성에서 잠재 공간 추론이라는 대안을 구체화하였다. 둘째, 정답 없이 정보 이득을 보상으로 쓰는 강화학습은 생성 과제의 보상 설계 비용을 낮추는 방향이다. 셋째, 잠재 추론은 사람이 읽을 수 있는 중간 과정을 남기지 않아 해석 가능성과 검증이 어려워지는 상충 관계가 있으며, 동료 심사 전 단계이다.