AI의 재귀적 자기개선 연구, 허용해야 할까?
AI가 스스로 더 나은 모델을 설계·학습하는 연구를 어디까지 열되, 안전 검증과 접근 통제를 어떤 기준으로 묶을지가 쟁점이다.
배경
찬성 vs 반대
👍 찬성: 통제된 연구로 혁신과 안전 역량을 함께 키울 수 있는 이유
-
1. 연구개발의 반복 비용과 시간을 낮춘다
재귀적 개선을 허용하자는 쪽은 AI가 코드 작성과 실험 설계를 보조하면 연구자가 가설을 시험하고 오류를 고치는 주기를 줄일 수 있다고 본다. 2023년 GitHub의 무작위 대조 실험에서는 개발자 95명이 참여했고, Copilot을 이용한 집단은 정해진 코딩 과제를 대조군보다 평균 55.8% 빠르게 끝냈다. 이는 제한된 과제에서 도구 보조 코딩의 생산성 효과를 보여주는 사례이지 자율적 자기개선의 안전성을 입증한 결과는 아니다. OECD의 2023년 과학 속 AI 보고서도 데이터 분석과 자동화를 과학 발견을 돕는 요소로 다뤘다. 따라서 격리된 환경에서 반복 실험을 허용하면 연구 효율과 안전성 점검을 함께 높일 수 있다는 주장이 가능하다.
출처: GitHub 2023; OECD 2023 -
2. 위험을 측정하려면 제한된 연구와 시험이 필요하다
능력을 공개적으로 실험하지 않으면 자기개선에 가까운 작업이 어디까지 가능한지, 어떤 조건에서 실패하거나 위험해지는지 파악하기 어렵다는 주장이다. METR의 2025년 분석은 소프트웨어 과제에서 모델이 50% 이상의 성공률을 보이는 과제 길이의 추정치가 약 7개월마다 두 배가 되는 추세를 제시했다. 연구진이 측정한 것은 과제 수행 능력의 시간축이지, AI가 스스로 다음 모델을 완성하는 능력은 아니다. 그 차이를 분명히 한 채 통제된 실험과 독립 평가를 허용하면, 위험을 과장하거나 축소하지 않고 실제 능력에 맞춰 접근 제한 기준을 세울 수 있다.
출처: METR 2025 -
3. 공익적 과학 응용과 개방된 연구 생태계를 지킨다
AI 연구의 개선 방법을 일부 기업이나 국가만 독점하면 공익적 과학 응용과 외부 검증 기회가 함께 줄 수 있다는 우려가 있다. EMBL-EBI는 2022년 AlphaFold 단백질 구조 데이터베이스에 2억 개가 넘는 예측 구조가 공개됐으며 전 세계 연구자들이 이를 이용하고 있다고 발표했다. 2024년 노벨화학상도 단백질 구조 예측에 기여한 데미스 허사비스와 존 점퍼 등을 수상자로 선정해 계산 기반 연구의 과학적 가치를 인정했다. AlphaFold는 재귀적 자기개선 시스템이 아니므로 안전성을 직접 증명하지는 않는다. 다만 연구 접근을 일괄 금지하기보다 위험도에 따라 공개 범위를 조절하고 검증 가능한 연구를 유지해야 한다는 근거가 된다.
출처: EMBL-EBI 2022; 노벨재단 2024
👎 반대: 통제와 안전 기준이 충분히 입증되기 전에는 제한해야 하는 이유
-
1. 개선 고리가 능력의 급격한 상승을 낳을 수 있다
AI가 더 좋은 코드를 만들고, 그 코드로 학습이나 평가를 개선하며, 다시 더 강한 AI를 만드는 순환이 실제로 작동하면 능력 상승 속도가 사람의 검토 속도를 앞지를 수 있다. METR의 2025년 분석에서 소프트웨어 과제 수행 시간축이 약 7개월마다 두 배가 된 추세는 자기개선을 입증하지는 않지만, 장기 과제 능력이 빠르게 커질 가능성을 보여준다. 보고서의 측정값을 모든 업무나 미래 능력으로 그대로 외삽할 수는 없다는 점도 중요하다. 그러나 결과가 불확실하고 잠재적 피해가 큰 연구라면, 자동 반복이나 자기 수정 기능을 허용하기 전에 경계 조건과 중단 기준을 검증해야 한다는 전문가들의 신중론이 가능하다.
출처: METR 2025; International AI Safety Report 2025 -
2. 현재의 안전 평가와 통제는 자기개선 위험을 보증하지 못한다
NIST의 2023년 AI 위험관리 프레임워크는 거버넌스, 맥락 파악, 측정, 관리의 네 기능을 제시해 위험을 계속 확인하고 줄이는 절차의 필요성을 강조한다. 이 절차가 위험을 제거한다는 보증은 아니며, 시스템의 사용 맥락에 따라 평가 결과가 달라질 수 있다. Yoshua Bengio가 이끈 International AI Safety Report 2025도 고도 AI의 위험과 대응책에 불확실성이 있음을 다뤘다. 예컨대 실험실에서 통과한 제한적 평가만으로 실제 배포 환경에서 도구 사용, 데이터 접근, 반복 실행이 결합된 결과를 전부 예측하기는 어렵다. 그러므로 자기개선 연구를 허용하려면 통제 장치가 실제로 유효하다는 근거를 먼저 제시해야 한다.
출처: NIST 2023; International AI Safety Report 2025 -
3. 연구 결과의 확산은 오용과 피해의 규모를 키울 수 있다
자기개선 연구에서 나온 코드나 자동화 기법이 외부로 퍼지면 안전한 연구 목적에만 쓰인다고 보장하기 어렵고, 능력 향상과 오용이 함께 확산될 수 있다. Stanford HAI의 2025 AI Index는 관련 데이터베이스에 기록된 AI 사고가 2024년 233건으로, 전년보다 56.4% 늘었다고 집계했다. 이 통계는 일반 AI 사고를 다루며 재귀적 연구가 원인이라는 증거는 아니지만, 도구가 널리 쓰일 때 관리와 책임 문제가 이미 중요함을 보여준다. Yoshua Bengio와 Stuart Russell 등이 참여한 Future of Life Institute의 2023년 공개 서한도 GPT-4보다 강력한 시스템 학습의 일시 중단을 요구했다. 이는 피해가 확정됐다는 뜻이 아니라, 확산 전에 위험 검토를 요구한 전문가들의 우려를 보여준다.
출처: Stanford HAI 2025; Future of Life Institute 2023
교차 반론
반대 측이 인용한 METR의 과제 시간축이 약 7개월마다 두 배가 된다는 수치는 특정 소프트웨어 과제에서의 성공률 추정이지, AI가 자기 자신을 개선하거나 통제 밖으로 벗어났다는 관찰은 아니다. 과제 능력의 증가만으로 연구 전체를 막으면 위험을 키우는 조건과 막는 장치를 실제로 비교할 기회도 사라진다. 모델을 외부 네트워크와 실제 배포에서 분리하고, 실행 횟수·컴퓨팅 자원·데이터 접근을 제한한 뒤 독립기관이 재현 가능한 평가를 수행하도록 하는 방식이 가능하다. 이처럼 측정 범위를 명확히 한 연구는 금지보다 위험 임계치를 현실에 맞게 정하는 데 도움이 된다.
찬성 측의 GitHub 실험에서 Copilot 사용자가 과제를 55.8% 빨리 끝냈다는 결과는 정해진 코딩 과제를 보조한 95명 규모의 실험이다. 이는 연구자가 목표와 검토 절차를 통제한 도구 사용의 효과를 보인 것이지, AI가 스스로 목표를 세우고 모델을 개선하며 다음 실험까지 자율적으로 반복하는 능력을 검증한 것은 아니다. AlphaFold의 공익적 성과 역시 단백질 구조 예측의 가치를 보여줄 뿐 재귀적 개선 과정의 안전성을 증명하지 않는다. 따라서 보조 도구의 생산성 근거를 자율적 자기개선 연구 허용의 근거로 곧바로 확장하면 능력과 위험의 차이를 놓칠 수 있다.
반대 측이 제시한 2024년 AI 사고 기록 233건과 전년 대비 56.4% 증가는 경계가 필요하다는 신호지만, 일반 AI 사고를 집계한 수치여서 재귀적 자기개선 연구가 사고를 일으켰다는 인과관계를 보여주지 않는다. Future of Life Institute의 2023년 서한도 강력한 모델 개발에 대한 우려와 중단 요구를 보여주는 의견이지, 모든 제한된 연구의 위험을 실증한 자료는 아니다. 사고 유형과 능력 평가를 분리해 추적하고, 위험한 수준에 도달한 경우에만 접근을 제한하는 기준을 만들려면 독립적인 시험 연구가 필요하다. 전면 금지보다 투명한 감시와 단계별 중단 규칙이 근거에 맞는 대응이다.
핵심 쟁점
자기개선 능력을 어디까지 연구로 열어 두고, 어떤 위험 신호에서 접근과 배포를 제한해야 할까?
관련 토론
AI 생성 음원, 표시를 의무화할까?
AI로 만든 음원을 소비자에게 알리자는 요구가 커지는 가운데, 창작자 보호와 표현의 자유를 둘러싼 찬반이 맞선다.
한국은 핵추진 잠수함을 개발해야 할까?
잠항 지속성과 대잠 능력을 높일 수 있지만, 막대한 비용과 비확산·안전 문제를 함께 따져야 하는 선택이다.
PASS 폐지, 모바일 신분증을 정부 앱으로 통합할까?
정부 모바일 신분증 앱과 민간 PASS를 하나로 묶을 때 보안·편의성·시장 경쟁을 어떻게 조화할지 따져본다.
당신의 생각은?
리액션
공유
뉴스레터
뉴스레터 발송을 준비하고 있습니다. 미리 신청해 두세요.