서론: 조합 폭발 문제에 직면한 mRNA 치료제
메신저 리보핵산(mRNA) 기술은 COVID-19 팬데믹을 통해 그 잠재력을 전 세계에 각인시켰지만, 그 기반에는 오래된 계산생물학적 난제가 자리 잡고 있습니다. 바로 ‘코드 최적화(Codon Optimization)’ 문제입니다. 이는 특정 단백질을 만드는 아미노산 서열 정보가 주어졌을 때, 이를 암호화하는 수많은 mRNA 서열 조합 중 단백질 발현 효율과 안정성을 극대화하는 최적의 서열을 찾아내는 과업입니다.
하나의 아미노산을 여러 종류의 코돈(codon)이 지정할 수 있는 ‘코드의 축퇴성(codon degeneracy)’ 때문에, 단 하나의 단백질에 해당하는 mRNA 후보 서열의 수는 우주의 원자 수보다 많아질 수 있습니다. 이 조합 폭발(Combinatorial Explosion) 현상으로 인해 전통적인 탐색 방법론은 일부 개선된 해를 찾는 데 그칠 뿐, 진정한 최적해를 발견하기 어려웠고 지난 25년간 이 분야의 핵심적인 난제로 남아있었습니다.
이러한 배경 속에서, BioNTech에 인수된 AI 기업 InstaDeep의 연구는 문제 해결의 새로운 패러다임을 제시했습니다. 그들은 이 문제를 순차적 의사결정 문제로 재정의하고, 강화학습을 통해 기존의 한계를 돌파하는 혁신적인 접근법을 선보였습니다.
기술적 접근: 강화학습과 언어 모델의 결합
InstaDeep과 BioNTech 연구팀의 접근법은 2023년 12월 세계적인 학술지 ‘네이처(Nature)’에 게재된 논문 “Codon optimisation with a large language model”에 상세히 기술되어 있습니다. 연구의 핵심은 코드 최적화 문제를 강화학습(Reinforcement Learning, RL) 프레임워크로 모델링한 것입니다.
이 모델에서 AI 에이전트는 mRNA 서열의 첫 코돈부터 시작하여, 매 단계마다 다음 코돈으로 무엇을 선택할지 ‘행동(action)’을 결정합니다. 에이전트의 목표는 최종적으로 완성된 서열의 안정성과 단백질 발현율로 정의되는 ‘보상(reward)’을 최대화하는 것입니다. 이는 마치 숙련된 플레이어가 바둑이나 체스에서 승리하기 위해 매 순간 최선의 수를 두는 과정과 유사합니다.
특히 주목할 점은 서열의 복잡한 문법과 수백, 수천 염기 떨어진 요소들 간의 상호작용(long-range dependencies)을 학습하기 위해 대규모 언어 모델(LLM) 아키텍처를 기반으로 했다는 사실입니다. LLM은 mRNA 서열 내 코돈 간의 비선형적 상호작용이 전체 구조 안정성에 미치는 복합적인 영향을 효과적으로 포착하며, 이는 기존 통계 기반 방법론으로는 포착하기 어려웠던 핵심적인 부분이었습니다.
실증적 검증: 실험 데이터가 증명하는 우월성
연구팀의 주장은 이론에만 머무르지 않습니다. 논문에 따르면, 그들이 개발한 AI 시스템이 생성한 mRNA 서열은 in-vitro(시험관 내) 실험에서 표준 최적화 기법이나 대규모 실험을 통해 발굴된 우수 서열들과 비교했을 때에도, 월등히 높은 단백질 발현량과 향상된 mRNA 안정성을 보였습니다. 이는 AI가 설계한 서열이 실제 생물학적 기능 향상으로 이어진다는 점을 통계적으로 입증한 것입니다.
일부 언론의 ’25년 미스터리를 30분 만에 풀었다’는 표현은, 이미 막대한 시간과 자원을 투입해 훈련된 거대 모델이 새로운 단백질 서열에 대한 최적의 mRNA 서열을 추론(inference)하는 데 걸리는 시간을 가리킵니다. 모델을 개발하고 훈련하는 과정 자체는 수개월 이상이 소요되는 고도의 연구개발 작업입니다.
이 사례의 진정한 의의는 AI가 인간 전문가의 직관이나 기존의 경험적 규칙(heuristic)을 넘어, 방대한 탐색 공간 내에서 더 우수한 솔루션을 체계적으로 발견할 수 있는 능력을 입증했다는 점에 있습니다.
시사점: ‘솔루션 생성 AI’ 시대의 개막
이번 성과는 AI 기술이 단순히 콘텐츠를 생성하거나 패턴을 인식하는 단계를 넘어, 과학 및 공학 분야의 근본적인 난제에 대한 ‘솔루션 생성 엔진(Solution Generation Engine)’으로 진화하고 있음을 시사합니다. 코드 최적화와 같은 고차원적 탐색 문제는 신약 개발, 신소재 설계, 반도체 회로 디자인 등 다양한 산업 영역에 존재합니다.
과거 AlphaFold가 단백질 구조 예측의 지형을 바꾼 것처럼, 강화학습 기반의 서열 최적화 기술은 유전 공학과 합성 생물학 분야에서 발견의 속도를 극적으로 가속화할 잠재력을 지니고 있습니다. 이는 AI가 가설을 검증하는 도구를 넘어, 새로운 가설과 해결책을 능동적으로 창출하는 연구 파트너가 될 수 있음을 보여주는 중요한 변곡점입니다.
한계 및 향후 과제
본문에서 기술한 성과는 명백히 혁신적이지만, 과학적 엄밀함을 위해 다음과 같은 한계와 향후 과제를 명확히 할 필요가 있습니다.
- 생체 내(In-vivo) 검증: ‘네이처’ 논문에서 보고된 괄목할 만한 성능 향상은 통제된 in-vitro 환경에서의 결과입니다. 이것이 복잡하고 다양한 변수가 존재하는 생체 내(in-vivo) 환경에서도 동일한 수준으로 재현될지는 후속 연구를 통해 반드시 입증되어야 합니다.
- 모델 일반화(Generalization) 성능: 해당 모델은 특정 데이터셋으로 훈련되었습니다. 매우 특이한 구조를 가진 단백질이나 다른 생물 종의 코드 최적화 문제에서도 동일한 수준의 성능을 보일지는 아직 완전히 검증되지 않았습니다.
- 높은 재현 비용(Reproduction Cost): ’30분’의 빠른 추론 시간은 막대한 컴퓨팅 자원으로 사전 훈련된 모델에 접근할 수 있음을 전제로 합니다. 모델을 처음부터 훈련시키는 데 필요한 비용(GPU 시간, 데이터셋 구축 비용 등)이 상당하여, 다른 연구 그룹이 이 성과를 즉시 재현하고 활용하는 데는 현실적인 장벽이 존재할 수 있습니다.