유전자 기능 예측, 이젠 AI가 스스로 검증합니다 — NIH의 GeneAgent 도구 등장

사실과 다른 생성(hallucination) 문제를 해결한 최초의 자가 검증형 LLM 기반 유전자 기능 분석 도구

 

🧭 배경: 유전자 집합 기능 예측의 도전과 과제

생물학에서는 비슷한 기능을 수행할 것으로 보이는 유전자들을 하나의 집합으로 분석하여, 공통된 생물학적 기능 또는 경로를 추론하는 '유전자 집합 분석(gene-set analysis)' 기법이 널리 사용되고 있습니다.

 

하지만 기존 방법은 대부분 GO(Gene Ontology) 등 기존 지식 기반의 풍부도 분석(GSEA)에 의존하고 있어, 이미 알려진 기능에는 잘 작동하지만, 새롭거나 덜 연구된 유전자 집합에는 한계를 보였습니다.

 

이에 따라 최근에는 GPT-4와 같은 대형 언어 모델(LLM)의 문맥 이해 능력을 활용하여, 기존 DB에 등록되지 않은 유전자 집합의 기능을 자연어로 추론하려는 시도가 늘어나고 있습니다. 그러나 이 접근은 종종 ‘그럴듯하지만 틀린 정보’를 만들어내는 hallucination 문제로 신뢰성에 의문이 제기돼 왔습니다.

---

🤖 해결책: LLM + 자가 검증 시스템 GeneAgent

NIH의 National Library of Medicine 연구진은 이러한 문제를 해결하기 위해 GPT-4를 기반으로 하되, 생성된 내용을 전문 DB로 스스로 검증하는 '자가 검증형 AI', 즉 GeneAgent를 개발했습니다.

 

유전자집합분석을 위한 GeneAgent의 작동구조

 

GeneAgent는 다음과 같은 4단계 파이프라인으로 작동합니다.

1. 생성(Generation): 유전자 집합에 대해 GPT-4가 기능명과 분석 서술문을 생성
2. 자가 검증(Self-verification): 생성된 기능명을 GO, KEGG, Reactome 등 18개의 생물학 DB와 자동 비교
3. 수정(Modification): 검증 결과를 반영해 틀린 내용 제거 및 수정
4. 요약(Summarization): 최종 기능명 및 설명문 생성

이러한 구조 덕분에 GeneAgent는 GPT-4 대비 정확도와 설명력에서 모두 우수한 성능을 보입니다.

---

📊 성능 평가: GPT-4를 넘어서는 해석 정확도

1. ROUGE 점수 향상

• GPT-4 대비 최대 30% 향상된 정확도
• 예: MSigDB 기준 ROUGE-L: 0.239 → 0.310

2. 의미 유사도 향상 (MedCPT 기반)

• GeneAgent가 생성한 기능명의 의미 유사도 평균 0.736
• GPT-4는 평균 0.722

3. 전문가 수작업 검증 결과

• NeST 유전자 집합 132개에 대해 전문가 수작업 평가 결과,
  92% (122/132)의 판단이 정확함이 확인됨

GPT-4와 GeneAgent의 ROUGE 및 의미 유사도 비교

 

---

🧪 실제 응용: 흑색종 세포주에서의 적용

연구진은 실제 단일세포 전사체 기반 종양 진화 연구에서 도출된 B2905 마우스 흑색종 유래 유전자 집합 7개에 GeneAgent를 적용했습니다.

• GeneAgent는 “호흡사슬 복합체" 등 세부 메커니즘까지 포함한 결과 도출
• GPT-4는 단순히 “산화적 인산화”로 예측해 정보 누락 발생
• 두 전문가의 블라인드 평가에서 GeneAgent가 더 관련성(relevance)과 완결성(comprehensiveness)에서 우수

실제 응용 예시

---

✅ 요약: GeneAgent의 의의와 확장 가능성

• GPT-4 기반 LLM의 풍부한 문맥 이해력을 도메인 지식 기반으로 보완
• 생물학 지식 그래프, 문헌, 질병 연관 DB 등과 자동 연동
• 기능 예측 → 설명 생성 → 검증 → 수정까지 하나의 자동화 파이프라인
• 다종 유전자 집합, 비인간 모델에도 적용 가능

---

🧾 한줄평

“AI가 똑똑해지기 위해 필요한 건 지식보다, 스스로 틀림을 인정하는 능력이다.”

 

참고문헌 : DOI: 10.1038/s41592-025-02748-6

코드 : GeneAgent  https://github.com/ncbi-nlp/GeneAgent/