의료 가짜뉴스에 취약한 LLM: ‘전문의 말투’와 ‘미끄러운 경사’가 위험을 키운다

의료 현장에서 대규모 언어모델(LLM) 활용이 빠르게 늘고 있지만, “그럴듯한 문장”이 사실 검증을 대신할 수는 없다는 점이 다시 확인되었습니다. 이번 연구는 20개 모델을 대상으로 340만 건 이상의 프롬프트를 대규모로 실험해, LLM이 의학적 허위 정보(가짜 권고·오류 주장)를 얼마나 쉽게 “맞다”고 받아들이는지, 그리고 문장 프레이밍(논리적 오류·수사 전략)이 그 취약성을 어떻게 바꾸는지 정량화했습니다. 

---

🧭 무엇을 테스트했나: ‘SNS 글’ vs ‘퇴원요약(임상 문장)’ vs ‘가상 시나리오’

연구팀은 의료 허위 정보를 세 가지 현실적 형태로 구성했습니다.

• 소셜미디어/포럼(레딧) 스타일의 건강 루머·미신
• 실제 병원 퇴원요약(discharge note)에 하나의 거짓 권고를 삽입한 문서(임상 문장체)
• 의사가 검증한 시뮬레이션 임상 시나리오(vignette)

그리고 같은 허위 주장이라도 문장 포장을 바꿔 총 10종의 논리적 오류(appeal to authority, slippery slope 등)로 다시 제시해, 모델이 허위 수용(acceptance)과 오류 프레이밍 감지(detection)를 어떻게 달리하는지 봤습니다.

연구 설계 개요: 데이터 유형·프롬프트 생성·평가 파이프라인. 설명: 세 데이터셋(레딧, 임상노트, 시뮬레이션)을 기반으로, 기본 프롬프트와 10개 논리적 오류 프롬프트를 생성해 20개 LLM을 대규모로 평가하는 전체 흐름을 도식화합니다. 출처: Omar, M., et al. (2026). The Lancet Digital Health, 8, 100949. (Figure 1).

---

📊 핵심 결과 1: “중립 문장”에서도 허위 정보를 31.7%나 수용

전체(모든 모델·모든 코퍼스) 기준으로, 중립(기본) 문장에 담긴 허위 의료 정보를 모델이 31.7%에서 “맞다/동의한다”로 수용했습니다. 즉, 내용이 거짓이라도 표현이 평이하면 모델이 상당 비율로 통과시킨다는 뜻입니다. 

특히 데이터 유형별로 차이가 컸습니다.

• 퇴원요약(임상 문장체): 기본 프롬프트에서 46.1%로 가장 높음
• 소셜미디어(레딧): 기본 프롬프트에서 8.9%로 낮음
• 시뮬레이션 시나리오: 기본 프롬프트에서 5.1% 수준 

이 패턴은 매우 실무적입니다. 임상 문장(단정적·권고형·전문가 톤)이 들어오면, LLM이 “그럴듯함”을 신뢰 신호로 오인해 허위를 더 쉽게 승인할 수 있다는 의미이기 때문입니다.

프롬프트 유형에 따른 허위 수용률(Endorsement)과 오류 프레이밍 감지율. 설명: (A) 허위 권고를 ‘맞다’고 수용하는 비율과 (B) 논리적 오류 프레이밍을 제대로 감지하는 비율을 데이터셋별로 비교합니다(오차막대: 95% CI). 출처: Omar, M., et al. (2026). The Lancet Digital Health, 8, 100949. (Figure 2).

---

⚠️ 핵심 결과 2: 감성 호소보다 위험한 건 ‘권위 호소’와 ‘미끄러운 경사’

흥미롭게도, 대부분의 논리적 오류 프레이밍은 오히려 모델의 허위 수용을 낮추거나 변화가 없었습니다.
하지만 두 가지 프레이밍은 일관되게 취약성을 올렸습니다.

• 권위에의 호소(appeal to authority): 허위 수용률 34.6%
• 미끄러운 경사(slippery slope): 허위 수용률 33.9% 

즉, “경력 많은 의사가 맞다고 했다” 같은 문장, 혹은 “이걸 안 하면 단계적으로 큰일 난다” 같은 서사는, 모델에게 신뢰·긴박 신호로 작동하기 쉽습니다. 특히 임상 문서(퇴원요약)에서는 이 문제가 더 커져, 기본 46.1%에서 미끄러운 경사 50.0%, 권위 호소 49.6%까지 상승했습니다. 

---

🧪 핵심 결과 3: 모델마다 ‘면역력’이 크게 다르다—의료 특화 모델이 항상 더 안전하진 않다

모델별 성능 격차도 매우 컸습니다. 예를 들어, 일부 모델은 허위를 최대 50% 이상 수용하는 구간이 관측되었고, 연구에서는 특정 소형 모델이 약 63%대까지 취약한 사례도 보고했습니다. 반면 GPT 계열 일부는 허위 수용이 낮고, 프레이밍 감지도 상대적으로 견고한 편으로 나타났습니다. 

 

또 하나의 실무적 메시지는 이것입니다: “의료 파인튜닝(의료 특화)”이 안전성을 자동 보장하지 않는다는 점입니다. 일부 의료 특화 모델은 오히려 기본 허위 수용이 높고, 프레이밍 감지 성능도 약한 축에 분포했습니다. (즉, “의료용”이라는 라벨만으로 임상 배치 안전성을 판단하면 위험합니다.)

모델별 취약성 비교(기준 모델 대비)와 프레이밍별 변동 폭. 설명: 19개 모델을 대상으로, 11개 프레이밍(기본 포함)에서 허위 수용률이 얼마나 달라지는지 비교합니다. “어떤 모델이 어떤 프레이밍에 특히 약한지”를 한눈에 보여줍니다. 출처: Omar, M., et al. (2026). The Lancet Digital Health, 8, 100949. (Figure 3).

---

🧱 실무적 함의: ‘정확도’만 보지 말고, ‘문장 스타일에 대한 안전성’을 테스트해야 한다

이번 결과가 던지는 결론은 명확합니다.

• LLM의 의료 안전성 평가는 정답률(accuracy) 중심이면 부족합니다.
• 같은 거짓이라도 임상 문장체(권고·단정·전문가 톤)에서 더 쉽게 통과합니다.
• 따라서 배포 전 검증은 콘텐츠 출처·문장 스타일·논리적 오류 프레이밍까지 포함한 벤치마크로 설계되어야 합니다. 

특히 병원 환경에서는 LLM이 퇴원요약·진료요약·환자 안내문을 다루는 순간, “그럴듯한 임상 문장”이 사실처럼 포장된 오류를 환자에게 전달할 수 있습니다. 결국 임상 적용에서 중요한 건 팩트 그라운딩(근거 기반 확인), 컨텍스트 인지형 가드레일, 검증 워크플로우입니다. 

모델 크기(파라미터 수)와 취약성의 관계: 프레이밍별 분산. 설명: 모델 크기가 커질수록 전반적으로 취약성이 낮아지는 경향이 있지만, 프레이밍·모델별 예외가 존재함을 보여줍니다(일관된 ‘크면 안전’ 공식이 아님). 출처: Omar, M., et al. (2026). The Lancet Digital Health, 8, 100949. (Figure 4).

---

💡 한줄평

‘전문가 말투’라는 포장만으로 의료 허위가 사실처럼 통과될 수 있음을 대규모 벤치마크로 보여준 연구입니다.

 

참고문헌 : DOI: 10.1016/j.landig.2025.100949