AI의 진짜 지능을 측정하다: '인류의 마지막 시험(HLE)' 심층 분석

핵심 요약 (Key Takeaways)

• HLE는 새로운 AI 벤치마크입니다:
  기존 벤치마크(MMLU 등)가 AI의 급속한 발전으로 변별력을 잃자, AI의 진정한 추론 능력과 인간 전문가 수준의 지식을 평가하기 위해 개발되었습니다.
• 대학원 수준의 고난도 문제입니다:
  수학, 생물학, 컴퓨터 과학 등 100개 이상의 분야에서 2,500~3,000개의 대학원 수준 문제를 통해 AI의 다단계 추론과 깊이 있는 이해를 측정합니다.
• 데이터 오염 방지를 최우선으로 합니다:
  인터넷 검색으로 답을 찾기 어렵게 설계되었으며, 비공개 문제 세트를 유지하여 벤치마크 과적합을 방지합니다.
• 현재 AI 모델은 인간 전문가에 크게 미치지 못합니다:
  가장 뛰어난 AI 모델도 40점 미만의 낮은 점수를 기록했으며, 인간 전문가의 약 90% 정답률과 큰 격차를 보입니다.
• AI 안전 및 개발 방향을 제시합니다:
  AI의 현재 역량을 명확히 파악하여 안전한 AI 개발을 위한 기준점을 제공하고, 모델의 약점을 개선하는 데 기여합니다.

최근 인공지능(AI) 모델들의 급격한 발전으로 인해 기존의 성능 평가 벤치마크들이 그 변별력을 잃어가고 있습니다.
특히, MMLU(Massive Multitask Language Understanding)와 같은 벤치마크에서 최신 대규모 언어 모델(LLM)들이 90% 이상의 정확도를 기록하며 사실상 정복됨에 따라, AI의 진정한 능력과 한계를 측정할 새로운 기준이 절실해졌습니다.
이러한 배경 속에서 등장한 것이 바로 ‘인류의 마지막 시험’(Humanity’s Last Exam·HLE)입니다.
HLE는 단순한 패턴 인식이나 정보 검색을 넘어, AI의 깊이 있는 추론 능력과 전문가 수준의 지식을 평가하기 위해 고안된 새로운 벤치마크입니다.
지금 이 순간, HLE는 우리가 AI의 현재 위치를 정확히 이해하고 미래 발전 방향을 설정하는 데 필수적인 도구로 자리매김하고 있습니다.

1. AI 지형의 변화: '인류의 마지막 시험(HLE)'이 중요한 이유

최근 몇 년간 AI는 놀라운 속도로 발전하며 우리 일상과 산업 전반에 스며들고 있습니다.
그러나 이러한 급속한 발전은 동시에 AI의 진정한 이해력과 추론 능력에 대한 의문을 제기합니다.
기존의 AI 성능 평가 벤치마크, 예를 들어 MMLU는 최신 LLM들이 고득점을 기록하며 더 이상 AI의 미묘한 능력 차이를 측정하기 어려워졌습니다.
AI가 유창한 답변을 내놓지만, 그것이 단순한 정보 검색과 패턴 매칭의 결과인지 아니면 진정한 이해와 추론에 기반한 것인지 명확히 구분하기 어려워진 것입니다.
이러한 배경에서 AI 안전 센터(Center for AI Safety, CAIS)의 댄 헨드릭스(Dan Hendrycks) 이사가 주도하여 개발된 HLE는, AI가 인간의 지능에 얼마나 근접했는지, 그리고 우리가 중요한 환경에서 AI 시스템을 얼마나 신뢰할 수 있을지에 대한 명확한 데이터를 제공하기 위해 지금 이 순간 더욱 관련성이 커졌습니다.

2. HLE 작동 원리 해부 (아주 쉽게 설명): AI는 무엇을 평가받는가?

HLE는 AI의 '진정한 똑똑함'을 측정하기 위해 고안된 시험입니다.
마치 대학원 입학시험처럼 매우 어려운 문제들로 구성되어 있죠.
총 2,500개에서 3,000개에 달하는 문제들은 수학, 생물학, 컴퓨터 과학, 인문학 등 100가지가 넘는 다양한 전문 분야를 다룹니다.
이 문제들은 인터넷 검색만으로는 쉽게 답을 찾을 수 없도록 설계되었으며, 단순한 지식 암기보다는 여러 단계의 복잡한 추론과 깊은 이해를 요구합니다.
예를 들어, 41%가 수학 문제이고, 약 14%는 텍스트와 이미지를 모두 이해해야 풀 수 있는 '다중 모드' 문제입니다.
AI 모델의 답변은 정답과의 정확한 일치 여부(pass@1 accuracy)를 기준으로 평가되며, AI가 자신의 답변에 대해 얼마나 '과도한 자신감'을 보이는지도 함께 측정됩니다.
이러한 방식을 통해 HLE는 AI가 단순한 말솜씨를 넘어 정말로 문제를 이해하고 해결하는 능력을 갖추었는지 심층적으로 검증합니다.

HLE 시험 모듈 구성 요약

항목	내용
총 문항 수	2,500개 (일부 자료 3,000개), 100개 이상 학문 분야
주요 분야별 비중	수학 41%, 생물학/의학 11%, 컴퓨터 과학/AI 10%, 물리학 9%, 인문학/사회 과학 9%, 화학 7%, 공학 4%, 기타 9%
문제 유형	대학원 수준의 심화 문제 (단답형 위주, 일부 객관식), 14%는 다중 모드(텍스트+이미지) 문제
평가 기준	Pass@1 정확도 (정답과의 정확한 문자열 일치), AI의 과도한 자신감(uncalibrated overconfidence) 측정

3. 실제 시나리오: AI의 현재 역량 (HLE 점수로 확인)

이 섹션은 AI가 HLE와 같은 고난도 시험에서 현재 어떤 수준의 성능을 보이는지 보여주는 데 중점을 둡니다.
제공된 연구 보고서에는 HLE를 활용한 구체적인 프롬프트 예시나 AI 모델의 '사용 전후' 비교 결과가 명시되어 있지 않습니다.
대신, 우리는 HLE 벤치마크 점수를 통해 현재 AI 모델의 추론 능력 한계를 명확히 이해할 수 있습니다.
HLE는 AI가 단순한 정보 검색이 아닌, 심층적인 지식과 다단계 추론을 요구하는 실제 전문가 수준의 문제를 어떻게 해결하는지를 평가합니다.
아래 시나리오들은 HLE가 평가하고자 하는 문제 유형과, 현재 AI가 인간 전문가와 비교했을 때 여전히 큰 격차를 보이는 분야를 개념적으로 보여줍니다.

시나리오 A: 비즈니스/생산성 사례 (고급 재무 분석)

한 글로벌 기업이 복잡한 국제 세법과 여러 국가의 경제 지표, 특정 산업의 최신 동향을 모두 고려하여 새로운 시장 진출 전략의 재무적 타당성을 분석해야 한다고 가정해 봅시다.
여기에 환율 변동성, 정치적 위험 요소까지 포함하여 최적의 투자 포트폴리오를 제안하는 문제입니다.
이는 단순한 데이터 요약이 아닌, 여러 분야의 전문 지식을 통합하고 다단계 논리적 추론을 통해 위험을 평가하고 최적의 경로를 찾아야 하는 고도의 작업입니다.
HLE의 수학, 경제학, 법학 관련 고난도 문제들은 이러한 비즈니스 시나리오에서 AI가 요구하는 수준의 추론 능력을 측정합니다.
현재 HLE 점수(예: Google Gemini 3 Pro 38.3점, OpenAI GPT-5.2 29.9점)는 가장 뛰어난 AI 모델조차 이러한 복잡한 전문가 수준의 재무 분석에서 인간 전문가(약 90% 정답률)와 비교했을 때 여전히 상당한 격차가 있음을 시사합니다.

시나리오 B: 창의적/개인 사례 (다중 모드 진단 및 해결책 제시)

환자의 복잡한 의료 영상(MRI, CT 스캔)과 상세한 병력 기록, 최신 의학 연구 논문을 종합적으로 분석하여 희귀 질병을 진단하고, 개인 맞춤형 치료 계획을 제안하는 상황을 상상해 봅시다.
이는 텍스트 정보뿐만 아니라 시각적 정보를 정확히 해석하고, 이를 바탕으로 창의적이고 심층적인 의학적 추론을 요구하는 다중 모드 문제입니다.
HLE의 14%를 차지하는 다중 모드 문제들은 AI가 텍스트와 이미지를 동시에 이해하고 추론하는 능력을 시험합니다.
현재 AI 모델들이 HLE에서 보여주는 낮은 점수는, 아직 AI가 이러한 복합적인 정보 처리와 전문가 수준의 진단, 그리고 창의적인 치료법 제안에 있어서 인간 의사를 완전히 대체하기 어렵다는 현실을 보여줍니다.

주요 AI 모델 HLE 점수 (2026년 1월 29일 기준)

AI 모델	HLE 점수
Google Gemini 3 Pro	38.3점
OpenAI GPT-5.2	29.9점
Opus 4.5	25.8점
DeepSeek 3.2	21.8점
LG AI Research 'Exaone'	13.6점 (텍스트 전용)
Upstage 'Solar Open'	10.5점 (텍스트 전용)
SK Telecom 'A.XK1'	7.6점 (텍스트 전용)

4. HLE의 한계점: AI의 현실 점검

HLE 벤치마크는 AI의 역량을 심층적으로 평가하지만, 현재 AI 모델들이 보여주는 몇 가지 한계를 명확히 드러냅니다.
가장 두드러진 점은 AI 모델들이 여전히 인간 전문가에 비해 현저히 낮은 점수를 기록한다는 것입니다.
최고 성능의 AI 모델조차 40점 미만으로, 약 90%의 정답률을 보이는 인간 전문가와 큰 격차를 보입니다.
이는 AI가 복잡하고 전문적인 문제 해결에 있어서 아직 인간 수준에 미치지 못함을 의미합니다.
또한, HLE 평가 지표 중 하나로 AI가 자신의 답변에 대해 보이는 과도한 자신감(uncalibrated overconfidence)이 언급됩니다.
이는 AI가 틀린 답변에도 불구하고 매우 확신에 찬 어조로 응답하는 '환각(Hallucinations)' 현상과도 연결될 수 있으며, 실제 중요한 의사결정 환경에서 AI를 도입할 때 신뢰성 문제를 야기할 수 있습니다.
제공된 연구 보고서에는 HLE 사용 시의 구체적인 '토큰 한계'나 '사용당 비용'에 대한 정보는 명시되어 있지 않습니다.
현재 공개된 정보는 HLE의 개념, 목표, 구성 및 현황에 초점을 맞추고 있으며, AI 모델 최적화 가이드, 구체적인 프롬프트 엔지니어링 기술, 일반적인 오류 분석 및 해결책, 상세한 단계별 문제 풀이 접근법 등과 같은 실용적인 개발자 전략에 대한 구체적인 정보는 아직 부족한 상황입니다.

5. HLE 활용 가이드: 지금 바로 시작하기

HLE는 현재 활발히 연구되고 있는 AI 벤치마크이며, 관련 논문과 데이터셋이 공개되어 있어 연구자나 AI 개발자들이 즉시 활용할 수 있습니다.
HLE는 일반 사용자가 직접 '사용'하는 도구라기보다는, AI 모델의 성능을 평가하고 개선 방향을 모색하는 연구 및 개발 커뮤니티를 위한 '기준점'이자 '데이터셋'에 가깝습니다.
다음은 HLE를 연구 또는 개발에 활용하기 위한 단계별 안내입니다.

1. HLE 개념 및 목표 이해:
   HLE의 개발 배경, 핵심 목표, 그리고 기존 벤치마크와의 차별점을 명확히 이해하는 것이 중요합니다.
   AI 안전 센터(Center for AI Safety, CAIS)에서 공개한 관련 논문을 통해 HLE가 AI의 어떤 능력을 측정하고자 하는지 파악하세요.
2. 공개 데이터셋 및 논문 접근:
   HLE의 핵심은 공개된 문제 세트와 평가 방식에 있습니다.
   관련 논문과 데이터셋은 공식 채널(예: CAIS 웹사이트 또는 주요 학술 리포지토리)을 통해 접근할 수 있습니다.
   이를 통해 HLE의 문제 구성, 유형, 평가 기준 등을 상세히 검토할 수 있습니다.
3. AI 모델 벤치마킹 및 평가:
   자신이 개발하거나 연구 중인 AI 모델을 HLE 데이터셋에 적용하여 성능을 평가합니다.
   평가 기준은 주로 'pass@1 정확도'이며, AI의 '과도한 자신감'도 함께 분석할 수 있습니다.
   HLE 웹사이트나 관련 연구 자료에서 제공하는 스크립트나 도구를 활용하면 보다 효율적인 평가가 가능할 수 있습니다 (이 부분은 보고서에 명시되지 않았으므로 일반적인 추론으로 명시).
4. 커뮤니티 피드백 참여 (선택 사항):
   HLE는 데이터셋의 오류를 식별하고 제거하기 위한 '커뮤니티 피드백 버그 바운티 프로그램'을 운영했습니다.
   이러한 활동에 참여하여 HLE 벤치마크의 완성도를 높이는 데 기여할 수 있습니다.
5. 결과 분석 및 모델 개선:
   HLE 점수를 통해 모델의 강점과 약점을 파악하고, 특히 낮은 점수를 받은 영역을 중심으로 모델 개선 방향을 설정합니다.
   도구 사용, 다중 에이전트 시스템, 향상된 자체 검사 등 새로운 접근법을 모색하는 데 HLE 결과가 중요한 지침이 될 수 있습니다.

HLE는 AI의 발전을 위한 중요한 도구이며, 그 활용은 주로 연구 개발 커뮤니티 내에서 이루어집니다.
구체적인 '셋업 화면'이나 일반 사용자를 위한 설치 과정은 없으며, 공개된 데이터셋과 논문을 통해 연구에 참여하는 방식입니다.

6. 결론 및 핵심 요약

‘인류의 마지막 시험’(HLE)은 AI 모델의 급격한 발전으로 인해 기존 벤치마크가 한계에 부딪히면서 등장한 필수적인 새로운 평가 도구입니다.
이 벤치마크는 단순한 지식 암기가 아닌, 대학원 수준의 고난도 문제를 통해 AI의 진정한 추론 능력과 다단계 문제 해결 역량을 측정하는 데 초점을 맞춥니다.
수학, 생물학, 컴퓨터 과학 등 100개 이상의 전문 분야를 아우르며, 특히 인터넷 검색으로는 쉽게 답을 찾을 수 없도록 설계되어 데이터 오염을 방지합니다.
현재까지 HLE를 통해 평가된 AI 모델들은 가장 뛰어난 성능을 보인 모델조차 40점 미만의 낮은 점수를 기록하며, 약 90%의 정답률을 보이는 인간 전문가와는 큰 격차를 보이고 있습니다.
이는 AI가 유창한 언어 구사 능력에도 불구하고, 복잡하고 전문적인 추론 문제에 있어서는 아직 인간 전문가 수준에 도달하지 못했음을 명확히 보여줍니다.
HLE는 AI 연구자들에게 모델의 약점을 정확히 파악하고 개선 방향을 설정하는 데 도움을 주며, 책임감 있고 윤리적인 AI 시스템 구축을 위한 거버넌스 논의에 중요한 기준점을 제시합니다.
궁극적으로 HLE는 AI의 역량을 명확하게 측정함으로써, 미래 AI 개발의 방향성을 제시하고 잠재적 위험을 예측하여 더욱 안전하고 신뢰할 수 있는 AI 시스템을 구축하는 데 기여할 것입니다.

---