당신이 믿는 AI는 몇 점? WP, 9개 AI 검색 도구 신뢰성 평가

이우창 기자

등록 2025-08-29 05:11

구글 AI 모드 1위, 그러나 드러난 AI의 한계...비판적 사고의 중요성 강조

구글 로고 (사진= 로이터 연합뉴스)

주요 인공지능(AI) 모델을 대상으로 한 검색 정확도 테스트에서 구글의 'AI 모드'가 가장 높은 점수를 받으며 1위를 차지했다. 오픈AI의 최신 모델인 GPT-5 기반 챗GPT는 2위에 머물렀다. 이번 테스트는 AI가 복잡한 질문에 얼마나 정확하고 신뢰성 높은 답을 제공하는지 평가하기 위해 진행됐다.

워싱턴포스트(WP)는 지난 27일(현지시간) 미국 공공·대학 도서관 사서들과 함께 총 9개의 주요 AI 검색 도구를 대상으로 심도 있는 테스트를 진행했다고 보도했다. 테스트 대상에는 구글의 AI 모드와 AI 오버뷰를 비롯해 챗GPT(GPT-5, GPT-4 터보), 클로드(앤스로픽), 메타 AI, 그록(xAI), 퍼플렉시티, 빙 코파일럿(마이크로소프트)이 포함됐다. 모든 도구는 7~8월 기준 무료 기본 버전으로만 평가가 이뤄졌다.

총 30개의 까다로운 질문을 던져 얻은 900건의 답변을 점수화한 결과, 구글 AI 모드가 100점 만점에 60.2점으로 1위를 차지했다. 이는 웹을 깊이 탐색해 여러 출처를 종합하는 AI 모드의 강점이 반영된 결과로 풀이된다. 2위는 55.1점을 받은 GPT-5 기반 챗GPT가 차지했고, 퍼플렉시티가 51.3점으로 그 뒤를 이었다. 반면, 일론 머스크의 그록3는 40.1점으로 8위에 그쳤으며, 메타 AI는 33.7점으로 가장 낮은 점수를 얻었다.

---

퀴즈·최신 사건 부문 강세, 분야별로는 희비 갈려

이번 테스트는 퀴즈, 전문 자료 검색, 최근 사건, 내재된 편향(편견), 이미지 인식 등 5가지 분야에 걸쳐 진행됐다. 종합 점수와 별개로 각 부문에서는 AI 모델별로 희비가 엇갈렸다. 구글 AI 모드는 퀴즈와 최신 사건 부문에서 가장 정확하고 우수한 답변을 제공하며 강세를 보였다. 특히 최신 정보에 대한 검색 능력에서 다른 모델을 압도했다.

전문 출처를 검색하고 요약하는 능력에서는 빙 코파일럿이 가장 높은 점수를 받았다. 이미지 인식 부문에서는 퍼플렉시티가 최우수 모델로 꼽혔으며, 편향되지 않은 균형 잡힌 답변을 제공하는 데에는 GPT-4 터보가 가장 좋은 평가를 받았다. 한편, 전반적인 성능 개선을 보이며 2위를 차지한 GPT-5는 일부 영역에서는 오히려 GPT-4보다 낮은 점수를 받기도 해 모델별 편차를 드러냈다.

AI의 한계와 비판적 사고의 중요성

WP는 이번 테스트가 AI의 약점을 의도적으로 파고들었지만, 일상적인 질문에서도 AI가 여전히 제대로 답하지 못하는 경우가 많다는 사실이 드러났다고 분석했다. 특히 AI는 정보의 최신성이나 출처의 신뢰성을 판별하는 데 어려움을 겪는 것으로 나타났다. 때로는 잘못된 정보를 마치 사실인 양 자신 있게 내놓는 경향도 문제점으로 지적됐다.

WP는 "결국 AI가 내놓은 답변을 그대로 믿기보다는 사서처럼 출처를 확인하고, 최신성을 검증하며, 비판적으로 사고하는 능력이 여전히 중요하다는 교훈을 강조했다"고 전했다. AI는 인간의 사고를 돕는 도구일 뿐, 최종적인 판단은 여전히 인간의 몫이라는 의미다.