〈보기〉가 붙은 문항을 학생들은 대체로 같은 방식으로 대한다. 일단 표시를 해 두고, 나중에 푼다. 지문을 다 읽고, 〈보기〉를 읽고, 다시 지문으로 올라간다. “〈보기〉 문제는 함정이 많다”는 말이 그 뒤에 따라온다.
그 말이 맞는지 세어 보았다.
먼저 이 글이 무엇을 재지 않았는지 밝힌다. 이 집계는 문항에 어떤 사고 유형과 오답 구조가 배치되어 있는가를 잰 것이지, 학생이 〈보기〉 문항을 얼마나 틀리는가를 잰 것이 아니다. 정답률 자료는 쓰지 않았다. 그리고 원래 이 글은 다른 주제로 시작했다는 것도 적어 둔다. 2점 문항과 3점 문항의 차이를 보려 했는데 저희 자료에 배점 항목이 없었다. 그래서 자료가 답할 수 있는 질문으로 바꿨다.
한눈에: 코그닉스랩이 평가원(6월·9월 모평, 수능) 38회차 1,854문항을 정답 근거에 〈보기〉가 쓰인 370문항과 나머지 1,484문항으로 나눠 집계한 결과, 오답 함정은 가장 흔한 유형과 순서가 크게 다르지 않았다 — 맥락이탈이 28.9% 대 27.4%다(분포 전체의 차이는 유의하나 효과 크기는 작다, Cramér’s V=0.145). 갈린 것은 사고 유형이다. 〈보기〉가 실제 풀이 근거로 쓰인 문항에서는 적용 유형이 55.9% 로 나머지(15.5%)의 3.6배였고, 정보확인 유형은 7.0% 로 5분의 1이었다. 이 기준으로 추출된 문학·독서의 〈보기〉 활용 문항에서는 정보확인 유형이 0건이었다. 영역을 맞춰 보면 함정이 갈린 곳은 화법과 작문 하나였다 — 조건누락이 25.0% 대 13.4% 로 유의했다(p=0.024). 지문 안에서 봐야 할 근거 지점은 〈보기〉 문항이 오히려 적었다.
〈보기〉를 어떻게 셌는가
먼저 세는 기준을 밝혀야 한다. 저희 자료에는 문항 원문이 없다. 있는 것은 문항마다 코딩한 사고 유형, 함정 유형, 그리고 3문단 4～6줄, 〈보기〉 전체처럼 적힌 정답 근거 위치다. 그래서 이 글의 〈보기〉 문항은 정답 근거 위치나 오답 설명에 〈보기〉가 표기된 문항이다.
이 기준은 한쪽으로 치우친다. 〈보기〉가 붙어 있어도 정답이 지문만으로 확정되는 문항은 잡히지 않는다. 그래서 370문항(20.0%)은 실제 〈보기〉 문항 수의 하한에 가깝고, 이 글의 〈보기〉 문항은 〈보기〉가 실제로 풀이에 쓰인 문항으로 읽는 것이 정확하다. 이 치우침이 뒤의 결과에 어떻게 작용하는지는 해당 자리에서 다시 적는다.
| 영역 | 문항 수 | 〈보기〉 문항 | 비율 |
|---|---|---|---|
| 언어와 매체 | 277 | 86 | 31.0% |
| 문학 | 600 | 129 | 21.5% |
| 화법과 작문 | 385 | 72 | 18.7% |
| 독서 | 592 | 83 | 14.0% |
| 합계 | 1,854 | 370 | 20.0% |
언어와 매체가 가장 높은데, 시기에 따라 다르다. 2014～2021학년도에는 41.5%였다가 2022학년도 이후 22.7%로 내려갔다. 문법 5～6문항 체제에서 〈보기〉 자료형 문항이 차지하던 비중이, 매체가 합쳐진 11문항 체제에서 희석된 것으로 보인다. 다만 이것은 표본 구성의 변화이지 출제 경향의 변화로 읽을 근거는 아니다.
함정의 순서는 거의 같았다
통념부터 확인한다. 두 집단의 오답 함정 분포다. 아래는 주요 9개 유형만 추린 것이라 세로 합이 100%가 되지 않는다(〈보기〉 문항 69.7%, 나머지 75.5%). 빠진 몫은 두 유형이 함께 코딩된 문항, 그 밖의 소수 유형, 그리고 함정 「없음」으로 코딩된 문항(1.1% 대 3.0%)이다.
| 함정 유형 | 〈보기〉 문항(370) | 나머지(1,484) |
|---|---|---|
| 맥락이탈 | 28.9% | 27.4% |
| 조건누락 | 11.6% | 8.4% |
| 유사어혼동 | 6.5% | 10.3% |
| 개념혼동 | 5.1% | 2.7% |
| 인과역전 | 4.9% | 6.7% |
| 범위확대 | 4.9% | 3.6% |
| 부분긍정→전체긍정 | 2.7% | 7.4% |
| 정보오독 | 2.7% | 2.6% |
| 선택지재구성 | 2.4% | 6.3% |
가장 흔한 맥락이탈이 1.5%포인트 차이다. 문학만 따로 보면 49.6% 대 44.8%로 역시 가깝다. 다만 「거의 같다」를 분포 전체에 대한 주장으로 밀지는 않는다. 위 9개 유형과 나머지를 묶어 두 집단을 비교하면 차이는 통계적으로 유의했고(χ²=38.8, df=9, p<0.001), 효과 크기는 작았다(Cramér’s V=0.145). 이 자료로 말할 수 있는 것은 가장 흔한 함정과 전체적인 순서가 크게 달라지지 않았다는 것까지다. 몇몇 함정은 〈보기〉 문항에서 오히려 적다. 부분긍정을 전체긍정으로 바꾸는 유형이 2.7% 대 7.4%, 선지 문장을 재조립하는 선택지재구성이 2.4% 대 6.3%다.
이 표가 지지하는 문장은 이것이다 — 〈보기〉는 함정의 종류를 바꾸는 장치가 아니다. “〈보기〉 문제는 함정이 많다”는 통념은, 적어도 오답이 어떤 구조로 놓여 있는가라는 물음에 대해서는 이 자료의 지지를 받지 못했다.
갈린 것은 사고 유형이다
같은 문항들의 사고 유형을 세면 그림이 완전히 달라진다.
| 사고 유형 | 〈보기〉 문항(370) | 나머지(1,484) |
|---|---|---|
| 적용 | 55.9% | 15.5% |
| 정보결합 | 15.4% | 17.4% |
| 비판적평가 | 12.4% | 6.8% |
| 정보확인 | 7.0% | 35.4% |
| 어휘·맥락 | 3.0% | 8.9% |
| 추론 | 1.4% | 12.6% |
| 위 6개 합 | 95.1% | 96.6% |
〈보기〉가 실제 풀이 근거로 쓰인 문항에서 적용이 55.9% 대 15.5%로 3.6배, 정보확인이 7.0% 대 35.4%로 5분의 1이다. 추론은 1.4% 대 12.6%다.
묶어서 보면 더 분명하다. 적용·비판적평가·정보결합 — 주어진 것을 지문에 대입하거나 맞물리거나 평가하는 작업 — 을 합치면 〈보기〉 문항의 83.8% 가 여기에 속한다. 정보확인·추론·어휘맥락 — 지문 안에서 찾거나 끌어내는 작업 — 을 합치면 11.4% 다. 나머지 문항에서는 이 두 묶음이 39.7%와 56.9%로 뒤집힌다.
영역별로도 방향이 같고, 문학과 독서에서 가장 크다.
| 영역 | 적용 (〈보기〉 / 나머지) | 정보확인 (〈보기〉 / 나머지) |
|---|---|---|
| 문학 (129 / 471) | 68.2% / 9.3% | 0.0% / 37.4% |
| 독서 (83 / 509) | 62.7% / 14.5% | 0.0% / 38.1% |
| 언어와 매체 (86 / 191) | 46.5% / 34.0% | 15.1% / 20.4% |
| 화법과 작문 (72 / 313) | 37.5% / 15.0% | 18.1% / 37.4% |
이 글의 판별 기준으로 추출된 문학·독서의 〈보기〉 활용 문항에서는 정보확인 유형이 한 건도 없다(129문항 중 0, 83문항 중 0). 〈보기〉가 붙어 있어도 정답이 지문만으로 확정되는 문항은 이 집단에 들어오지 않았으므로, 이것을 평가원 전체 〈보기〉 문항의 속성으로 읽어서는 안 된다. 문학에서 적용은 68.2% 대 9.3%로 7.3배다.
여기서 앞에 적어 둔 치우침을 다시 불러와야 한다. 이 글의 〈보기〉 문항은 〈보기〉가 정답 근거로 쓰인 문항이므로, 〈보기〉를 지문에 대입하는 적용 유형이 높게 잡히는 데에는 판별 방식 자체가 기여했을 수 있다. 그러니 55.9%라는 숫자를 “〈보기〉가 붙은 모든 문항의 절반 이상이 적용”으로 읽으면 안 된다. 이 표가 지지하는 것은 〈보기〉가 풀이에 쓰이는 문항에서는 요구되는 작업이 확인이 아니라 대입이다까지다.
화법과 작문에서만 함정이 갈렸다
전체로는 함정이 같았지만, 영역 안으로 들어가면 하나가 갈린다.
| 영역 | 조건누락 (〈보기〉 / 나머지) |
|---|---|
| 화법과 작문 (72 / 313) | 25.0% / 13.4% |
| 언어와 매체 (86 / 191) | 19.8% / 13.1% |
| 독서 (83 / 509) | 7.2% / 8.4% |
| 문학 (129 / 471) | 1.6% / 3.0% |
화작에서 조건누락이 1.9배다(72문항 중 18건 대 313문항 중 42건). 이 차이는 2×2 검정에서도 살아남는다 — χ²=5.12, p=0.024, Fisher 정확검정 p=0.019. 화작의 〈보기〉는 “다음 조건에 따라 고쳐 쓴 것으로 적절한 것은”의 〈조건〉이거나 자료 활용 지침인 경우가 많다. 충족해야 할 항목이 둘 이상 제시되고 오답 선지가 그중 하나만 채우는 구조가 놓이기 쉬운 자리다. 앞서 화작을 다룬 집계에서 이 함정이 화작 후반부에 몰려 있었던 것과 같은 자리다. 언어와 매체도 같은 방향이지만(1.5배, 86문항 중 17건 대 191문항 중 25건) 유의하지는 않다(p=0.21).
독서에서는 개념혼동이 9.6% 대 2.8%로 갈라졌지만 건수가 8건과 14건이라 방향으로만 적어 둔다.
함정 차이가 사고 유형 때문은 아닌지 통제했다
한 가지를 점검해야 했다. 〈보기〉 문항이 적용 유형에 몰려 있으니, 함정 분포의 차이(또는 같음)가 사실은 사고 유형 구성이 만든 것일 수 있다.
그래서 적용 유형 안에서만 〈보기〉 유무를 비교했다(207문항 대 230문항). 여기서는 차이가 나타난다. 맥락이탈이 27.1% 대 17.0%, 조건누락이 14.5% 대 21.7%다.
그런데 이것 역시 영역 구성이 만든 차이일 수 있다. 〈보기〉가 없는 적용 문항은 조건누락이 흔한 언어와 매체·화법과 작문에 상대적으로 많다. 그래서 영역과 사고 유형을 함께 맞춰 문학의 적용 문항만 보았다(88문항 대 44문항). 맥락이탈이 51.1% 대 47.7%로 다시 좁혀진다. 독서의 적용 문항(52 대 74)에서는 조건누락이 9.6% 대 20.3%였지만 건수가 5건과 15건이다.
정리하면 이렇다. 함정 분포의 차이는 영역과 사고 유형을 맞추면 대부분 사라진다. 남는 것은 화작의 조건누락 하나다.
지문 안에서 봐야 할 지점은 오히려 적다
마지막으로, 〈보기〉 문항은 지문을 더 넓게 봐야 하는가. 정답 근거 위치에서 〈보기〉 지점을 빼고 지문 내부 지점만 셌다.
| 영역 | 근거 1군데 (〈보기〉 / 나머지) | 3군데 이상 | 평균 지점 수 |
|---|---|---|---|
| 문학 (129 / 471) | 51.9% / 44.6% | 14.7% / 24.2% | 1.64 / 1.99 |
| 독서 (83 / 509) | 59.0% / 55.8% | 8.4% / 16.3% | 1.51 / 1.70 |
두 영역 모두 〈보기〉 문항 쪽이 좁다. 세 군데 이상을 봐야 하는 문항이 문학에서 14.7% 대 24.2%다. 이 결과는 독서 15회차만 다룬 이전 집계(1.45군데 대 1.58군데)와, 문학 복합 지문에서 〈보기〉 유무가 복수 지문 참조와 무관했던 집계와 같은 방향이다. 세 번째 자료에서도 방향이 바뀌지 않았다.
한 가지 덧붙인다. 〈보기〉 문항 370개 중 89개(24.1%)는 지문 내부 지점이 아예 기록되지 않았다. 그 89개 중 55개가 언어와 매체, 26개가 화법과 작문이다. 〈보기〉 자체가 자료이자 지문인 문항 — 탐구 활동 자료를 주고 ㄱ～ㅁ의 진위를 묻는 문법 문항이 여기에 해당할 것으로 보인다 — 이라, 이 문항들에서 “지문으로 돌아가는” 동작은 애초에 필요하지 않았을 가능성이 크다. 다만 원문을 확인한 것이 아니라 근거 위치 코딩에서 읽은 것이다.
그래서 무엇을 할 것인가
아래는 위 데이터에서 곧바로 검증된 학습법이 아니라, 관찰된 사실 위에서 제안하는 적용 방식이다.
〈보기〉 문항에서 지문을 통째로 다시 읽지 않는다. 〈보기〉 문항의 지문 내부 근거는 나머지보다 좁았다. 필요한 동작은 넓게 읽기가 아니라, 〈보기〉가 준 관점·조건·사례를 지문의 어느 구절에 대입할지 정하는 것이다. 〈보기〉를 읽고 나서 지문 처음으로 올라가기 전에, 대입할 자리를 먼저 고른다.
화작의 〈보기〉·〈조건〉에서는 항목 수를 먼저 센다. 그 자리의 조건누락 함정이 다른 문항의 두 배였다. 둘이면 2, 셋이면 3을 적고 선지마다 몇 개를 충족했는지 표시한다.
두 권고 모두 문항 구조에서 도출한 것이다. 학생이 〈보기〉 문항에서 실제로 지문을 더 오래 읽는지, 이렇게 하면 정답률이 오르는지는 별도로 재야 한다. 이 자료가 말할 수 있는 것은 〈보기〉가 바꾸는 것은 함정이 아니라 요구되는 작업의 종류라는 것까지다.
이 집계에 대하여
- 표본: 평가원 6월·9월 모의평가와 수능 38회차(2014～2026학년도) 국어 1,854문항. 2014학년도는 6월·9월 모평 2회차분만 있고(13개 학년도 × 3회차 − 1 = 38), 2017학년도 6월 모평은 화작이, 2026학년도 6월 모평은 언매가 자료에 없다. 2022학년도 이전의 문법 48문항은 언어와 매체에 합쳐 277문항으로 세었다. 분석 데이터 구축 시점 때문에 2026학년도 수능까지 포함했으며, 2026년 6월에 시행된 2027학년도 6월 모의평가는 이번 집계에 포함하지 않았다.
- 〈보기〉 판별은 원문이 아니라 코딩에서 했다. 정답 근거 위치 또는 오답 설명에 〈보기〉가 표기된 문항(370개)을 〈보기〉 문항으로 잡았다. 〈보기〉가 있어도 정답 근거로 쓰이지 않은 문항은 빠지므로 20.0%는 하한이며, 사고 유형에서 적용이 높게 나온 데에는 이 판별 방식이 기여했을 수 있다.
- 주제를 바꾼 경위: 원래 2점 문항과 3점 문항을 비교하려 했으나 자료에 배점 항목이 없어, 자료가 답할 수 있는 질문으로 바꿨다.
- 코딩 단위: 사고 유형과 함정 유형은 문항당 문자열 하나로 부여했다. 일부 문항은 두 유형이 쉼표로 함께 적혀 별도 범주로 집계되며(〈보기〉 문항 사고 유형 4.1%, 나머지 2.2%), 함정 표는 주요 10개 유형만 보인 것이라 세로 합이 70.8%·78.5%다.
- 근거 지점 수는 코딩 문자열을 쉼표·더하기·세미콜론으로 나눠 센 값이며, 〈보기〉 지점은 제외했다.
- 사고 유형·함정 유형은 평가원이 공표한 분류가 아니라 코그닉스랩의 자체 코딩 체계다.
- 정답률·풀이 시간은 쓰지 않았다. 이 집계는 문항 구조를 잰 것이다.
이 글은 코그닉스랩의 자체 조사·집계로 작성되었습니다. 출처: 수능국어 〈보기〉 활용 문항은 무엇이 다른가 — 함정의 순서는 비슷하고, 요구하는 사고가 다르다 — 코그닉스랩