물결 21 코퍼스의 구축과 활용(문화동역학 라이브러리 11)(양장본 HardCover)

『'물결 21'코퍼스의 구축과 활용』은…



『'물결 21' 코퍼스의 구축과 활용』은 고려대학교 민족문화연구원 전자인문학팀에서 수행해 온 '물결 21' 사업의 성과 중 하나로서 약 5년여에 걸친 사업의 주요 세부 과정을 담고 있는 첫 단행본이다. 이 책에는 신문사로부터 대규모의 신문 기사를 인수받아 이를 코퍼스라는 언어 자원으로 구축하기까지의 작업 과정이 구체적으로 포함되어 있을 뿐 아니라 구축된 언어 자원을 표준화하고 형태 정보를 주석하는 등의 내용까지 모두 반영되어 있다. 책의 후반부에는 구축된 코퍼스로부터 용례 검색, 공기어 검색 등을 수행할 수 있는 도구를 소개하는 내용도 들어 있다.



이 책의 주요 대상인 '물결 21' 코퍼스는 '물결 21' 사업의 일부분으로서, 이 코퍼스를 이해하기 위해서는 '물결 21' 사업에 대한 설명이 있어야 할 것이다. '물결 21' 사업은 대규모의 신문 코퍼스를 기반으로 한 장기간의 언어?사회?문화적 추이를 연구하려는 대형 프로젝트로서 조선일보, 동아일보, 중앙일보, 한겨레신문 등의 주요 신문사가 모두 참여하고 있을 뿐 아니라 고려대학교 민족문화연구원을 주관 기간으로 하고, 그 밖에 고려대학교의 정보문화연구소, 통계연구소 등이 협력 기관으로 참여하였다.



'물결 21' 코퍼스는 신문으로만 구성되어 있다는 점에서 매우 독특한 성격을 가진다. '물결 21' 사업에서 '신문'이라는 텍스트에 주목한 것은 문서 환경의 급격한 변화와 무관하지 않다.



즉 정보화 사회로의 급격한 변화는 신문 시장에도 큰 변화를 가져왔다. 특히 인터넷을 통한 엄청난 정보의 홍수는 신문이 가지는 위상에 변화를 초래하기도 하였다. 1인 미디어로 알려진 블로그의 발전과 SNS를 통해 쏟아지는 메시지의 규모는 인류가 지금까지 접해 왔던 모든 정보의 합을 넘어선다고까지 알려져 있다. 그 결과로 신문의 발행 부수는 크게 감소하였고 정보 전달 매체로서의 역할에도 한계가 있는 것으로 지적하기도 하였다. 그러나 정보 생성 주체로서 신문이 가지는 영향력은 여전히 독보적이다. 발행 부수의 감소가 곧 신문의 영향력이 축소되었음을 의미하지는 않는다. 오히려 거의 모든 신문사가 온라인 판을 추가로 발행하면서 기존의 독자층을 유지하려 힘썼을 뿐 아니라 온라인 매체의 특성상 종이 신문이 가지는 지역적 한계를 초월할 수 있다는 장점이 있기 때문이다. 더구나 신문은 SNS 등의 자료와 달리 정기적으로 생산된다는 점, 특정한 집단에 의해 걸러진 공적인 규범을 준수하는 자료라는 점, 오랜 역사와 전통을 가진다는 점 등에서 더욱 중요한 자료라 할 수 있다.



'물결 21' 사업은 이러한 신문의 가치에 주목하였다.

신문이 발행하는 기사는 1년에 약 900~1000만 어절에 이르고 4개 신문사의 기사를 모두 합하면 1년에 약 4000만 어절에 육박하는 대규모의 언어 자원이 된다. 현재 물결 21 코퍼스는 2000년부터 12년치 기사를 모두 포함하므로 전체적인 규모는 5억 어절을 상회한다.(5억 어절은 장편 소설 한 권이 약 5만 어절 내외라는 점을 감안하면 -장편 소설 1만 권 분량에 해당한다).



대규모의 언어 자원을 구축하고 이를 활용하기 위한 배경에는 정보 처리 기술의 비약적인 발전과 밀접히 관련된다. 1998년 21세기 세종계획에서 1년 동안 구축한 현대국어 형태분석 코퍼스의 규모가 150만 어절에 불과하였다는 점을 감안하면 5억 어절 규모의 텍스트를 단기간에 분석, 처리하는 일이 어느 정도 수준의 작업인가는 쉽게 상상할 수 있다. 고려대학교 민족문화연구원 전자인문학팀에서는 1990년대 중반부터 코퍼스를 구축하는 프로젝트를 수행한 바 있으며 21세기 세종계획에서도 코퍼스 구축에 주도적인 역할을 한 바 있다. 이러한 정보 처리에 대한 경험과 기술이 없었다면 '물결 21'은 기획하기조차 어려웠을 것이다.



'물결 21' 코퍼스는 규모면에서 국내외에서 가장 크다고 할 수 있다. 특히 신문이라는 단일한 종류의 텍스트만으로 5억 어절 이상의 코퍼스를 구축한 사례는 세계적으로도 유례를 찾아보기 어렵다. 이 책은 이러한 대규모의 '물결 21' 코퍼스를 구축하는 과정에서 맞닥뜨린 다양한 문제들과 그 해결 과정 등이 모두 포함되어 있다는 점에서 학계에 기여하는 바가 클 것으로 기대된다. 특히 처리 방식이 다양한 대규모의 자료를 표준화하는 과정들, 구축된 신문 기사에 형태 정보를 부착하고 이를 수정, 업데이트하는 작업들은 코퍼스를 구축하려는 기관이나 연구자에게는 늘 접할 수밖에 없는 일이다. 이 책을 통해 그러한 시행착오를 조금이라도 줄일 수 있을 것이다.



'물결 21' 사업은 현재에도 진행형이다. 현재 2012년 기사를 분석, 처리하고 있으며 향후에도 지속적으로 자원을 확충해 나갈 계획이다. 그런 면에서 볼 때 이 책은 '물결 21' 사업의 중간 보고서의 지위 이상을 가지기는 힘들 것이다. 그러나 대규모 텍스트 자료의 분석과 처리에 대한 기본적인 방침에는 변화가 없다는 점에서 이 책은 여전히 가치가 있다.

책머리에



도입

1. 개요

2. '물결 21' 사업

3. 감사의 글



1장 코퍼스의 설계

1. 목적

2. 구성

3. 특성



2장 코퍼스의 기본 구조

1. 마크업 규약－NewsML과 T21ML

2. T21ML의 기본구조와 DTD

3. T21ML의 주요 요소

4. 《T21Class》의 개발



3장 기초 코퍼스의 구축

1. 기사 수집과 검토

2. 신문기사 정제

3. 표준화

4. 신문기사 주제 분류－《T21Class》

5. T21ML 변환



4장 품사 태깅

1. 품사 표지(tag set)

2. 분석 지침

3. 태거 학습용 코퍼스의 구축

4. 자동 태깅

5. 후처리와 분석 성공률



5장 활용 도구

1. 용례 검색 도구

2. 공기어 검색 도구

3. 빈도 차트



참고문헌

부록:태거 학습용 코퍼스(SJ-RIKS 코퍼스)의 장르별 텍스트 구성 목록

김일환 저자 김일환(金日煥, Ilhwan Kim)은 고려대학교 민족문화연구원 HK연구교수.