자연어 처리(NLP: Natural Language Processing)는 앞으로 인공지능(AI)이 인간의 언어와 행동을 이해하는 방식에 영향을 주는 방향으로 발전해 갈 것이며, 이 자연어 처리의 비약적인 발전에는 딥러닝이 핵심 역할을 하고 있다. 언어란 고도로 구체적이고 단어 자체의 의미 외에도 문맥이라는 상황 정의 안에서 작동한다. 즉, 특정 언어를 사용한 창작자와 그 언어를 소비한 독자는 어휘, 단어의 선택, 구문, 철자 및 구두법에서 서로 다른 의미로 이해하고 해석할 수 있다. 언어는 시간이 지나면서 진화하고, 격식을 갖춘 문서에서 쓰는 언어와 온라인에서 사용하는 언어가 다르기 때문에 확장성이 떨어진다. NLP 영역에서의 이런 문제를 인공지능 기술이 해결할 수 있다. 인공지능을 통해 단어나 구문이 문단 내에서 어떻게 사용되고 있는지 직접 관찰하는 방식으로 그 의미를 학습할 수 있다. 그 결과, 미리 확인된 문맥을 입력하거나 사람이 개입하여 의미를 밝히고 관계를 정의하는 대신, 인공지능이 단어 또는 구문의 의미와 관계를 원문을 통해서 바로 학습할 수 있게 됐다.
이처럼 NLP를 통해 누릴 수 있는 이점이 많은 것은 분명하지만, 아직 보완해야 할 부분도 있다. 특히 설명 생성과 같은 기능이 미흡하다고 할 수 있다. 그럼에도 불구하고 향후 개발될 딥러닝 기반 NLP는 인간의 개입을 점점 덜 필요한 방향으로 개선될 것으로 예측된다.
본 책은 빠르게 발전하는 자연어 처리 기술들에 대한 기본적인 원리를 설명하고 파이썬 코드로 구현된 예제들을 통해 현실의 문제에 직접 적용할 수 있도록 설계되었다. 최근까지 한국어 자연어 처리 기법은 활발히 연구되어오지 못했었다. 아마, 한국어는 교착어가 가진 독특함 때문에 어간에 접사가 붙어 단어의 의미와 문법적 기능이 구체화되고, 어순의 중요성이 상대적으로 낮은 특징을 가지고 있기 때문에 영어와 같은 고립어에 비해 한국어 자연어 처리 기법 개발이 더 어려웠을 것이라고 스스로 위안을 가져본다. 다행히도 인공지능 시대에 언어 모델에 대한 관심이 많아졌고 다양한 한국어 자연어 처리 기법들이 개발되고 있다. 바라건대, 저자는 본 책이 이런 시대적 요구에 부응하고 한국어 자연어 처리 생태계의 발전에 이바지할 수 있다면 더할 나위 없이 기쁠 것이다.