[NLP] 2-3. 한국어에서의 언어 모델

영어나 기타 언어에 비해서 한국어는 언어 모델로 다음 단어를 예측하기가 훨씬 까다롭다.

 

한국어는 어순이 중요하지 않다.

한국어에서는 어순이 중요하지 않다. 그래서 이전 단어가 주어졌을 때, 다음 단어가 나타날 확률을 구해야 하는데 어순이 중요하지 않다는 것은 다음 단어로 어떤 단어든 등장할 수 있다는 의미이다.

1. 나는 운동을 합니다 체육관에서.
2. 나는 체육관에서 운동을 합니다.
3. 체육관에서 운동을 합니다.
4. 나는 운동을 체육관에서 합니다.

위의 4개의 문장은 전부 의미가 통하는 것을 볼 수 있다. 심지어 '나는' 이라는 주어를 생략해도 말이 되어버린다. 이렇게 단어 순서를 뒤죽박죽으로 바꾸어놔도 한국어는 의미가 전달되기 때무에 확률에 기반한 언어 모델이 제대로 다음 단어를 예측하기가 어렵다.

 

한국어는 교착어이다.

한국어는 교착어이다. 이는 한국어에서의 언어 모델 작동을 어렵게 만든다. 띄어쓰기 단위인 어절 단위로 토큰화를 할 경우에는 문장에서 발생 가능한 단어의 수가 굉장히 늘어난다. 대표적인 예로 교착어인 한국어에는 조사가 있다. 영어는 기본적으로 조사가 없다. 하지만 한국어에는 어떤 행동을 하는 동사의 주어나 목적어를 위해서 조사라는 것이 있다.

 

가령 '그녀'라는 단어 하나만 해도 그녀가, 그녀를, 그녀의, 그녀와, 그녀로, 그녀께서, 그녀처럼 등과 같이 다양한 경우가 존재한다. 그렇기 때문에, 한국어세서는 토큰화를 통해 접사나 조사 등을 분리하는 것은 중요한 작업이 되기도 한다.

 

한국어는 띄어쓰기가 제대로 지켜지지 않는다.

한국어는 띄어쓰기를 제대로 하지 않아도 의미가 전달되며, 띄어쓰기 규칙 또한 상대적으로 까다로운 언어이기 때문에 자연어 처리를 하는 것에 있어서 한국어 코퍼스는 띄어쓰기가 제대로 지켜지지 않는 경우가 많다. 토큰이 제대로 분리되지 않는 채 훈련 데이터로 사용된다면 언어 모델은 제대로 동작하지 않는다.