[NLP] 0. 자연어 처리란?

자연어와 자연어 처리란?

자연어란 일상 생활에서 사용하는 언어를 말한다.

자연어 처리란 이러한 자연어의 의미를 분석해 컴퓨터가 처리할 수 있도록 하는 일을 말한다.

 

자연어 처리의 활용

1. 음성 인식

2. 내용 요역

3. 번역

4. 감성 분석

5. 텍스트 분류

6. 질의 응답 시스템

-> 이외에도 다양한 분야에서 자연어 처리가 활용되고 있다.

 

자연어 처리가 활용되는 예시와 각 예시 별 활용되는 기술

Chatbot : A Program for Interaction

Sentiment Analsis

텍스트에 녹아 있는 감성 또는 의견을 파악

Tokenization

단어의 최솟한의 의미를 파악하는 쪼개기

Named Entity Recognition

텍스트로부터 주제 파악하기

Normalization

의도된 오타 파악하기

Dependency Parsing

문장 구성 성분의 분석

 

SIRI : An assistant for Questions

Feature Analysis

음성 데이터로부터 특징을 추출

Language Model

언어별로 갖고 있는 특성을 반영

Deep Learning

이미 학습된 데이터로부터 음성 신호 처리

HMM : Hidden Markov Model

앞으로 나올 단어 또는 주제의 예측

Simlarity Analysis

음성 신호가 어떤 기준에 부합하는가?

 

Translator : An assistant for Questions

Encoding

유사도 기반 자연어의 특징 추출

Time Series Modeling

문장을 시간에 따른 데이터로 처리

Attention Mechanism

번역에 필요한 부분에만 집중하기

Self-Attention

문장 사이의 상관관계를 분석하기

Transformer

Attention 구조를 이용한 번역 원리