엔지니어 한다운의 저널

자연어처리

• [n421] Count-based Representation

  AI 부트캠프 2021. 12. 24. 09:47

  자연어 처리 자연어 처리 용어 말뭉치(Corpus) : 텍스트 데이터 문서(Document) : 말뭉치가 여러 개인 문장들의 집합 문장(Sentence) : 단어와 형태소 등으로 구성된 문자열 어휘 집합(Vocabulary) : 문서와 문장을 단어/형태소와 같은 토큰 단위로 나눈 집합 자연어 (Natural Language) 우리가 일반적으로 사용하는 언어를 자연어라고 한다. 표준어가 아닐 수도 있고, 우리가 일상에서 사용하는 모든 언어를 가리킨다. 자연어 처리(Natural Language Processing, NLP)는 컴퓨터가 사용할 수 있게 처리하는 기술을 뜻한다. Text Preprocessing (텍스트 전처리) 차원의 저주 (Curse of Dimensionality) "특성의 개수가 선..

  Read More