HTML 삽입 미리보기할 수 없는 소스 BERT BERT 논문과 여러 자료를 종합하여 정리 BERT 란? BERT : Bidirectional Encoder Representations from Transformers 사전 훈련 언어모델 트랜스포머를 이용하여 구현되고, 위키피디아(25억 단어)와 BooksCorpus(8억 단어)와 같은 대용량의 레이블 없는 텍스트 데이터로 사전 훈련된 언어 모델 이를 토대로 문서 분류, 질의 응답, 번역, 감성 분석 등의 작업이 가능하다 GPT와 차이? undirectional vs bidirectional GPT 모델은 원본 Transformer의 decorder layer를 사용하여 각 토큰이 텍스트의 이전 단어에서 생성되는 autoregressive task 수행 ..