논문 원본 주소 https://arxiv.org/pdf/1706.03762 ※ 오탈자, 내용 오류 지적, 질문은 댓글 또는 kimtorchedu@gmail.com로 이메일 남겨주시면 감사하겠습니다. # 언어 모델의 왕좌를 차지한 Chat GPT에서 GPT는 Generative Pre-trained Transformer의 약자입니다. 그중 한 자리를 차지하고 있는 Transformer는 2017년 발표된 Attention Is All You Need에서 고안된 모델 구조입니다. 당시 RNN 등의 구조가 가지고 있는 한계를 압도적으로 극복해 내며, 이 글을 작성하고 있는 2024년까지도 대부분의 언어 모델은 이 Transformer의 구조를 차용하고 있습니다.0. AbstractTransformer는 C..
