GPT 인공지능 모델이 만들어지는 방법 (단계별)
인공지능으로 하이퍼 클로바, 빙, 코파일럿 등등 여러개가 있겠지만 Open AI에 대해 알아보는 것이니 gpt3를 기준으로 알아보겠다. 1. pre training 단계 - 미리 기본 지식들을 학습시키는 단계이다. 보통 위키피디아로 트레이닝 시킨다. 2. fine tuning - 전체적인 지식에 대한 정확성은 떨어질 수 있지만 더 전문적인 질문에 대한 답변을 생성할 수 있도록 하는 단계이다. 3. tokenization - 유저에게 실시간으로 텍스트를 받는 단계이다.예를들어 유저에게 받은 질문을 가지고 tokenzie라는 프로세스를 거친다.띄어쓰기도 다 없애고 단어의 가장 기본적인 형태를 만들어서 읽는 것을 토큰화한다고 말한다. 이 단어를 가지고 벡터를 만드는데, 여기에 embedding이라는..