오픈소스 프로젝트 교수님이 gpt에서 embedding을 어떻게 더 활용할 수 있을지 가르쳐 주셨다.그런데 하필 ai학과 교수님이시라 머신러닝 개념이 주가 됐다. 맛보기일 뿐이지만 한번 알아보자.. Machine Learning에서 데이터를 분류하는 방법 Machine Learning with Scikit-learn 으로 embedding을 어떻게 활용할 수 있을지 알아보자,,, (사이킷 러닝 첨들어봄.. 파이썬 기반 라이브러리라고 함) 우선 보유한 학습 data를 기반으로 문제를 설정해야 한다.이 단계에선 문제에 어떻게 접근할지 접근 방법을 결정한다.data type에 따라 머신러닝 문제를 판별하는데, discrete와 continuous에 따라 label을 구별한다는 것이 무슨 말이냐면 ..
chat gpt를 사용하면서 기존에 사용했던 메세지를 통해 gpt를 더 개선할 수 있는 방법에 대해 알아보자. 우선, 그 전에 알아야 할 것이 있다. 별건 아니다. zero shot, few shot 개념 zero shot prompt모델에게 아무런 기존의 배경지식 없이 물어보는 것을 말한다. 배경지식이 없기 때문에 모델이 training 할 때 배웠던 지식을 갖고 답변을 한다. few shot prompt모델에게 질문하기 전 몇 개의 배경지식을 던져주는 것을 말한다. 이제 gpt api reference에 있는 형식에서 조금 추가할건데, message 리스트를 보자.여기서 메세지 리스트는 우리가 gpt와 대화한 내용을 저장할 곳이다.client = OpenAI()completion = cl..
https://guhonga.tistory.com/107 OpenAI API 기본 - 파이썬으로 gpt 사용하기흔히 gpt를 사용하기 위한 text completion은 쉽게 말해서 chatGPT의 특징인 NLP(natural language processing)을 사용하는 것이다.이것은 사용자가 AI에게 프롬프트를 넘겨주면 AI가 받은 문맥과 프롬프트를 기반guhonga.tistory.comcompletion API에 4가지 모델이 있다고 했었다. 각 모델들과 특징을 알아보자. GPT의 모델 종류 모델 1. Davinci다른 모델들에 비해 복잡한 질문에 대한 답변을 잘하고 (complex intent) , 원인과 결과를 잘 이야기할 수 있다.모델 2. Curie다빈치에 비해 언어 변환, compl..
흔히 gpt를 사용하기 위한 text completion은 쉽게 말해서 chatGPT의 특징인 NLP(natural language processing)을 사용하는 것이다.이것은 사용자가 AI에게 프롬프트를 넘겨주면 AI가 받은 문맥과 프롬프트를 기반으로 답변을 생성한다. Gpt 사용하기 사용법은 간단하다. 파이썬을 사용해서 openai를 install한다. (pip install openai)openai를 install한 후에 코드를 짜주면 되는데, 위 코드는 openai api reference에 제공되어 있는 기본 포맷을 copy하고 붙여넣은 것이다. 그냥 복사 붙여넣기 하면 된다.ㅋㅋ 쉽다.https://platform.openai.com/docs/api-reference 주의해야 할 점은 ..
Open AI라고 하면 gpt밖에 몰랐는데, DALL-E2라는 인공지능 모델도 있었나보다.이 모델은 gpt와 달리, 텍스트를 넣어주면 분석해서 이미지를 생성해주는 모델이라고 한다. (아 그게 이거였구나 싶다) 달리는 일단 기본적으로 텍스트와 이미지를 매칭시켜줘야 하기 때문에 transformer language 모델과, convolutional neural network라는 모델을 합쳤다.(이렇게 두 개를 합쳐서 key - value pair를 training했다고 한다. gpt reference 원문이 영어라 한글보다 영어로 설명하는게 더 많아지는것같다..) 트레이닝 과정 DATA Collection, DATA Preprocessing위에서 말한 트레이닝의 첫 번째 단계는 DATA Collec..