RAG3 [Python] OpenAI 설정하는 방법 1. openai에 들어가서 일단 api키를 받는다.구글에서 openai api를 검색해서 들어간다.https://openai.com/index/openai-api/2. 회원가입을 한 후 로그인을 한다. 3. 우측에 있는 톱니바퀴를 들어가 Your profile 들어가기 들어가면 UserAPI keys 를 선택한다. 처음일 경우에는 Create new secret key를 선택해서 생성하면 되고, 원래 생성한 분은 View project API keys를 선택하면 된다. 그렇게 API를 받으면 되는 줄 알았으나 실제로 사용하려면 결제를 해야 사용이 가능하다. 4. 우측 위의 톱니바퀴를 다시 선택한다.그러면 Billing 화면이 있는데 여기서 카드를 설정해줘야 한다. 최소 금액이 5달러 이고, 아래에 체.. 2024. 9. 27. [RAG] Vector Database 알아보기 [사용자가 원하는 정보] 1. 사용자의 질문과 관련있는 데이터 a. 관련이 있다는 것을 어떻게 판단할까? b. 관련성 파악을 위해 vector를 활용함 ㄱ. 단어 또는 문장의 유사도를 파악해서 관련성을 측정함 2. Vector를 생성하는 방법 a. Embedding 모델을 활용해서 vector를 생성함 b. 문장에서 비슷한 단어가 자주 붙어있는 것을 학습 ㄱ. 왕은 왕자의 아버지다. ㄴ. 여왕은 왕자의 어머니다. c. "왕자의"라는 단어 앞에 등장하는 "왕"과 "여왕"은 유사할 가능성이 높다 3. Embedding 모델을 활용해 생성된 vector를 저장 a. 단순히 vector만 저장하면 안되고 metadata도 같이 저장 ㄱ. 이 항목이 상당히 중요 ㄴ. 문서의 이름, 페이지 번호 등등을 같이 .. 2024. 9. 27. [Python] RAG (Retrieval Augmented Genderation) 알아보기 1. LLM 어플리케이션 개발에서 중요한 개념 a. LLM 등장전 NLP에서부터 사용됨 b. 우리말로 하면 검색-증강 생성 2. Retrieval a. 데이터를 가져오는 것 b. 구체적으로는 "컴퓨터 시스템에 저장된 자료를 취득하는 것" 이라는 뜻도 있음 c. 언어모델이 가지고 있지 않은 정보를 가져오는 것 ㄱ. 언어모델이 아웃풋을 만드는데 필요한 정보를 제공하는 것 ㄴ. 언어모델이 "답변생성"에 능숙하지만, 답변 생성을 위한 모든 정보를 가지고 있지는 않음 1) 보안이 걸려있는 사내 자료 2) GPT4는 23년 10월까지의 정보를 가지고 있음 3. Augmented a. AR/VR에 사용되는 것과 같은 단어 b. 마치 사실인 것 처럼 c. Retrieval된 데이터를 LLM에게 주면서.. 2024. 9. 27. 이전 1 다음
