KoAlpaca 설치하기

openAI의 API는 비용이 발생하기 때문에 로컬에 KoAlpaca를 설치하여 간단한 작업은 무료로 진행하기 위해 설치

https://github.com/Beomi/KoAlpaca

https://huggingface.co/beomi/KoAlpaca-Polyglot-12.8B

pip install -U torch transformers tokenizers accelerate safetensors

일단 깃에 나와있는 아래 코드 무조건 실행해봄

모델을 다운받는거 같다

어디에 받아지는거지?

C:\Users\username\.cache\huggingface\transformers

설치는 다 됐는데 cuda를 설치해야 하는거 같다 설치하고 다시 오자

CUDA 설치 후 다시 실행 해본다

실행 결과가 나오긴했는데 생각보다 응답속도가 너무 느리다 1분이상 걸린거 같으니깐

그냥 openAI의 API를 사용하기로 하자