GPT-J-6B 모델을 무료로 사용하기 위해서는 Hugging Face의 Transformers 라이브러리를 사용하면 됩니다. 아래는 Transformers 라이브러리를 사용하여 GPT-J-6B 모델을 로드하고 예측하는 예제 코드입니다.
from transformers import GPTJForCausalLM, GPT2Tokenizer # GPT-J-6B 모델과 토크나이저 로드 tokenizer = GPT2Tokenizer.from_pretrained("EleutherAI/gpt-j-6B") model = GPTJForCausalLM.from_pretrained("EleutherAI/gpt-j-6B") # 입력 문장 input_text = "Hello, how are you?" # 토큰화 input_ids = tokenizer.encode(input_text, return_tensors="pt") # GPT-J-6B 모델에 입력하여 예측 output = model.generate(input_ids, max_length=50, do_sample=True) # 디코딩하여 출력 generated_text = tokenizer.decode(output[0], skip_special_tokens=True) print(generated_text)
위 코드에서 GPTJForCausalLM은 GPT-J-6B 모델 클래스를, GPT2Tokenizer는 GPT-J-6B 모델에 맞는 토크나이저를 의미합니다. 이 코드를 실행하면 “Hello, how are you? I’m doing well, thank you for asking.”와 같은 문장이 출력됩니다.
이 코드를 사용하기 위해서는 transformers 라이브러리가 설치되어 있어야 합니다. pip install transformers 명령어를 사용하여 라이브러리를 설치할 수 있습니다.
corlab에서는 다음과 같이 하시면 됩니다.
!pip install transformers
앞서 말씀드린것 처럼 자원을 많이 사용하므로 Colab Pro 를 사용하셔야 합니다.