HuggingFace1 [파이썬/huggingface] tokenizer.encode한 뒤 모델사용 시 안되는 문제 huggingface에 있는 모델을 직접 사용하는 경우 tokenizer.encode를 한 뒤에 모델에 적용하였는데도 오류가 발생하는 문제가 있어서 정리해보려고 한다. 문제 from transformers import RobertaTokenizer, RobertaForSequenceClassification tokenizer = RobertaTokenizer.from_pretrained(HUGGINGFACE_ID) model = RobertaForSequenceClassification.from_pretrained(HUGGINGFACE_ID) input_ids = tokenizer.encode('''import json import os print('hello')''') logits = model(inp.. 2024. 1. 9. 이전 1 다음