머신러닝_공부6 [파이썬/huggingface] tokenizer.encode한 뒤 모델사용 시 안되는 문제 huggingface에 있는 모델을 직접 사용하는 경우 tokenizer.encode를 한 뒤에 모델에 적용하였는데도 오류가 발생하는 문제가 있어서 정리해보려고 한다. 문제 from transformers import RobertaTokenizer, RobertaForSequenceClassification tokenizer = RobertaTokenizer.from_pretrained(HUGGINGFACE_ID) model = RobertaForSequenceClassification.from_pretrained(HUGGINGFACE_ID) input_ids = tokenizer.encode('''import json import os print('hello')''') logits = model(inp.. 2024. 1. 9. [파이썬] 패키지(모듈)의 버전 체크하는 방법 파이썬에서 패키지를 받을 때, 주로 pip를 이용해서 패키지를 다운로드한다. 다운을 받았지만 옛날 버전과의 차이로 인해서 import 할 때 패키지의 위치(directory)가 바뀌어서 import가 안 되는 경우가 있다. 이때, 옛날 버전에서의 패키지와 현재 버전의 패키지가 어떤 위치에 있는지 확인하기 위해서 패키지의 버전확인이 필요하다. 방법 1 : freeze 커맨드를 이용해서 (패키지 전부 확인) pip 커맨드를 이용해서 패키지의 버전을 확인하는 방법은 'freeze'를 이용하는 것이다. 리눅스에서는 'grep'을 이용하고 윈도우에서는 'findstr'을 이용하면 된다. Linux 방법 pip freeze | grep spacy Window 방법 pip freeze | findstr spacy 결.. 2023. 8. 13. 이전 1 2 다음