전체 글43 [파이썬/huggingface] tokenizer.encode한 뒤 모델사용 시 안되는 문제 huggingface에 있는 모델을 직접 사용하는 경우 tokenizer.encode를 한 뒤에 모델에 적용하였는데도 오류가 발생하는 문제가 있어서 정리해보려고 한다. 문제 from transformers import RobertaTokenizer, RobertaForSequenceClassification tokenizer = RobertaTokenizer.from_pretrained(HUGGINGFACE_ID) model = RobertaForSequenceClassification.from_pretrained(HUGGINGFACE_ID) input_ids = tokenizer.encode('''import json import os print('hello')''') logits = model(inp.. 2024. 1. 9. [C++] 1. C++ 입출력 C++ 입출력 C++에서 입출력은 처리하는 문장이 없는 대신 IO와 다양한 기능을 제공하는 표준 라이브러리를 제공한다고 책에서 얘기한다. 여기서 궁금한 점은 다른 언어들은 입출력을 처리하는 문장이 있는지 궁금하다. 책에서 말하는 문장이라는 것이 함수를 말하는 건가? 그렇다면 (C언어에서는 printf()함수를 예로 들 수 있을 것 같다.) C++에서 제공하는 표준 라이브러리는 iostream라이브러리를 사용한다. iostream은 istream(inputstream), ostream(outstream)으로 나뉜다. C++ 출력 여기서 출력을 위해 출력연산자 v1) >> v2; /* 3번 라인 괄호 연산 진행 후 */std::cin >> v2; 1번 라인의 결과와 3번 라인의 결과가 동일하다. "std::.. 2023. 12. 24. [C++] 0.시작 안녕하세요, 오랜만에 글을 쓰게됩니다. 학교 방학이 찾아오고 시간이 글을 작성할 시간이 생기게 되어 C++언어를 공부를 하면서 배운 것들이나, 궁금한 것들 이런걸 작성해보려고 합니다. 공부하려고 하는 책은 "C++ Primer 5판"으로 정석같은 책이라고 해서 공부하려고합니다. C++언어 자체가 주가 아니라 이번에는 객체지향(개체지향)언어에 대해서 공부하려고 합니다. 학교에서 자바와 소프트웨어 설계같은 수업으로 객체지향에 대해서 배우기는 했지만 사실 제대로 개념과 왜 이런 개념이 나타났는지 알려주는 교수님들이 없어서 아쉬워서 혼자서 공부하려합니다. 이 책이 객체지향에 대해서 잘 설명할지는 모르겠지만 일단 기본적인 문법들과 더불어서 이번 방학동안 확실히 하나의 언어 + 객체지향 개념을 배운다는 생각으로 공.. 2023. 12. 23. [파이썬] 패키지(모듈)의 버전 체크하는 방법 파이썬에서 패키지를 받을 때, 주로 pip를 이용해서 패키지를 다운로드한다. 다운을 받았지만 옛날 버전과의 차이로 인해서 import 할 때 패키지의 위치(directory)가 바뀌어서 import가 안 되는 경우가 있다. 이때, 옛날 버전에서의 패키지와 현재 버전의 패키지가 어떤 위치에 있는지 확인하기 위해서 패키지의 버전확인이 필요하다. 방법 1 : freeze 커맨드를 이용해서 (패키지 전부 확인) pip 커맨드를 이용해서 패키지의 버전을 확인하는 방법은 'freeze'를 이용하는 것이다. 리눅스에서는 'grep'을 이용하고 윈도우에서는 'findstr'을 이용하면 된다. Linux 방법 pip freeze | grep spacy Window 방법 pip freeze | findstr spacy 결.. 2023. 8. 13. fscanf 함수의 리턴값 fscanf 함수의 리턴값은 인자를 입력받은 개수나 파일이 끝나버리면 EOF를 반환한다. 이를 이용해서 while (fscanf(stream, "%d %d", &num1, &num2) != EOF) {...} 이런 코드를 작성하면 파일의 끝까지 읽을 수 있다. 2023. 4. 15. [C언어] free(NULL)함수는 좋은 습관일까? C언어에서 동적할당을 할 때, 동적할당이 제대로 되지 않아서 NULL포인터를 반환하거나, free() 함수를 이미 호출한 뒤에 또 free() 함수를 호출할 때가 있습니다. 이럴 때 NULL포인터를 free() 함수 매개변수에 넣어도 되는지 아니면 따로 조건문을 실행해서 NULL포인터가 아니면 free() 함수를 실행해야 하는지( if (ptr != NULL) free(ptr); ) free() 함수와 다른 글들을 통해서 설명하겠습니다. free() 함수 void free(void* ptr); free() 함수는 malloc(), calloc()과 같이 동적할당된 메모리를 해제시켜 주는 함수입니다. free() 함수의 매개변수인 ptr이 이전에 동적할당받은 포인터의 값과 다른 경우에는 free() 함수의.. 2023. 3. 13. 이전 1 2 3 4 5 ··· 8 다음