본문 바로가기

전체 글

Sigmoid 함수 vs Softmax 함수 계단함수 Sigmoid 함수 Softmax 함수 계단함수, Sigmoid 함수 "퍼셉트론에서는 활성화 함수로 계단 함수를 이용한다"라고 할수 있다. 반면, 신경망에서는 활성함수로 시그모이드 함수를 이용하여 신호로 변환하고, 그 변환된 신호를 다음 뉴런에 전달한다. # 계단 함수 def step_function(x): y = x > 0 return y.astype(np.int) # 시그모이드 함수 def sigmoid_function(x): return 1 / (1 + np.exp(-x)) 계단함수와 시그모이드 함수 공통점 - 비 선형 함수 ※ 신경망에서 층을 깊에 쌓은 것에 대한 혜택을 받고 싶다면, 활성함수로 반드시 비선형 함수를 사용해야 한다. Relu 함수 # Relu 함수 def relu(x): .. 더보기
Trouble Shooting Pycharm에서 경로를 못 찾을 경우 - 가상환경에서 OpenCV를 설치하였으나, 경로 읽어오지 못할 경우 - e.g. C:\Users\jhon\anaconda3\envs\torch\Library\bin - Console > Python Console > 환경 변수에 직접 추가해 주면 된다. - 파이참 2020버전에서는 문제가 발생하진 않지만, 다른 컴퓨터 2018버전에서는 이런 문제가 발생한다. RuntimeError: freeze_support() Error 해결 방법 aigong.tistory.com/136 torch.load(model)에러 모델 저장시에 torch.save(model) 로 모델 아키텍쳐 전체를 저장하는 것이 아니라, 가중치 만을 저장하는 것을 권장한다. torch.save(mo.. 더보기
Torch 데이터셋 & 데이터 로더 + Transforms 목차 TORCH.UTILS.DATA.DATASET TORCH.UTILS.DATA.DATALOADER TORCHVISION.TRANSFORMS ※ 파이토치를 이용한 딥러닝 구현 흐름 TORCH.UTILS.DATA.DATASET Pytorch는 Dataset 클래스를 상속 받아 Custom Dataset 클래스를 만들게 한다. class Dataset(object): """An abstract class representing a Dataset. All other datasets should subclass it. All subclasses should override ``__len__``, that provides the size of the dataset, and ``__getitem__``, suppo.. 더보기
Torch 연산 torch.flatten(input, start_dim=0, end_dim=-1) → Tensor >>> t = torch.tensor([[[1, 2], [3, 4]], [[5, 6], [7, 8]]]) >>> torch.flatten(t) tensor([1, 2, 3, 4, 5, 6, 7, 8]) >>> torch.flatten(t, start_dim=1) tensor([[1, 2, 3, 4], [5, 6, 7, 8]]) (계속 정리...) 더보기
Trouble Shooting Visual Studio 정적 라이브러리 빌드 방법 holinder4s.tistory.com/21 32bit 형변환 vs 8bit 조합 (uint32)message[0]; or ((message[3] 더보기
sprintf, vprintf, svprintf 사용법 목차 int vprintf(const char *_Format, va_list _ArgList); // 가변인자 받는다. printf와 사용법이 같다. int sprintf(char *_Dest, const char * _Format, ...); // 버퍼(_Dest)에 출력 값 담는다. int vsprintf(char *_Dest, const char *_Format, va_list _ArgList); // 버퍼(_Dest)에 출력 값 담는다. 가변인자 받는다. ※ int fprintf(FILE *stream, const char* format, ...); // 파일 포인터에 출력 값을 담는다. ※ vprintf는 printf와 유사하고, vsprintf는 sprintf와 유사하다. ※ or 에 속해 .. 더보기
1) 설치법 (Jetson Nano / Rasberry Pi4 사양 비교) 1) Jetson Nano Image 설치법 공식 홈페이지에 나온데로 수행하면 된다. 1) Micro SD 카드를 포맷한다. - Formatter 다운(link) 2) JetsonNano Image를 내려 받는다 - (link) 3) Etcher와 같은 FlashLoad 프로그램 이용하여 Flash Load 한다 - (link) ※ Putty를 이용한 Serial 통신 법 - Graphic을 사용하지 않고, Window PC를 통해 Jetson을 Serial로 접근하고 싶다면, (J48 점퍼 채결 후) J25를 통해 Power를 넣고 J28로 Window PC에 연결해서 통신한다. - (link) -->Initial Setup Headless Mode 참고 ※ Jetson Nano Developer Ki.. 더보기
Transformer 설명 ※ 아래는 여러 블로그를 참고하여 만든 것입니다. 사전 지식) Attention 모델 ----------------- 기본 ----------------- 1) Transformer의 내부 2) Encoder의 내부 2-1) 구조 2-2) 역할 2-3) Self Attention 네트워크 3) Decoder의 내부 4) 전체 네트워크 구조 ----------------- 심화 ----------------- 5) Transformer 심화 5-1 ~ 6) Self-Attention 첫번째 ~ 여섯번째 단계 6) Multi-head Self Attention layers (MSA) 7) Positioning Encoding 방법 8) Decoder 상세 9) 마지막 단계 10) 학습 데이터 예시 Trans.. 더보기

티스토리툴바