본문 바로가기

분류 전체보기

 (21)
[Deep learning] Overshooting & Overfitting 출처: https://youtu.be/1jPjVoDV_uo?si=bRQcbTuBp63jmr2Z  딥러닝을 공부하던 중 헷갈리는 내용이 있었는데,너무나도 감사하게 Sung Kim이라는 유투버님께서 정리를 깔끔하게 해주신 영상을 찾게되어 내용을 정리해본다,,세상 감사합니다,, 이런분들 복받아야해여,, 😍 Overshooting목표 출력 값이나 기준 값을 초과하는 현상.신경망이 학습 과정에서 과도하게 큰 값을 예측할 때 발생.원인학습률이 너무 클 경우, 매 학습 단계마다 모델의 가중치가 과도하게 업데이트 되어 목표 값을 초과하는 예측을 하게됨. → 적절한 학습률(learning rate) 필요적절한 규제(L2 Regularization, Dropout 등) 부족훈련 데이터와 검증 데이터의 분포가 급격히 다를..
[PyTorch] PIDNet 논문 리뷰(PIDNet: A Real-time Semantic Segmentation Network Inspired by PIDControllers) PIDNet 이란?PIDNet이 무엇인지 3줄로 요약해달라고 copilot에게 물어보면 이렇게 답해준다.(feat. openaccess, github)(요즘 copilot이랑 노는게 뭔가 재밌달까.. chatgpt, claude 잠시 안녕,,😭)PIDNet은 실시간 시맨틱 분할을 위한 네트워크로 PID컨트롤러의 개념을 차용해 세부 사항 및 컨텍스트 기능을 균형있게 조합한다.Cityscapes, CamVid, PASCAL Context 데이터셋에서 이전 모델에 비해 뛰어난 속도와 정확도를 달성한다.자율 수행 차량과 의료 영상 같은 실시간 애플리케이션에 적합하다.사실... 무슨말인지 잘 모르겠음...🤷‍♂️시맨틱 분할은 무엇이며,,, PID 컨트롤러 개념이며,,, 컨텍스트 기능은 뭐람,,,아아,, 또 한..
[PyTorch] 로지스틱 회귀(Logistic Regression) PyTorch를 공부하면서 참고한 NeoWizard(박성호)님의 YouTube영상을 토대로 내용을 정리함.실제 영상 강의를 보고 싶은 분들은 아래 링크로 ㄱㄱ!출처: https://www.youtube.com/@NeoWizard NeoWizard강의실 - 머신러닝, 딥러닝 - 텐서플로우 1.x, 텐서플로우 2.x - PyTorch, 파이토치 - YOLO - 프로그래밍 - 데이터분석, 판다스www.youtube.com 분류(Classification)✔️ 트레이닝 데이터 특성과 관계 등을 파악 한 후에, 미지의 입력 데이터에 대해서 결과가 어떤 종류의 값으로 분류 될 수 있는지를 예측하는 것Ex) 스팸문자 분류 [Spam(1) or Ham(0)], 암 판별 [악성종양(1) or 종양(0)]✔️ 1️⃣ 공부..
[PyTorch] 경사하강법(Gradient decent algorithm) PyTorch를 공부하면서 참고한 NeoWizard(박성호)님의 YouTube영상을 토대로 내용을 정리함.실제 영상 강의를 보고 싶은 분들은 아래 링크로 ㄱㄱ!출처: https://www.youtube.com/@NeoWizard NeoWizard강의실 - 머신러닝, 딥러닝 - 텐서플로우 1.x, 텐서플로우 2.x - PyTorch, 파이토치 - YOLO - 프로그래밍 - 데이터분석, 판다스www.youtube.com ✔️ 손실함수는 오차의 평균값을 나타내기 때문에 손실함수가 최소값을 갖는다는 것은 실제 정답과 오차가 최소가 되어, 미지의 데이터에 대해서 결과를 더 잘 예측 할 수 있다는 것을 의미함.✔️ 이런 손실함수는 W, b 에 영향을 받기 때문에, 손실함수가 최소가 되는 가중치 W와 바이어스 b를 ..
[PyTorch] 선형회귀(Linear Regression), 손실함수 PyTorch를 공부하면서 참고한 NeoWizard(박성호)님의 YouTube영상을 토대로 내용을 정리함.실제 영상 강의를 보고 싶은 분들은 아래 링크로 ㄱㄱ!출처: https://www.youtube.com/@NeoWizard    회귀(Regression)회귀(Regression)✔️ Training Data를 이용해 데이터의 특성과 상관관계 등을 파악하고, 그 결과를 바탕으로 Training Data에 없는 미지의 데이터가 주어졌을 경우에, 그 결과를 연속적인(숫자) 값으로 예측하는것Ex) 공부시간과 시험성적 관계, 집 평수와 집 가격 관계 등✔️ 입력으로 공부시간(x)과 그에 대응되는 시험성적(y)인 training data를 이용하여(1️⃣) 특성과 상관관계를 파악한 후(2️⃣), 그 결과를 바..
[PyTorch] 모델 구조 PyTorch를 공부하면서 참고한 NeoWizard(박성호)님의 YouTube영상을 토대로 내용을 정실제 영상 강의를 보고 싶은 분들은 아래 링크로 ㄱㄱ!출처: https://www.youtube.com/@NeoWizard NeoWizard강의실 - 머신러닝, 딥러닝 - 텐서플로우 1.x, 텐서플로우 2.x - PyTorch, 파이토치 - YOLO - 프로그래밍 - 데이터분석, 판다스www.youtube.com 신경망(Neural Network) ✔️ 1️⃣ 데이터를 정의하고 2️⃣ 모델 구축이 완료되면 3️⃣ 피드포워드를 통해 4️⃣ 손실함수를 계산하고 5️⃣ 손실함수가 최소가 될 때까지 옵티마이저, 즉 최적화 알고리즘을 이용해서 모델 파라미터(가중치, 바이어스) 값을 찾아가는 과정(3️⃣~5️⃣)을 ..
[PyTorch] 텐서(Tensor) PyTorch를 공부하면서 참고한 NeoWizard(박성호)님의 YouTube영상을 토대로 내용을 정리함.실제 영상 강의를 보고 싶은 분들은 아래 링크로 ㄱㄱ!출처: https://www.youtube.com/@NeoWizard 텐서(Tensor)✔️ 텐서(Tensor)는 파이토치 기본 데이터 타입이며 배열(array)나 행렬(matrix)과 유사한 자료구조일반적으로 1차원 데이터를 벡터(ventor), 2차원 데이터를 행렬(matrix), 3차원 이상의 데이터를 텐서(tensor)라고 말하지만, 파이토치에서는 차원에 관계없이 입력과 출력 그리고 학습에 필요한 모든 데이터를 텐서(Tensor)라고 정의하고 있음.✔️ 딥러닝에서는 학습파라미터인 가중치W와 바이어스 b에 대한 미분(Differentiatio..
[socket] 소켓과 웹소켓 차이 실시간으로 웹서비스에더 다른 서버에 있는 소프트웨어로 파일과 메시징을 송/수신해야 하는 이슈가 있었습니다.파일만 처리한다면 TCP/IP Socket을 사용했겠지만, 간단한 메시징과, 추후에 추가될 수 있는 메시징 교환을 고려해 웹소켓을 사용하기로 했습니다.  소켓과 웹소켓소켓이란?소켓은 네트워크에서 실행되는 두 프로그램 간의 양방향 통신 링크의 한 끝점TCP(안정적인 연결 지향통신) 과 UDP(신뢰할 수 없는 연결 없는 통신) 두가지가 있습니다.사용 사례: 파일 전송, HTTP 요청, 이메일 프로토콜웹소켓이란?단일 TCP 연결을 통해 전이중 통신 채널을 제공하는 통신 프로토콜지속적인 연결, 낮은 대기 시간, 실시간 데이터 교환이 특징입니다.사용사례: 채팅 애플리케이션, 실시간 스포츠 업데이트, 실시간 알..

티스토리툴바