이미지 데이터 증강을 위해 크롤링을 시도해보려고 했고, 구글링 했을 때 나오는 코드들 중에 일부가 selenium 예전 버전을 활용하고 있어서 최신화, 그리고 내 환경(윈도우)에서 맞게 돌아가게 수정함. 또한, 썸네일 이미지를 가져오는 것이 아니고 이미지 소스의 URL을 먼저 저장후 데이터를 내려 받기 때문에 원본 화질 다운 받도록 코드를 만듬 Requirements pip install -U selenium 크롬 드라이버 설치 https://chromedriver.chromium.org/downloads ChromeDriver - WebDriver for Chrome - Downloads Current Releases If you are using Chrome version 113, please dow..

Dice score를 대상으로 동작하는 코드 BraTS2020 데이터 셋을 가지고 동작을 한다. 코드 # lighting.py import torch import torch.nn as nn import torch.optim import pytorch_lightning as pl from monai.losses.dice import DiceLoss, DiceFocalLoss from monai.metrics import DiceMetric, ConfusionMatrixMetric, HausdorffDistanceMetric from monai.utils.enums import MetricReduction from monai.data.utils import decollate_batch from torchme..

날짜: 2023년 3월 14일 where get inspired: Multi-GPU learning을 하다가 용어 발견 Answer sources: new Bing(LLM) 유효한 배치 크기(Effective Batch Size)란? 유효한 배치 크기는 모델이 각 업데이트 단계에서 처리하는 샘플의 총 수를 의미합니다. 단일 장치(예: 단일 GPU)에서 훈련할 때 유효한 배치 크기는 데이터 로더에서 지정된 배치 크기와 같습니다. 그러나 데이터 병렬성 또는 분산 데이터 병렬성을 사용하여 여러 장치(예: 여러 GPU)에서 훈련할 때 각 장치는 전체 배치의 일부를 받습니다. 이 경우 유효한 배치 크기는 데이터 로더에 지정된 배치 크기에 훈련에 사용되는 장치 수를 곱한 값과 같습니다. 예를 들어, 배치 크기가 2..

API를 쓰다보면, activation function을 비롯해서 모델의 레이어를 바꾸고 싶은 일이 종종 생기는데, nn.Sequantial()이 다중으로 겹쳐진 경우 구글링 해서 나오는 코드들은 대부분 동작을 안 한다. (예시 isinstance()를 한두번 정도 묻는 것, 혹은 setattr로 변경을 시도하는 것) 코드 아래의 코드는 재귀함수 형태로, 바꾸고 싶은 instance를 target에 전달하고, 바꾸고 싶은 instance를 source에 전달을 한다. 이러면 nn.Sequantial에 얼마나 감싸져있던 재귀형태로 모두 진행하여 모델 레이어를 변경할 수 있다. def replace_module(modules:nn.Module, target, source): for name, child in..

윈도우 10 기준 재설치 확인 [ ] 파티션된 부분 전부 삭제 [ ] 정품 키 입력: [ ] SSD에 설치* [ ] 설치 완료 후 디스크 공간 새 볼륨으로 잡아주기 (win + X → 디스크 관리) [ ] SSD 혹은 다른 볼륨을 다운로드 경로로 설정하기 [ ] 드라이버 전부 재 설치 (3dp chip), 혹은 윈도우 업데이트 체크로 드라이브 stable로 자동 설치 [ ] 파일탐색기 → 메뉴 파일 → 폴더 및 검색 옵션 변경 → 파일 탐색기 열기: 내 PC [ ] 전원 및 절전 설정 → 화면 끄기 & 절전모드 안 함 설정, 추가 전원 설정 → 최고 성능 설정 [ ] 키보드 설정) 제어판 → 키보드; 재입력 시간 변경 [ ] NVIDIA 제어판 (NVIDIA control panel) ; 3d 설정 관리..

본 게시글에 작성되는 내용은 PyTorch Lightning 공식 사이트에 있는 Tutorial과 API Docs를 참고하여 작성하였습니다. 그 외에 블로그에 작성된 몇 개의 예제들을 더 참고했는데, PyTorch-Lightning이 추구하는 '효과적인 추상화'를 위해서는 이러한 방향으로 사용하면 더 좋을 수 있겠다 싶어서 글로 공부했던 내용을 글로 정리했습니다. PyTorch Lightning 소개 PyTorch Llightning은 PyTroch에 대한 High-level (abstract) 인터페이스를 제공하는 오픈소스 라이브러리 입니다. PyTorch 하나만으로도 숙달되면 부족함은 전혀 없지만, 모델이 커질 수록 그리고 다양하고 고도화된 기술들을 적용하면서 실험을 할 경우 코드가 너무 복잡해집니다..

info **DenseNet: Densely Connected Convolutional Networks** *Gao Huang, Zhuang Liu, Laurens van der Maaten, Kilian Q. Weinberger* [[paper](https://arxiv.org/abs/1608.06993)] CVPR 2017 구현 깃허브: https://github.com/Ahn-Ssu/model-implementation - DenseNet 입니다. 특별한 내용은 없고, ResNet의 Residual connection( sum skip connection)을 concatenation으로 변경을 한 skip connection을 제안하였습니다. (dense connectivity pattern을 가진..

서버에서 도커 환경 세팅하고 컨테이너에서 초기설정을 하는데 apt-get update, apt-get install ... 이 모두 에러를 나타내며 동작하지 않는다. The following signatures couldn't be verified because the public key is not available: NO_PUBKEY A4B469963BF863CC Repository 'http://security.debian.org/debiansecurity buster/updates InRelease' changed its 'Suite' value from 'stable' to 'oldstable' Repository 'http://deb.debian.org/debian buster InReleas..

이전에 있던 연구실은 그냥 linux 서버였고 개인이 알아서 개인 계정에서 콘다 환경을 만들어서 사용했었는데, 지금 연구하는 곳은 도커를 사용한다. 도커 레이어가 한 장 더 추가된 것만 다를테니 콘다를 쓸 도커로 만들어야겠다 싶어서 그 김에 기록한다. *이 글에서 사용한 계정이 sudo 계정이여서, 명령어에 딱히 sudo를 붙이지 않았는데 접속한 계정에 따라서 sudo docker ... 식으로 사용해야 할 수 있다. 도커 기여엉 Container: Process, a running instance of an application Image: Program, a static file that defines the behavior of the container 1. 도커 허브에서 사용할 miniconda3..

의료영상 처리, 컴퓨터 비전을 위한 모델을 학습시키고 다룰 때를 위해 구성 해놓은 가상환경 설정 명령어 모음입니다. 주로 medical image segmentation, U-Net based models, ViT models, Albumentation 등을 다루는데 사용되었습니다. 최초 'conda' 환경 세팅 명령어 conda upgrade conda —all -y conda update -n base conda -y conda update —all conda update -n base -c defaults conda -y python -m pip install —upgrade pip 'Vision' 환경 세팅 명령어 conda create -n Vision -y conda update conda -..