Programming(26)
-
sagemake studio lab, pytorch로 tensorboard 열기
sagemaker studio lab에서 tensorboard를 실행하는 방법을 기록해둔다. 1. tensorboardX, tensorboard 설치 pytorch에서 tensorboard를 사용하기 위해서는 tensorboardX를 설치해야 한다. pip install tensorboardx 그리고 실제로 shell에서 tensorboard를 불러오기 위해서는 당연히 아래와 같이 tensorboard를 설치해야 한다. pip install tensorboard 2. python 코드에서 tensorboard 추적대상 처리 & tensorboard 실제 실행 python 코드에서 tensorboard로 추적할 부분에 코드를 삽입하고, terminal에서 tensorboard log가 적재되는 경로로 들어..
2022.12.01 -
Anaconda, python packages 환경 복제하기(개발환경 복붙)
conda, pip list export 또는 개발환경을 파일로 저장 python은 설치된 package가 복잡하게 얽혀있는 환경을 가진다. 이 때문에.. 아무것도 설치되지 않은 새로운 머신에 일반적인 패키지 설치 패키지를 실행하여 기존 사용 환경을 만들기 쉽지 않다.. 이 때문에 현재 사용하고 있는 python 환경을 파일로 저장하고, 이를 사용하여 새로운 환경에 설치하는 방법을 사용한다. 1. 설치된 packages를 목록 파일로 저장하기 pip freeze > requirements.txt # pip list 저장(export) conda list --export > packagelist.txt # conda list 저장(export) 2. 저장한 목록 파일을 사용하여 새로운 환경에 package..
2022.12.01 -
ipywidgets 에러 및 해결방법 (설치)
jupyter notebook, lab을 사용하다 보면, 가끔 아래와 같이 이상한 에러가 발생한다. (안 하던 업데이트를 하고 나면 이런 에러가 반겨주는 경우가 많...) IProgress not found. Please update jupyter and ipywidgets 또는 sagemaker와 같은 플랫폼에서.. 아래의 에러 메시지가 발생하고 얼어버리는 현상도 있다. loading widget... (기다려서 해결될 수도 있겠다 싶었지만.. 결코 loading이 끝나지는 않았다;;) Error displaying widget: model not found 이건 ipywidgets 이 없어서 발생하는 에러인 것 같은데.. 이 역시도 ipywidgets을 잘 설치해주면 해결할 수 있었다. 해결방법은 아..
2022.12.01 -
huggingface에서 ignore_mismatched_sizes 사용할 수 없을 때
huggingface에서 pretrained model을 fine tuning하려고 할 때 아래와 같은 메시지가 출력되는 경우가 있다. Traceback (most recent call last): File "", line 4, in File "/path/python3.6/site-packages/transformers/modeling_utils.py", line 1179, in from_pretrained model = cls(config, *model_args, **model_kwargs) TypeError: __init__() got an unexpected keyword argument 'ignore_mismatched_sizes' pretrained의 마지막 레이어 노드 개수를 수정했을 때, 이..
2022.11.22 -
python virtual environments 파이썬 가상환경 세팅 (설치, activate, deactivate, 제거)
python을 사용하다보면 dependecies 때문에 세팅하는데 시간이 걸리고, 시간이 걸려 세팅한 환경이 꼬이기 시작하면 답이 없다. 이를 대비하기 위해 파이썬 핵심 파일들만 공통으로 사용하고 코드마다 가상환경을 따로 설치하는 편인데, 아래는 파이썬을 활용한 가상환경 세팅 방법이다. 1. 파이썬 3.8에서 가상환경을 사용하기 위한 파일을 설치해준다. apt-get install python3.8-dev python3.8-venv 2. 실제 환경을 초기세팅하는 명령어이다. 동일한 가상환경을 계속 사용할 때까지는 더 이상 입력할 필요가 없지만.. 그래서 새로 가상환경을 만들 때 기억이 잘 안난다. ^^ python3.8 -m venv # python3.8 -m venv myVenv # python3.8이..
2022.11.18 -
Python Counter, sorted로 정렬하기
python을 사용할 때 자주 사용할 수록 괜찮은 함수 중 하나가 카운터라고 생각한다. 1. Counter 1-1. 기본 사용 방법 from collections import Counter x = Counter({'a':5, 'b':3, 'c':7}) 1-2. 빈도가 많은 element 부터 출력되도록 정렬 Counter.most_common() method 를 사용한다. from collections import Counter x = Counter({'a':5, 'b':3, 'c':7}) x.most_common() # [('c', 7), ('a', 5), ('b', 3)] 1-3. 가장 빈도가 많은 element 확인하는 방법 1번의 함수를 아래와 같이 1 이라는 입력인자를 줘서 최빈값을 출력하게 할..
2022.11.17