[DEBUG] Torch Distributed Error: Received 1 death signal, shutting down workers

Polyglot 12.8b 모델을 Deepspeed Zero stage 3단계로 GPU 3개를 사용하여 훈련하던 중 발생한 에러: WARNING:torch.distributed.elastic.agent.server.api:Received 1 death signal, shutting down workers WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 52341 closing signal SIGHUP WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 53129 closing signal SIGHUP WARNING:torch.distributed.elast..

• format_list_bulleted Tips
• · 2023. 9. 1.
• textsms

NVLink in GPUs

GPU 연결에 따라 총 모델 훈련 시간이 차이가 난다! NVLink로 연결되어 있는 GPU가 가장 inter-connected 하다. NVLink는 기존의 PCI-E 기반 솔루션보다 더욱 유연한 통신을 제공하는 고속 GPU 연결 장치이다. 확인 방법: GPU가 같은 노드에 있을 때 아래와 같이 실행하면 GPU가 어떻게 inter-connected 되는지 보여줌 nvidia-smi topo -m NVLink로 연결되어 있는 GPU들: GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X NV2 0-23 N/A GPU1 NV2 X 0-23 N/A NVLink로 연결되어 있지 않은 GPU들: GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X PHB 0-11..

• format_list_bulleted Tips
• · 2023. 8. 31.
• textsms

[Sox] 오디오 파일의 Sample Rate 변환

Sox를 사용하여 음성 파일의 Sampling rate를 16000, channel을 1로 변환한다. https://sox.sourceforge.net/ SoX - Sound eXchange | HomePage Welcome Welcome to the home of SoX, the Swiss Army knife of sound processing programs. SoX is a cross-platform (Windows, Linux, MacOS X, etc.) command line utility that can convert various formats of computer audio files in to other formats. It can also ap sox.sourceforge.net Bas..

• format_list_bulleted Tips
• · 2023. 7. 24.
• textsms

[VSCode] Vscode에서 검색한 내용 복사하기

Vscode를 자주 사용하면서 Control + f 로 검색한 내용이 포함된 라인만 복사하는 방법을 알고 싶어 찾아보았다. 1. CTRL + F Vscode 상에서 컨트롤과 f키를 동시에 눌러 원하는 내용을 검색하는 창을 띄운다. 2. Type your search string Vscode search는 Regex를 지원한다. Regex 혹은 원하는 단어를 입력한다. 3. CTRL + SHIFT + L 찾은 모든 결과값들을 Select한다. 4. ESC 검색창을 종료한다. 5. CTRL + L 전체 라인을 선택한다. 6. CTRL + C 전체 라인을 복사한다. 7. Open new file and CTRL + V 새 파일을 연 후 컨트롤 V를 통해 붙여넣는다. 참고 : https://stackoverfl..

• format_list_bulleted Tips
• · 2023. 5. 8.
• textsms

[환경설정] conda disk quota exceeded 해결

나는 Linux 환경에서 conda 환경을 이용하여 코딩을 하기 때문에 conda 환경 관리가 굉장히 중요하다. 하지만 Linux 환경에 따라 자신의 home directory가 용량이 부족할 때가 있다. 하지만 conda 환경은 기본적으로 home directory에 설치하도록 되어 있기 때문에 조금만 환경을 설치하다 보면, `conda disk quota exceeded`라는 에러가 뜨기 일수이다. 이때 에러를 해결하는 방법을 'stack overflow' 와 conda documentation on setting 'pkgs dirs' 를 검색하여 해결하였다. 1. conda pkgs_dirs를 home directory가 아닌 용량이 넉넉한 곳으로 경로를 설정한다. conda config --add..

• format_list_bulleted Tips
• · 2023. 4. 24.
• textsms