[RL] Introduction to Reinforcement Learning

[RL] Introduction to Reinforcement Learning

최근 강화학습 스터디를 시작하면서 블로그를 다시 작성해보려고 한다. 개발 블로그를 열심히 적어보려고 했었지만, 뭔가 나 스스로가 내용 정리가 안되는 느낌이라 포스팅을 하기 쉽지 않았지만, 일단 올려놓고 생각하려고 쓰게 되었다. LLM을 공부하면서 PPO, DPO 같은 강화학습 방법론이 적용되는 것을 보고 강화학습을 처음 알게 되었지만, 논문을 읽어봐도 뭔가 잘 와닿지 않아 스터디를 시작하게 되었다. 참고한 자료는 아래와 같다.  - Huggingface Deep RL Course- RL Course by David Silver- 팡요랩 강화학습 처음에는 Huggingface의 Deep RL Course의 수료증 획득을 위해 공부를 시작했지만, 개념이 너무 많이 나오고 구체적인 설명과 예시가 부족해서 이해..

  • format_list_bulleted 강화학습(RL)
  • · 2024. 4. 30.
  • textsms
[DEBUG] Torch Distributed Error: Received 1 death signal, shutting down workers

[DEBUG] Torch Distributed Error: Received 1 death signal, shutting down workers

Polyglot 12.8b 모델을 Deepspeed Zero stage 3단계로 GPU 3개를 사용하여 훈련하던 중 발생한 에러: WARNING:torch.distributed.elastic.agent.server.api:Received 1 death signal, shutting down workers WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 52341 closing signal SIGHUP WARNING:torch.distributed.elastic.multiprocessing.api:Sending process 53129 closing signal SIGHUP WARNING:torch.distributed.elast..

  • format_list_bulleted Tips
  • · 2023. 9. 1.
  • textsms
NVLink in GPUs

NVLink in GPUs

GPU 연결에 따라 총 모델 훈련 시간이 차이가 난다! NVLink로 연결되어 있는 GPU가 가장 inter-connected 하다. NVLink는 기존의 PCI-E 기반 솔루션보다 더욱 유연한 통신을 제공하는 고속 GPU 연결 장치이다. 확인 방법: GPU가 같은 노드에 있을 때 아래와 같이 실행하면 GPU가 어떻게 inter-connected 되는지 보여줌 nvidia-smi topo -m NVLink로 연결되어 있는 GPU들: GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X NV2 0-23 N/A GPU1 NV2 X 0-23 N/A NVLink로 연결되어 있지 않은 GPU들: GPU0 GPU1 CPU Affinity NUMA Affinity GPU0 X PHB 0-11..

  • format_list_bulleted Tips
  • · 2023. 8. 31.
  • textsms
Hugging Face Audio Course: 오디오 처리를 위한 Transformer 구조

Hugging Face Audio Course: 오디오 처리를 위한 Transformer 구조

이전 Hugging Face Audio Course에서는 오디오 처리에 대한 간단한 소개와 pipeline을 사용하여 사전 학습된(pre-trained) 모델들을 사용하는 것을 배워보았습니다. 이번 포스팅에서는 오디오 처리를 위한 Transformer 구조에 대해 자세히 알아보도록 하겠습니다. 1. Transformer 모델 개요 Transformer 모델은 한 언어에서 다른 언어로의 텍스트 번역 과제에 처음 도입되었습니다. 이 모델의 구조는 인코더(Encoder)와 디코더(Decoder)로 이루어져 있습니다. 인코더(Encoder): 입력 텍스트 시퀀스를 받아, 입력 시퀀스의 표현(Representation)을 출력합니다. 디코더(Decoder): 인코더의 입력 시퀀스의 표현(Representation..

  • format_list_bulleted ASR
  • · 2023. 8. 28.
  • textsms
LLM 파인튜닝을 위한 GPU 분산 학습 정복하기 PART 2

LLM 파인튜닝을 위한 GPU 분산 학습 정복하기 PART 2

대규모 언어 모델(Large Language Model, LLM)을 파인튜닝하기 위해서는 파트 1에서 소개해드렸던 데이터 병렬 처리(Data Parallelism)가 아닌 모델 병렬 처리(Model Parallelism)을 사용하게 됩니다. 대규모 언어 모델과 같이 모델 사이즈가 큰 경우에는 모델 병렬 처리를 활용하여 모델을 분할하고 여러 GPU에 나누어 처리하는 방법을 선택할 수 있습니다. 1. Model Parallelism 1) Naive Model Parallelism(Vertical) Naive Model Parallelism은 모델의 계층을 여러 GPU에 분할하는 방식입니다. 원하는 계층을 원하는 장치로 전환하고, 데이터가 들어가고 나갈 때마다 해당 계층은 데이터를 계층과 동일한 장치로 전환하..

  • format_list_bulleted NLP
  • · 2023. 8. 7.
  • textsms
Evaluating and Debugging Generative AI: W&B에서 LLM 모니터링 쉽게 하기!

Evaluating and Debugging Generative AI: W&B에서 LLM 모니터링 쉽게 하기!

오늘 포스팅은 Deeplearning.ai에서 최근에 나온 따끈따끈한 코스를 소개해드리는 내용입니다! Andew Ng 선생님께서는 정말 쉬지를 않는군요..😂 덕분에 공부해야 할 것이 매일매일 추가되고 있습니다. 열심히 따라가 보도록 하겠습니다. https://www.deeplearning.ai/short-courses/evaluating-debugging-generative-ai/ Evaluating and Debugging Generative AI Machine learning and AI projects require managing diverse data sources, vast data volumes, model and parameter development, and conducting numer..

  • format_list_bulleted NLP
  • · 2023. 8. 3.
  • textsms