전체 글20 [TOEFL] 104점 → 115점 후기/팁 고등학교 3학년 여름에 본 TOEFL에서 104점을 받고 대학교 2학년 11월에 본 TOEFL에서 115점을 받았다!! 사실 그간 TOEFL이나 영어 공부를 한 것은 아닌데 KAIST에 입학하고 전부 영어 수업을 듣고 연구실 인턴을 한 경험으로 인해 자연스럽게 성적이 올랐다. 연구실 사수님이 브라질 사람이라 영어로만 소통했는데 이 경험 덕분에 Speaking 점수가 크게 오른 것 같고, 논문을 쓴 경험 덕분에 Writing 점수가 크게 오른 것 같다. Reading 28점 → 30점(+2점) Listening 28점 → 29점 (+1점) Speaking 24점 → 28점 (+4점) Writing 24점 → 28점 (+4점) Speaking Independent 질문: Business leader을 뽑을 .. 2022. 12. 2. ssh 원격 접속 에러 해결 (WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!) WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! IT IS POSSIBLE THAT SOMEONE IS DOING SOMETHING NASTY! Someone could be eavesdropping on you right now (man-in-the-middle attack)! It is also possible that a host key has just been changed. ssh 원격 접속을 할때 위와 같은 에러가 뜨면서 접속이 안될 때가 있다. 검색해보면 보통 아래 커맨드로 된다고 하는데, 나는 아래 커맨드로 해결이 되지 않았다. ssh-keygen -R hostname 이때 나는 아래 방법으로 해결했다. 먼저 에러 마지막을 보면 Add correct .. 2022. 1. 26. PyTorch Inplace Operation Error 해결 Backward에서 NaN이 발생하거나 아래와 같은 에러 메시지를 띄우며 RuntimeError이 발생하는 경우가 있다. RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation 해당 에러의 의미는 inplace operation이 있어 gradient를 계산하는 데 문제가 생겼다는 것이다. 보통 새로운 주소값을 가지는 텐서를 만들어주지 않고 텐서의 값 자체를 바꾸는 연산을 했을 때 발생한다. 그런데 여기서 주의해야 할 점은 +=이나 -=와 같은 Python 연산자들 모두 inplace operation이라는 것이다. 에러를 방지하려면 모두 풀어서 써주어야 한다. x .. 2022. 1. 14. PyTorch NaN Loss/Output 해결하기 원인이 되는 연산 찾기먼저 torch.autograd 함수 중에 NaN loss가 발생했을 경우 원인을 찾아주는 함수가 있다.autograd.set_detect_anomaly(True)학습 코드에 위 코드를 추가해주고 실험을 하면, NaN loss가 발생하는 즉시 실행이 멈추고 NaN을 유발한 라인을 출력해준다. 주로 division by zero나 매우 작은 값에 대한 log 연산이 NaN loss를 유발한다. NaN은 loss 연산 뿐만 아니라 forward 연산, backward 연산에서도 발생할 수 있으므로 직접 찾으려면 힘든데, 위 코드를 쓰면 간편하다. 연산 수정하기나누는 연산이 있는데 divisor가 0이 될 수 있는 경우라면, 예외 처리를 해주거나 divisor에 1e-6 등 연산에 영향을.. 2022. 1. 5. vast.ai로 저렴하게 GPU 대여하기 나는 3080ti로 연구를 하고 있는데, 메모리가 부족하고 실험을 몇 개 더 돌리고 싶어 3090나 V100 대여를 알아보고 있었다. 그런데 GPU 대여 업체 중에서 일 단위나 시간 단위로 대여를 해주고, 즉시 빌릴 수 있는 곳이 거의 없었다. 또는 가격이 시간 당 4000원 (T4)나 일 20000원 (3090) 으로 비쌌다. 그러다가 찾은 것이 vast.ai이다. Rent GPUs on Vast.ai One simple interface to search, compare and utilize all the world's compute at all the best prices. vast.ai vast.ai의 장점은 저렴하고 즉시 대여가 가능하다는 것이다. 3090은 시간 당 0.7달러, 3080은 0... 2022. 1. 2. VSCode Extension으로 Pull Request 쉽게 하기 Branch에서 작업을 완료하고 pull request를 할 때, VSCode extension으로 쉽게 conflict를 해결할 수 있다. 1. Github 상에서 PR 만들기 Compare & PR 버튼을 통해서 PR을 만들어준다. 이때 자동으로 PR이 되는 경우도 있지만, 보통 충돌이 난다. 내가 브랜치에서 작업한 것이 무엇인지 간단히 써두었다. 나는 혼자 작업하는 거라 짧게 썼지만, 팀 프로젝트면 자세히 쓰고 리뷰를 모두 통과해야 merge할 수 있다. 또 아래에는 충돌이 난 파일 리스트가 있는데, 이들을 모두 수정해줘야 merge가 가능하다. 2. Conflict를 보여주는 커맨드 git checkout main git merge --no-ff git push origin main 3. Reso.. 2021. 12. 28. 이전 1 2 3 4 다음
