딥러닝/머신러닝 자료 정리 repo입니다. 즐겨찾기로 저장하는 것도 귀찮고, 다른 분들과 많이 공유하기 위해 본 repo를 작성하게 되었습니다. 최대한 한국어로 된 자료를 담으려고 노력했으나 다들 아시다시피 많지는 않습니다. 한국어로 된 자료는 한국어로 썼고, 추천하는 자료는 볼드로 표시했습니다.
크게 material과 article이 있는데, material은 책, 강의 등의 자료로 reference로 삼기 좋습니다. article은 여러 주제에 대해 모았는데, 한 번 읽어보면 좋을 자료들입니다.
| Emoji | 설명 |
|---|---|
| 📚: Book | 책 |
| 👨🏫: Course | 강의 |
| 📑: Article | 단발성의, 읽어보면 좋을 듯한 자료를 의미. article은 특정 주제에 따라 분리해놨음 |
| 🗃️: Repo or Web | repository나 웹사이트 |
| 📚 Materials | link | 설명 |
|---|---|---|
| 리팩토링 | 📚 (link) | 코드를 짜는데 어떻게 클래스를 나누고 함수를 짜야될지 고민이 된다? 이 책을 볼 때가 된거임 |
| 중급파이썬: 파이썬 팁들 | 📚 (link) | 엄청 어렵지는 않으므로 초보를 벗어났다 싶을 때 필요한 것만 쏙쏙 봐도 될 것 같음 |
| 파이썬 클린코드 | 📚 (link) | 그 클린코드 아님 |
| Minimal and clean example implementations of data structures and algorithms in Python 3 | 🗃️ (link) | 매우 괜찮음. 직관적이고 간단한 문제들과 예제를 보여줌 |
| 기술 면접 대비 Tech Interview | 🗃️ (link) | IT 기업 면접에 자주 나오는 질문과 그에 대한 답변 목록. 면접보기전에 봐야 함 |
| 📚 Materials | link | 설명 |
|---|---|---|
| Gilbert strang 교수 강의 정리 | 🗃️ (link) | 잘 모르는거 생길 때 와서 리뷰하면 좋음 |
| 모두를 위한 컨벡스 최적화 | 🗃️ (link) | 모두의 연구소에서 진행한 스터디 |
| 공돌이의 수학정리 노트 | 🗃️ (link) | 수학 잘 모르는 사람은 어려운거 나오면 이거 보면서 정리하면 됨 |
| ASDF 오터의 통계 | 📺 (link) | 수식없이 설명해주는 통계 |
| 📚 Materials | link | 설명 |
|---|---|---|
| PRML | 📚 (link) | 비숍책. 바이블 |
| PRML 정리글 | 🗃️ (link) | PRML 한국어 정리글. 정리는 잘 되어있는데, 업데이트가 잘 안됨 |
| Probabilistic Machine Learning: An Introduction | 📚 (link) | 통칭 머피책. PRML에 이은 바이블. 학부생이 좀 더 보기 편하고, generative model에 대해 잘 소개함. 기존의 Machine Learning: a Probabilistic Perspective가 개정되어 Transformer 등의 최신 내용이 추가됨. |
| The Elements of Statistical Learning | 📚 (link) | 통계학 측면에서의 machine learning. 좀 어렵다 |
| Introduction to statistical learning | 📚 (link) | 마찬가지로 통계학 관점에서의 책. 그러나 ESL보다 더 쉽다 |
| awesome-RecSys | 🗃️ (link) | 추천시스템 관련 material 모음집 |
| CS229 | 👨🏫 (link) | 앤드류 응의 CS229 한글자막 |
| 📑 Generative model | link | 설명 |
|---|---|---|
| Variational Inference | 📑 (link) | VAE 설명 |
| 📚 Materials | link | 설명 |
|---|---|---|
| Deep Learning Drizzle | 📚 (link) | 딥러닝 관련 강의 모음. 다양한 강의들이 있으니 여기서 찾아 보는 것도 좋을듯. |
| 딥러닝 고급과정 강의 모음 | 📚 (link) | 딥러닝 관련 고급 강의 모음. |
| Papers with code | 🗃️ (link) | paper와 코드가 정리되어 있음. 처음보는 모델이 나올 땐 논문 통채로 읽지말고 일단 여기서 찾아보자 |
| Deep Learning Book | 📚 (link) | 저자만 봐도 지림. 이름이 깔끔해서 오해하기 쉽지만 꽤나 어려움. 번역판은 질이 좋지 않음. 잘 찾아보면 pdf판 구할 수 있음 |
| Papers You Must Read | 📚 (link) | 고대 DSBA 연구실에서 작성한 논문 목록 |
| DEEP LEARNING NYU 강의 | 📚 (link) | 뉴욕대 딥러닝 강의. 얀르쿤이 함 |
| 📚 Materials | link | 설명 |
|---|---|---|
| 딥 러닝을 이용한 자연어 처리 입문 | 📚 (link) | 막 큰 도움은 안 되지만 커리큘럼이 있다는것 자체가 좋음. 잘 모르면 이거 따라가면 될듯 |
| 김기현의 자연어 처리 딥러닝 캠프 | 📚 (link) | 한국어로 된 파이토치/자연어처리 책 중 가장 괜찮은 책. 그러나 파이토치 초보가 보기도 어렵고, NLP 초보가 보기도 어렵다 |
| CS224n | 👨🏫 (link) | 대가 Manning 교수의 강의. 직접 봐도 되고, 아니면 내가 스터디한 레포봐도 됨 😉 |
| Huggingface 데이터 셋 | 🗃️ (link) | 허깅 페이스 데이터 셋 |
| 한국어 데이터 셋 모음 | 🗃️ (link) | 한국어 데이터 셋 목록 |
| Modern Deep Learning Techniques Applied to Natural Language Processing | 🗃️ (link) | 딥러닝 최신 글들에 대한 리뷰 및 정리 같은거 간단하게 되어 있음. 마지막 업데이트가 2020년 3월 25일 |
| Generalized Language Models | 🗃️ (link) | Language model에 대한 소개글. CoVe부터 GPT-2까지 다양하게 있다. 마찬가지로 레퍼런스로 보기 좋음 |
| 📑 Papers | link | 설명 |
|---|---|---|
| Huggingface Awesome NLP Paper Discussions | 🗃️ (link) | 읽을 논문 선정하는 것도 일인데 고생하지 말고 그냥 얘네랑 같이 읽자 |
| Kakao: 2018-2020 NLU 연구 동향을 소개합니다 | 🗃️ (link) | 카카오에서 소개하는 NLU 연구 동향 |
| Deep-Generative-Models-for-Natural-Language-Processing | 🗃️ (link) | Deep generative model 로드맵 |
| nlp-tutorial | 🗃️ (link) | NLP 기초적인 모델들 파이토치/텐서플로로 구현한 레포 |
| 📑 Articles | link | 설명 |
|---|---|---|
| Back-Translation Review | 📑 (link) | 김기현씨 블로그 |
| Back Translation 정리: 번역기 성능 영혼까지 끌어모으기 | 📑 (link) | 깔끔한 Back-translation 설명 |
| 📑 Articles | link | 설명 |
|---|---|---|
| 한국어 언어모델: Korean Pre-trained Language Models | 📑 (link) | 한국어 PLM 정리 |
- 📑 Articles: 이미지에서 CNN을 쓰는 이유 (link)
- 📚 Material: Feature Detection and Description
- feature detection과 description에 대해 설명하고 있음.
| Data | link | 설명 |
|---|
| Network | link | 설명 |
|---|
| Optimizing | link | 설명 |
|---|---|---|
| Backpropagation Through Time for Recurrent Neural Network | 📑 (link) | BPTT에 대한 설명과 수식 이해 |
| The Softmax function and its derivative | 📑 (link) | 소프트맥스와 이의 derivative 설명 |
| Learning rate Decay의 종류 | 📑 (link) | Learning rate Decay 종류 살펴보기 |
| Pytorch Learning Rate Scheduler (러닝 레이트 스케쥴러) 정리 | 📑 (link) | PyTorch learning rate scheduler 설명 |
| In deep learning, why don't we use the whole training set to compute the gradient? | 📑 (link) | Ian Goodfellow가 답변 |
| Hyperparamter tuning | link | 설명 |
|---|---|---|
| hyperparamter optimization | 📑 (link) | 하이퍼 파라미터 최적화 방법 |
| A CLOSER LOOK AT DEEP LEARNING HEURISTICS: LEARNING RATE RESTARTS, WARMUP AND DISTILLATION | 📑 (link) | |
| Quick Tutorial: Using Bayesian optimization to tune your hyperparameters in PyTorch | 📑 (link) | Ax 사용하여 bayesian search하기 |
| Hyperparameter tuning with Ray Tune | 📑 (link) | ray tune 이용하여 hyperparameter search하기 |
| Training | link | 설명 |
|---|---|---|
| 머신러닝 실험을 도와줄 Python Sacred 소개 | 📑 (link) | 실험에 대한 configuration과 organization, logging, reproducing을 도와주는 library 소개 |