torch == 1.7.1
torchtext == 0.8.1
🍟 스터디 끝!
🍕 transformers를 사용하지 않고 패키지 형태로 논문 재현하기
🍔 2021.01.06~2021.06.30까지 끝내기 목표
🌮 논문 구현 단계는 이와 같음
논문 읽기 -> reference code 읽기 -> 코드 짜기 -> 동일 조건 실험으로 성능이 재현되는지 확인하기
| 순번 | paper | 시작일자 | 상태 | arxiv | notion | reference code |
|---|---|---|---|---|---|---|
| 01 | Convolutional Neural Networks for Sentence Classification (2014) | 0106 | Done | paper | notion | reference code official code |
| 02 | Sequence to Sequence Learning with Neural Networks (2014) | 0203 | WIP | paper | notion | reference code1 reference code2 |
| 03 | Neural Machine Translation by Jointly Learning to Align and Translate (2016) | 0303 | Done | paper | notion | reference code |
| 04 | Attention is All You Need (2017) | 0406 | WIP | paper | notion | reference code |
| 05 | Deep contextualized word representations (2018) | 0504 | Done | paper | notion | - |
| 06 | BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (2019) | 0608 | Done | paper | notion | - |
🍕 https://tutorials.pytorch.kr/ 노트북 다운 받아서 실행해보고 모르는 것 정리하고, 요약하고 연습문제 만들어서 풀기
🍔 2020.09.30~2020.12.31까지 끝내기 목표
| 순번 | 튜토리얼 | 시작일자 | 상태 | 주요내용 | 링크 |
|---|---|---|---|---|---|
| 01 | what is torch.nn? | 1010 | 완료 | nn.Functional,nn.Module,nn.Linear,optim |
tutorial |
| 02 | Tensorboard | 1012 | 완료 | tensorboard |
tutorial |
| 03 | 이름분류 | 1013 | 완료 | nn.Linear,Dataset,DataLoader |
tutorial |
| 04 | 이름생성 | 1019 | 완료 | nn.GRU,.to(device) |
tutorial |
| 05 | seq2seq 번역 | 1030 | 완료 | nn.Embedding,torch.save,torch.load |
tutorial |
| 06 | torchtext 분류 | 1023 | 완료 | torchtext,Field,nn.EmbeddingBag |
tutorial |
| 07 | torchtext 번역 | 1026 | 완료 | TabularDataset,BucketIterator |
tutorial |
| 08 | seq2seq 모델링 | 1022 | 완료 | nn.TransformerEncoder |
tutorial |
