Skip to content

Commit

Permalink
rectify and add contents
Browse files Browse the repository at this point in the history
  • Loading branch information
Aleafy committed Jan 14, 2022
1 parent 8d63e20 commit b70b131
Show file tree
Hide file tree
Showing 28 changed files with 298 additions and 132 deletions.
10 changes: 5 additions & 5 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -77,13 +77,13 @@
| <a href="https://www.bilibili.com/video/BV1CV411Y7i4?spm_id_from=333.999.0.0"> <img src="./imgs/cover/04.png" width="170" /></a> | [04-数据操作和数据预处理](notes/04-%E6%95%B0%E6%8D%AE%E8%AF%BB%E5%8F%96%E5%92%8C%E6%93%8D%E4%BD%9C.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_4.pdf) | [Jupyter 代码](code/04-%E6%95%B0%E6%8D%AE%E8%AF%BB%E5%8F%96%E5%92%8C%E6%93%8D%E4%BD%9C) | <a href="https://github.com/Atream"> <img src="./imgs/profile/BoXin_Zhang.png" width="80" /></a> <a href="https://github.com/benmagnifico"><img src="./imgs/profile/JingGuang_Li.png" width="80" /></a> |
| <a href="https://www.bilibili.com/video/BV1eK4y1U7Qy?spm_id_from=333.999.0.0"> <img src="./imgs/cover/05.png" width="170" /></a> | [05-线性代数](notes/05-%E7%BA%BF%E6%80%A7%E4%BB%A3%E6%95%B0.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_5.pdf) | | <a href="https://github.com/dcy-dhsunabzh"> <img src="./imgs/profile/ChenYang_Ding.png" width="80" /></a> <a href="https://github.com/fghccv"><img src="./imgs/profile/ShiQi_Zhou.png" width="80" /></a> |
| <a href="https://www.bilibili.com/video/BV1eZ4y1w7PY?spm_id_from=333.999.0.0"> <img src="./imgs/cover/06.png" width="170" /></a> | [06-矩阵计算](notes/06-%E7%9F%A9%E9%98%B5%E8%AE%A1%E7%AE%97.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_6.pdf) | | <a href="https://github.com/EcolesYee"> <img src="./imgs/profile/RuiChen_Yi.png" width="80" /></a> |
| <a href="https://www.bilibili.com/video/BV1KA411N7Px?spm_id_from=333.999.0.0"> <img src="./imgs/cover/07.png" width="170" /></a> | [07-链式法则和自动求导](https://github.com/MLNLP-World/DeepLearning-MuLi-Notes/blob/main/notes/07-%E8%87%AA%E5%8A%A8%E6%B1%82%E5%AF%BC.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_7.pdf) | [Jupyter 代码](https://github.com/MLNLP-World/DeepLearning-MuLi-Notes/blob/main/code/07-%E8%87%AA%E5%8A%A8%E6%B1%82%E5%AF%BC.ipynb) | <a href="https://github.com/Chigland"> <img src="./imgs/profile/ZhiTao_Wang.png" width="80" /></a> <a href="https://github.com/Khadorstorm"><img src="./imgs/profile/KeCheng_Zhang.png" width="80" /></a> |
| <img src="./imgs/cover/08.png" width="170" /> | [08-线性回归+基础优化算法](notes/10-%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E6%9C%BA.md) | [讲义1](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_8.pdf) [2](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_9.pdf) | | <a href="https://github.com/kokolerk"><img src="./imgs/profile/JiaQi_Wang.png" width="80" /></a> |
| <img src="./imgs/cover/09.png" width="170" /> | [09-Softmax回归+损失函数+图片分类数据集](notes/09-softmax回归.md) | [讲义1](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_10.pdf) [2](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_11.pdf) | | <a href="https://github.com/kinza99"> <img src="./imgs/profile/He_Du.png" width="80" /></a> <a href="https://github.com/chase6666"><img src="./imgs/profile/Kuo_Tian.png" width="80" /></a> |
| <a href="https://www.bilibili.com/video/BV1KA411N7Px?spm_id_from=333.999.0.0"> <img src="./imgs/cover/07.png" width="170" /></a> | [07-链式法则和自动求导](https://github.com/MLNLP-World/DeepLearning-MuLi-Notes/blob/main/notes/07-%E8%87%AA%E5%8A%A8%E6%B1%82%E5%AF%BC.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_7.pdf) | [Jupyter 代码](code/07-%E8%87%AA%E5%8A%A8%E6%B1%82%E5%AF%BC.ipynb) | <a href="https://github.com/Chigland"> <img src="./imgs/profile/ZhiTao_Wang.png" width="80" /></a> <a href="https://github.com/Khadorstorm"><img src="./imgs/profile/KeCheng_Zhang.png" width="80" /></a> |
| <img src="./imgs/cover/08.png" width="170" /> | [08-线性回归+基础优化算法](notes/10-%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E6%9C%BA.md) | [讲义1](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_8.pdf) [2](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_9.pdf) | [Jupyter 代码](code/07-%E8%87%AA%E5%8A%A8%E6%B1%82%E5%AF%BC.ipynb) | <a href="https://github.com/kokolerk"><img src="./imgs/profile/JiaQi_Wang.png" width="80" /></a> |
| <img src="./imgs/cover/09.png" width="170" /> | [09-Softmax回归](notes/09-softmax回归.md) | [讲义1](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_10.pdf) [2](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_11.pdf) | [Jupyter 代码](code/09-Softmax回归) | <a href="https://github.com/kinza99"> <img src="./imgs/profile/He_Du.png" width="80" /></a> <a href="https://github.com/chase6666"><img src="./imgs/profile/Kuo_Tian.png" width="80" /></a> |
| <a href="https://www.bilibili.com/video/BV1hh411U7gn?spm_id_from=333.999.0.0"> <img src="./imgs/cover/10.png" width="170" /></a> | [10-多层感知机](notes/10-%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E6%9C%BA.md) | [讲义1](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_12.pdf) [2](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_13.pdf) | [Jupyter 代码](code/10%E5%A4%9A%E5%B1%82%E6%84%9F%E7%9F%A5%E6%9C%BA) | <a href="https://github.com/Atream"> <img src="./imgs/profile/BoXin_Zhang.png" width="80" /></a> <a href="https://github.com/benmagnifico"><img src="./imgs/profile/JingGuang_Li.png" width="80" /></a> |
| <img src="./imgs/cover/11.png" width="170" /> | [11-模型选择+过拟合和欠拟合](notes/11-模型选择+过拟合和欠拟合.md) | [讲义1](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_14.pdf) [2](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_15.pdf) | | <a href="https://github.com/dcy-dhsunabzh"> <img src="./imgs/profile/ChenYang_Ding.png" width="80" /></a> <a href="https://github.com/fghccv"><img src="./imgs/profile/ShiQi_Zhou.png" width="80" /></a> |
| <img src="./imgs/cover/12.png" width="170" /> | [12-权重衰退](notes/12-权重衰退.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_16.pdf) | | <a href="https://github.com/Chigland"> <img src="./imgs/profile/ZhiTao_Wang.png" width="80" /></a> <a href="https://github.com/Khadorstorm"><img src="./imgs/profile/KeCheng_Zhang.png" width="80" /></a> |
| <img src="./imgs/cover/13.png" width="170" /> | [13-丢弃法](notes/13-丢弃法.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_17.pdf) | | <a href="https://github.com/EcolesYee"> <img src="./imgs/profile/RuiChen_Yi.png" width="80" /></a> |
| <img src="./imgs/cover/12.png" width="170" /> | [12-权重衰退](notes/12-权重衰退.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_16.pdf) | [Jupyter 代码](code/12-权重衰退.ipynb) | <a href="https://github.com/Chigland"> <img src="./imgs/profile/ZhiTao_Wang.png" width="80" /></a> <a href="https://github.com/Khadorstorm"><img src="./imgs/profile/KeCheng_Zhang.png" width="80" /></a> |
| <img src="./imgs/cover/13.png" width="170" /> | [13-丢弃法](notes/13-丢弃法.md) | [讲义](https://courses.d2l.ai/zh-v2/assets/pdfs/part-0_17.pdf) | [Jupyter 代码](code/13-丢弃法.ipynb) | <a href="https://github.com/EcolesYee"> <img src="./imgs/profile/RuiChen_Yi.png" width="80" /></a> |


## <img src="./imgs/icon/folders.png" width="25" /> 文件夹说明
Expand Down
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
File renamed without changes.
16 changes: 14 additions & 2 deletions notes/00-预告.md
Original file line number Diff line number Diff line change
@@ -1,11 +1,18 @@
### 学习深度学习关键是动手
## 00-预告

### 本节目录

- [1. 学习深度学习关键是动手](#1-学习深度学习关键是动手)
- [2. 参考书目《动手学深度学习》](#2-参考书目动手学深度学习)
- [3.总结](#3总结)
### 1. 学习深度学习关键是动手

- 深度学习是人工智能最热的领域
- 核心是神经网络
- 神经网络是一门语言
- 应该像学习Python/C++一样学习深度学习

### 参考书目《动手学深度学习》
### 2. 参考书目《动手学深度学习》

- 是一本深度学习的教科书
- 覆盖90年代至今的重要模型
Expand All @@ -31,3 +38,8 @@
- 课程对应网站:[课程主页](https://courses.d2l.ai/zh-v2/)(包含原视频**课件**等资源)

- b站**视频**网站:[视频合集](https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497)

### 3.总结

- 如何学习深度学习——动手跑代码
- 课程资源:书籍、视频、课件等
25 changes: 20 additions & 5 deletions notes/01-课程安排.md
Original file line number Diff line number Diff line change
@@ -1,4 +1,15 @@
### 课程目标
## 01-课程安排

### 本节目录

- [1. 课程目标](#1-课程目标)
- [2. 内容](#2-内容)
- [3. 学到什么](#3-学到什么)
- [4. 基本要求](#4-基本要求)
- [5. 课程资源](#5-课程资源)
- [6. 总结](#6-总结)

### 1. 课程目标

- 介绍深度学习经典和最新模型
- LeNet, ResNet, LSTM, BERT, ...
Expand All @@ -8,7 +19,7 @@
- 使用Pytorch实现介绍的知识点
- 在真实数据上体验算法效果

### 内容
### 2. 内容

> 深度学习基础:线性神经网络,多层感知机
>
Expand All @@ -26,22 +37,26 @@
>
> 自然语言处理:词嵌入,BERT
### 学到什么
### 3. 学到什么

- What:深度学习有哪些技术,以及哪些技术可以帮你解决问题
- How:如何实现(产品 or paper)和调参(精度or速度)
- Why:背后的原因(直觉、数学)

### 基本要求
### 4. 基本要求

- **AI相关从业人员**(产品经理等):掌握What,知道名词,能干什么
- **数据科学家、工程师**:掌握What、How,手要快,能出活
- **研究员、学生**:掌握What、How、Why,除了知道有什么和怎么做,还要知道为什么,思考背后的原因,做出新的突破

### 课程资源
### 5. 课程资源

- 课程主页:[https://courses.d2l.ai/zh-v2/](https://courses.d2l.ai/zh-v2/)
- 教材:[https://zh-v2.d2l.ai/](https://zh-v2.d2l.ai/)
- 课程论坛讨论:[https://discuss.d2l.ai/c/chinese-version/16](https://discuss.d2l.ai/c/chinese-version/16)
- Pytorch论坛:[https://discuss.pytorch.org/](https://discuss.pytorch.org/)
- b站视频合集:[https://space.bilibili.com/1567748478/channel/seriesdetail?sid=358497](

### 6. 总结
- 课程目标、内容和要求
- 相关课程资源链接
65 changes: 47 additions & 18 deletions notes/02-深度学习介绍.md
Original file line number Diff line number Diff line change
@@ -1,5 +1,29 @@
### 概述

## 02-深度学习介绍

### 本节目录

- [1. 概述](#1-概述)
- [1.1 AI地图](#11-ai地图)
- [1.2 AI地图解读](#12-ai地图解读)
- [2. 深度学习的应用](#2-深度学习的应用)
- [2.1 图片分类](#21-图片分类)
- [2.2 物体检测和分割](#22-物体检测和分割)
- [2.3 样式迁移](#23-样式迁移)
- [2.4 人脸合成](#24-人脸合成)
- [2.5 文字生成图片](#25-文字生成图片)
- [2.6 文字生成](#26-文字生成)
- [2.7 无人驾驶](#27-无人驾驶)
- [2.8 案例研究——广告点击](#28-案例研究广告点击)
- [2.8.1 步骤](#281-步骤)
- [2.8.2 模型的<mark>预测与训练</mark>](#282-模型的mark预测与训练mark)
- [2.8.3 完整的故事](#283-完整的故事)
- [3. 总结](#3-总结)
- [4. 深度学习介绍 Q&A](#4-深度学习介绍-qa)


### 1. 概述

#### 1.1 AI地图
首先画一个简单的人工智能地图:

<div align="center">
Expand All @@ -19,6 +43,7 @@
>
> 规划:根据学习到的知识,做出长远的规划
#### 1.2 AI地图解读
- 问题领域的一个简单分类

- **自然语言处理**
Expand All @@ -41,9 +66,9 @@

------

### 深度学习的应用
### 2. 深度学习的应用

#### 1.图片分类
#### 2.1 图片分类

深度学习最早是在图片分类上有比较大的突破,ImageNet是一个比较大的图片分类数据集,

Expand All @@ -59,28 +84,28 @@
>
> 2017年基本所有的团队可以将错误率降到5%以下,基本可以达到人类识别图片的精度。
#### 2.物体检测和分割
#### 2.2 物体检测和分割

当你不仅仅想知道图片里有什么内容,还想知道物体是什么,在什么位置,这就是**物体检测****物体分割**是指每一个像素属于什么,属于飞机还是属于人(如下图),这是图像领域更深层次的一个应用。
<div align="center">
<img src="../imgs/02/02-03.png" alt="image" align="center" width="450" />
</div>

#### 3.样式迁移
#### 2.3 样式迁移

原图片+想要迁移的风格=风格迁移后的图片,加了一个可以根据输入改变图片风格的滤镜。
<div align="center">
<img src="../imgs/02/02-04.png" alt="image" align="center" width="900" />
</div>
#### 4.人脸合成

#### 2.4 人脸合成

下图中所有的人脸都是假的,由机器合成的图片:
<div align="center">
<img src="../imgs/02/02-05.png" alt="image" align="center" width="500" />
</div>
#### 5.文字生成图片

#### 2.5 文字生成图片

1. 描述:一个胡萝卜宝宝遛狗的图片。

Expand All @@ -89,7 +114,7 @@
<img src="../imgs/02/02-06.png" alt="image" align="center" width="500" />
</div>

#### 6.文字生成
#### 2.6 文字生成

> 示例1:
>
Expand All @@ -105,21 +130,21 @@
<img src="../imgs/02/02-07.png" alt="image" align="center" width="700" />

#### 7.无人驾驶
#### 2.7 无人驾驶

识别车、道路以及各种障碍物等,并规划路线。

<img src="../imgs/02/02-08.png" alt="image" align="center" width="600" />

#### 8.案例研究——广告点击
#### 2.8 案例研究——广告点击

> 用户输入想要搜索的广告内容,如:baby toy
> 网站呈现最具有效益的广告(用户更可能点击,且给网站带来更高经济效益)
<img src="../imgs/02/02-09.png" alt="image" align="center" width="780" />

**步骤**
##### 2.8.1 步骤

<img src="../imgs/02/02-10.png" alt="image" align="center" width="620" />

Expand All @@ -129,13 +154,13 @@



**模型的<mark>预测与训练</mark>**
##### 2.8.2 模型的<mark>预测与训练</mark>

上述步骤的第二步中涉及到模型预测用户的点击率,具体过程如下:
<div align="center">
<img src="../imgs/02/02-11.png" alt="image" align="center" width="600" />
</div>

**模型预测**

数据 (待预测广告) → 特征提取 → 模型 → 点击率预测
Expand All @@ -146,7 +171,7 @@



**完整的故事**
##### 2.8.3 完整的故事
<div align="center">
<img src="../imgs/02/02-12.png" alt="image" align="center" style="zoom:65%;" />
</div>
Expand All @@ -158,10 +183,14 @@
**<font color="Navy">AI专家</font>**:应用规模扩大,用户数量增多,模型更加复杂,需要进一步提升精度和性能。


### 3. 总结
- 通过AI地图,课程从纵向和横向两个维度解读了深度学习在重要问题领域的概况。
- 介绍了深度学习在CV和NLP方面的一些应用
- 简单分析并研究了深度学习实例——广告点击。

------

### 深度学习介绍 Q&A
### 4. 深度学习介绍 Q&A
**Q1:机器学习的可解释性?机器学习在图片分割为什么有效,目前有没有定论?**

> <font color=MediumSeaGreen>A1</font>:模型的可解释性不管是深度学习还是机器学习都是非常受人关注的点,因为这像是一个黑盒,训练了一个模型,也不知道为什么work或者为什么不work。对于深度学习来说,模型的**可解释性**是做得不够好的;对于机器学习来说,我们对简单的模型可以理解,但当模型变得很深的时候,几乎只能放弃理解的过程。
Expand Down
31 changes: 28 additions & 3 deletions notes/03-安装.md
Original file line number Diff line number Diff line change
@@ -1,18 +1,33 @@
### 安装
## 03-安装

- 首先前提是安装python,这里推荐安装python3.8 输入命令 ***sudo apt install python3.8*** 即可
### 本节目录

- 然后第二步,安装 Miniconda(如果已经安装conda或者Miniconda,则可以跳过该步骤)。

- [1.安装python](#1安装python)
- [2.安装Miniconda/Anaconda](#2安装minicondaanaconda)
- [2.1 安装Miniconda](#21-安装miniconda)
- [2.2 Miniconda环境操作](#22-miniconda环境操作)
- [3.安装Pytorch, d2l, jupyter包](#3安装pytorch-d2l-jupyter包)
- [4. 总结](#4-总结)

### 1.安装python
首先前提是安装python,这里推荐安装python3.8 输入命令 ***sudo apt install python3.8*** 即可

### 2.安装Miniconda/Anaconda
- 然后第二步,安装 Miniconda(如果已经安装conda或者Miniconda,则可以跳过该步骤)。
#### 2.1 安装Miniconda
- 安装MIniconda的好处是可以创建很多虚拟环境,并且不同环境之间互相不会有依赖关系,对日后的项目有帮助,如果只想在本地安装的话,不装Miniconda只使用pip即可,第二步可以跳过。
- 如果是Windows系统,输入命令 ***wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.10.3-Windows-x86_64.exe***
- 如果是macOS,输入命令 ***wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.10.3-MacOSX-x86_64.sh*** 之后要输入命令 ***sh Miniconda3-py38_4.10.3-MacOSX-x86_64.sh -b***
- 如果是Linux系统,输入命令 ***wget https://repo.anaconda.com/miniconda/Miniconda3-py38_4.10.3-Linux-x86_64.sh*** 之后输入命令 ***sh Miniconda3-py38_4.10.3-Linux-x86_64.sh -b***
- 以上都是基于python3.8版本,对于其他版本,可以访问 ***https://docs.conda.io/en/latest/miniconda.html*** ,下载对应版本即可。

#### 2.2 Miniconda环境操作
- 对于第一次安装Miniconda的,要初始化终端shell,输入命令 ***~/miniconda3/bin/conda init***
- 这样我们就可以使用 ***conda create --name d2l python=3.8 -y*** 来创建一个名为xxx的环境,这里命名为d2l
- 打开xxx环境命令: ***conda activate xxx*** ;关闭命令:***conda deactivate xxx***。对于基础conda环境不用添加名

### 3.安装Pytorch, d2l, jupyter包
- 第三步,安装深度学习框架和`d2l`软件包

在安装深度学习框架之前,请先检查你的计算机上是否有可用的GPU(为笔记本电脑上显示器提供输出的GPU不算)。 例如,你可以查看计算机是否装有NVIDIA GPU并已安装[CUDA](https://developer.nvidia.com/cuda-downloads)。 如果你的机器没有任何GPU,没有必要担心,因为你的CPU在前几章完全够用。 但是,如果你想流畅地学习全部章节,请提早获取GPU并且安装深度学习框架的GPU版本。
Expand All @@ -29,3 +44,13 @@
- 本课程的jupyter notebook代码详见 ***https://zh-v2.d2l.ai/d2l-zh.zip***
- 下载jupyter notebook :输入命令 ***pip install jupyter notebook*** (若pip失灵可以尝试pip3),输入密命令 ***jupyter notebook*** 即可打开。
### 4. 总结
- 本节主要介绍**安装Miniconda**、**CPU环境下的Pytorch**和其它课程所需**软件包**(d2l, jupyter)。对于前面几节来说,CPU已经够用了。
- 如果您**已经安装**了Miniconda/Anaconda, Pytorch框架和jupyter记事本, 您只需再安装**d2l包**,就可以跳过本节视频了**开启深度学习之旅**了; 如果希望后续章节在**GPU下跑深度学习**, 可以**新建环境**安装**CUDA版本的Pytorch**。
- 如果需要在Windows下**安装CUDA和Pytorch**(cuda版本),用**本地GPU跑深度学习**,可以参考李沐老师[Windows下安装CUDA和Pytorch跑深度学习](https://www.zhihu.com/zvideo/1363284223420436480),如果网慢总失败的同学可以参考[cuda11.0如何安装pytorch? - Glenn1Q84的回答 - 知乎](https://www.zhihu.com/question/425647129/answer/2278290137)。当然,如果不方便在本地进行配置(如无GPU, GPU显存过低等),也可以选择[Colab](https://colab.research.google.com/)(需要科学上网),或其它**云服务器**GPU跑深度学习。
- 如果pip安装比较慢,可以用镜像源安装:
```
pip install torch torchvision -i http://mirrors.aliyun.com/pypi/simple/ --trusted-host mirrors.aliyun.com
```
- 如果安装时经常报错, 可以参考课程评论区部分。
Loading

0 comments on commit b70b131

Please sign in to comment.