Skip to content

Commit

Permalink
Bump release (#274)
Browse files Browse the repository at this point in the history
  • Loading branch information
lewtun authored Jul 6, 2022
1 parent f0f8123 commit aeaef1f
Show file tree
Hide file tree
Showing 13 changed files with 6,737 additions and 1 deletion.
2 changes: 1 addition & 1 deletion chapters/en/chapter6/10.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -96,7 +96,7 @@ Let's test what you learned in this chapter!
correct: true
},
{
text: "When a token is has the label of a given entity, any other following token with the same label is considered part of the same entity, unless it's labeled as the start of a new entity.",
text: "When a token has the label of a given entity, any other following token with the same label is considered part of the same entity, unless it's labeled as the start of a new entity.",
explain: "That's the most common way to group entities together -- it's not the only right answer, though.",
correct: true
}
Expand Down
22 changes: 22 additions & 0 deletions chapters/ja/_toctree.yml
Original file line number Diff line number Diff line change
Expand Up @@ -24,6 +24,28 @@
title: チャプター修了クイズ
quiz: 4

- title: 7. 主要な自然言語処理タスク
sections:
- local: chapter7/1
title: イントロダクション
- local: chapter7/2
title: トークン分類
- local: chapter7/3
title: マスク言語モデルの微調整
- local: chapter7/4
title: 翻訳
- local: chapter7/5
title: 要約
- local: chapter7/6
title: 因果言語モデルを一から学習
- local: chapter7/7
title: 質問応答
- local: chapter7/8
title: NLPをマスター
- local: chapter7/9
title: チャプター修了クイズ
quiz: 7

- title: Hugging Faceコースのイベント
sections:
- local: event/1
Expand Down
32 changes: 32 additions & 0 deletions chapters/ja/chapter7/1.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,32 @@
<FrameworkSwitchCourse {fw} />

# イントロダクション

[第3章](/course/ja/chapter3)では、テキスト分類のためにモデルを微調整する方法を学びました。この章では、以下のような一般的な自然言語処理タスクに取り組みます。

- トークン分類
- マスク言語モデリング(BERTのような)
- 要約
- 翻訳
- 因果言語モデリング事前学習(GPT-2など)
- 質問応答

{#if fw === 'pt'}

これを行うには、第3章で学んだTrainer APIと🤗 Accelerateライブラリ、5章で学んだ🤗 Datasetsライブラリ、第6章で学んだ🤗 Tokenizersライブラリについて、すべて活用する必要があります。また、第4章で行ったように、結果をModel Hubにアップロードします。したがって、この章は本当にすべてが集約された章です。

各セクションは独立して読むことができ、Trainer APIや🤗 Accelerateを使った独自の学習ループでモデルを学習する方法が紹介されています。どのパートも自由にスキップできるので、最も興味のあるパートに集中してください。Trainer APIは裏で何が起こっているかを気にせずにモデルを微調整したりトレーニングしたりするのに最適です。一方、Accelerateを使ったトレーニングループでは、必要な部分をより簡単にカスタマイズすることができます。

{:else}

これを行うには、第3章のKeras API、第5章の🤗 Datasetsライブラリ、第6章の🤗 Tokenizersライブラリでモデルのトレーニングについて学んだことをすべて活用する必要があります。また、第4章で行ったように、結果をモデルハブにアップロードすることになるので、この章はまさにすべてが集約された章と言えます。

各セクションは独立して読むことができます。

{/if}

<Tip>

各セクションを順番に読んでいくと、共通するコードや文章がかなりあることに気がつくと思います。この繰り返しは意図的なもので、興味のあるタスクに飛び込んで(あるいは後で戻って)、完全な動作例を見つけることができるようにするためのものです。

</Tip>
1,020 changes: 1,020 additions & 0 deletions chapters/ja/chapter7/2.mdx

Large diffs are not rendered by default.

1,066 changes: 1,066 additions & 0 deletions chapters/ja/chapter7/3.mdx

Large diffs are not rendered by default.

1,023 changes: 1,023 additions & 0 deletions chapters/ja/chapter7/4.mdx

Large diffs are not rendered by default.

1,063 changes: 1,063 additions & 0 deletions chapters/ja/chapter7/5.mdx

Large diffs are not rendered by default.

927 changes: 927 additions & 0 deletions chapters/ja/chapter7/6.mdx

Large diffs are not rendered by default.

1,221 changes: 1,221 additions & 0 deletions chapters/ja/chapter7/7.mdx

Large diffs are not rendered by default.

19 changes: 19 additions & 0 deletions chapters/ja/chapter7/8.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,19 @@
# NLPをマスター

このコースでここまで進んだなら、おめでとうございます!
あなたは今、🤗トランスフォーマーとハギング フェイス エコシステムを使って(ほとんど)どんなNLPタスクにも取り組むために必要なすべての知識とツールを手にしています。

様々なデータコレーターを見てきましたので、各タスクにどのコレーターを使えばいいのかがわかるように、この小さなビデオを作りました。

<Youtube id="-RPeakdlHYo"/>

このライトニング・ツアーでNLPの主要タスクを学んだ後、次のことを行ってください。
* 各タスクに最適なアーキテクチャ(エンコーダ、デコーダ、またはエンコーダ-デコーダ)を把握する
* 言語モデルの事前トレーニングと微調整の違いを理解する
* フォローしているトラックに応じて、TrainerAPIと分散トレーニング機能の🤗AccelerateまたはTensorFlowとKerasのいずれかを使用してTransformerモデルをトレーニング
する方法を知る
* テキスト生成タスクのROUGEやBLEUなどの指標の意味と制限を理解する
* ハブを使用する場合と🤗Transformersのパイプラインの使用する場合の両方で、微調整されたモデルを使う方法を知る

このすべての知識にもかかわらず、コードで難しいバグに遭遇したり、特定のNLP問題を解決する方法について質問したりするときが来るでしょう。 幸いなことに、ハギング
フェイスコミュニティがお手伝いします。 コースのこの部分の最後の章では、Transformerモデルをデバッグし、効果的に支援を求める方法を探ります。
Loading

0 comments on commit aeaef1f

Please sign in to comment.