Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Chapter1: 2.mdx Translated. #206

Merged
merged 28 commits into from
May 24, 2022
Merged
Show file tree
Hide file tree
Changes from all commits
Commits
Show all changes
28 commits
Select commit Hold shift + click to select a range
478f0c3
Create 1.mdx
pandyaved98 Mar 31, 2022
1b7c53c
Hindi?Chapter0-Part_1
pandyaved98 Apr 3, 2022
3768488
Hindi/Chapter0-Part_2
pandyaved98 Apr 3, 2022
33ffbcd
Update 1.mdx
pandyaved98 Apr 3, 2022
de0832e
Delete 1.mdx
pandyaved98 Apr 3, 2022
8dde105
Create test
pandyaved98 Apr 3, 2022
28aeb57
Create 1.mdx
pandyaved98 Apr 3, 2022
8d57d2a
Delete test
pandyaved98 Apr 3, 2022
49ad313
Delete 1.mdx
pandyaved98 Apr 3, 2022
7a2e09e
Chapter0 - Introduction - Translation to Hindi
pandyaved98 Apr 3, 2022
48e5dae
Delete 1.mdx
pandyaved98 Apr 3, 2022
8caa2bd
Add files via upload
pandyaved98 Apr 3, 2022
1275ac3
Merge branch 'huggingface:main' into main
pandyaved98 Apr 4, 2022
3a4bd22
Create dependabot.yml
pandyaved98 Apr 4, 2022
a41ea5e
Delete dependabot.yml
pandyaved98 Apr 4, 2022
c856375
Merge branch 'huggingface:main' into main
pandyaved98 Apr 7, 2022
62c9503
Update _toctree.yml
pandyaved98 Apr 7, 2022
0334b82
Create test
pandyaved98 Apr 7, 2022
fc31a6a
Created chapter1/1.mdx
pandyaved98 Apr 7, 2022
4e56268
Delete test
pandyaved98 Apr 7, 2022
946cd9e
Merge branch 'huggingface:main' into main
pandyaved98 Apr 14, 2022
08f0baa
Merge branch 'huggingface:main' into main
pandyaved98 Apr 15, 2022
2c3d1c5
Merge branch 'huggingface:main' into main
pandyaved98 May 20, 2022
28b4810
Merge branch 'huggingface:main' into main
pandyaved98 May 23, 2022
ac9d100
Update 1.mdx
pandyaved98 May 23, 2022
e54f56b
Create 2.mdx
pandyaved98 May 23, 2022
96ecf22
Update _toctree.yml
pandyaved98 May 24, 2022
7968eb5
Merge branch 'huggingface:main' into main
pandyaved98 May 24, 2022
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
4 changes: 3 additions & 1 deletion chapters/hi/_toctree.yml
Original file line number Diff line number Diff line change
Expand Up @@ -7,6 +7,8 @@
sections:
- local: chapter1/1
title: परिचय
- local: chapter1/2
title: प्राकृतिक भाषा प्रसंस्करण

- title: 2. ट्रांसफॉर्मर का उपयोग करना
sections:
Expand All @@ -28,4 +30,4 @@
title: फाइन-ट्यूनिंग, चेक!
- local: chapter3/6
title: अध्याय-का-अंत प्रश्नोत्तरी
quiz: 3
quiz: 3
8 changes: 4 additions & 4 deletions chapters/hi/chapter0/1.mdx
Original file line number Diff line number Diff line change
Expand Up @@ -22,7 +22,7 @@ Colab नोटबुक का उपयोग करना सबसे आस
</div>

अगला चरण उन पुस्तकालयों को स्थापित करना है जिनका हम इस पाठ्यक्रम में उपयोग करेंगे। हम स्थापना के लिए `pip` का उपयोग करेंगे, जो कि पायथन के लिए पैकेज मैनेजर है। नोटबुक्स में, आप `!` वर्ण से पहले सिस्टम कमांड चला सकते हैं, इसलिए आप ट्रान्सफ़ॉर्मर लाइब्रेरी को निम्नानुसार स्थापित कर सकते हैं:
अगला चरण उन पुस्तकालयों को स्थापित करना है जिनका हम इस पाठ्यक्रम में उपयोग करेंगे। हम स्थापना के लिए `pip` का उपयोग करेंगे, जो कि पायथन के लिए पैकेज मैनेजर है। नोटबुक्स में, आप `!` वर्ण से पहले सिस्टम कमांड चला सकते हैं, इसलिए आप :hugs: ट्रान्सफ़ॉर्मर लाइब्रेरी को निम्नानुसार स्थापित कर सकते हैं:
अगला चरण उन पुस्तकालयों को स्थापित करना है जिनका हम इस पाठ्यक्रम में उपयोग करेंगे। हम स्थापना के लिए `pip` का उपयोग करेंगे, जो कि पायथन के लिए पैकेज मैनेजर है। नोटबुक्स में, आप `!` वर्ण से पहले सिस्टम कमांड चला सकते हैं, इसलिए आप 🤗 ट्रान्सफ़ॉर्मर लाइब्रेरी को निम्नानुसार स्थापित कर सकते हैं:

```
!pip install transformers
Expand All @@ -38,7 +38,7 @@ import transformers
<img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter0/install.gif" alt="उपरोक्त दो आदेशों का परिणाम दिखाने वाला एक GIF: स्थापना और आयात" width="80%">
</div>

यह :hugs: ट्रांसफॉर्मर का एक बहुत हल्का संस्करण स्थापित करता है। विशेष रूप से, कोई विशिष्ट मशीन लर्निंग फ्रेमवर्क (जैसे PyTorch या TensorFlow) स्थापित नहीं हैं। चूंकि हम पुस्तकालय की कई अलग-अलग विशेषताओं का उपयोग करेंगे, हम विकास संस्करण को स्थापित करने की सलाह देते हैं, जो किसी भी कल्पनाशील उपयोग के मामले के लिए सभी आवश्यक निर्भरताओं के साथ आता है:
यह 🤗 ट्रांसफॉर्मर का एक बहुत हल्का संस्करण स्थापित करता है। विशेष रूप से, कोई विशिष्ट मशीन लर्निंग फ्रेमवर्क (जैसे PyTorch या TensorFlow) स्थापित नहीं हैं। चूंकि हम पुस्तकालय की कई अलग-अलग विशेषताओं का उपयोग करेंगे, हम विकास संस्करण को स्थापित करने की सलाह देते हैं, जो किसी भी कल्पनाशील उपयोग के मामले के लिए सभी आवश्यक निर्भरताओं के साथ आता है:

```
!pip install transformers[sentencepiece]
Expand Down Expand Up @@ -101,10 +101,10 @@ which python

## निर्भरता स्थापित करना

Google Colab इंस्टेंस का उपयोग करने पर पिछले अनुभाग की तरह, अब आपको जारी रखने के लिए आवश्यक पैकेजों को स्थापित करने की आवश्यकता होगी। फिर से, आप `pip` पैकेज मैनेजर का उपयोग करके :hugs: ट्रांसफॉर्मर के विकास संस्करण को स्थापित कर सकते हैं:
Google Colab इंस्टेंस का उपयोग करने पर पिछले अनुभाग की तरह, अब आपको जारी रखने के लिए आवश्यक पैकेजों को स्थापित करने की आवश्यकता होगी। फिर से, आप `pip` पैकेज मैनेजर का उपयोग करके 🤗 ट्रांसफॉर्मर के विकास संस्करण को स्थापित कर सकते हैं:

```
pip install "transformers[sentencepiece]"
```

अब आप पूरी तरह से तैयार हैं!
अब आप पूरी तरह से तैयार हैं!
20 changes: 20 additions & 0 deletions chapters/hi/chapter1/2.mdx
Original file line number Diff line number Diff line change
@@ -0,0 +1,20 @@
# प्राकृतिक भाषा प्रसंस्करण

ट्रांसफॉर्मर मॉडल में जाने से पहले, आइए एक त्वरित अवलोकन करें कि प्राकृतिक भाषा प्रसंस्करण क्या है और हम इसकी परवाह क्यों करते हैं।

## प्राकृतिक भाषा प्रसंस्करण क्या है?

प्राकृतिक भाषा प्रसंस्करण भाषा विज्ञान और मशीन सीखने का एक क्षेत्र है जो मानव भाषा से संबंधित हर चीज को समझने पर केंद्रित है। एनएलपी कार्यों का उद्देश्य न केवल एक शब्द को व्यक्तिगत रूप से समझना है, बल्कि उन शब्दों के संदर्भ को समझने में सक्षम होना है।

निम्नलिखित सामान्य प्राकृतिक भाषा प्रसंस्करण कार्यों की एक सूची है, जिनमें से प्रत्येक के कुछ उदाहरण हैं:
- **पूरे वाक्यों को वर्गीकृत करना**: समीक्षा की भावना प्राप्त करना, यह पता लगाना कि क्या कोई ईमेल स्पैम है, यह निर्धारित करना कि कोई वाक्य व्याकरणिक रूप से सही है या दो वाक्य तार्किक रूप से संबंधित हैं या नहीं।
- **प्रत्येक शब्द को एक वाक्य में वर्गीकृत करना**: एक वाक्य (संज्ञा, क्रिया, विशेषण), या नामित संस्थाओं (व्यक्ति, स्थान, संगठन) के व्याकरणिक घटकों की पहचान करना।
- **पाठ सामग्री उत्पन्न करना**: ऑटो-जेनरेटेड टेक्स्ट के साथ एक प्रॉम्प्ट को पूरा करना, टेक्स्ट में रिक्त स्थान को नकाबपोश शब्दों से भरना।
- **किसी पाठ से उत्तर निकालना**: एक प्रश्न और एक संदर्भ को देखते हुए, संदर्भ में दी गई जानकारी के आधार पर प्रश्न का उत्तर निकालना।
- **इनपुट टेक्स्ट से एक नया वाक्य बनाना**: एक पाठ को दूसरी भाषा में अनुवाद करना, एक पाठ को सारांशित करना।

प्राकृतिक भाषा प्रसंस्करण हालांकि लिखित पाठ तक ही सीमित नहीं है। यह वाक् पहचान और कंप्यूटर विज़न में जटिल चुनौतियों से भी निपटता है, जैसे कि ऑडियो नमूने की प्रतिलिपि बनाना या किसी छवि का विवरण।

## यह चुनौतीपूर्ण क्यों है?

कंप्यूटर इंसानों की तरह सूचनाओं को प्रोसेस नहीं करते हैं। उदाहरण के लिए, जब हम "मुझे भूख लगी है" वाक्य पढ़ते हैं, तो हम इसका अर्थ आसानी से समझ सकते हैं। इसी तरह, "मैं भूखा हूँ" और "मैं उदास हूँ" जैसे दो वाक्यों को देखते हुए, हम आसानी से यह निर्धारित करने में सक्षम हैं कि वे कितने समान हैं। मशीन लर्निंग (एमएल) मॉडल के लिए, ऐसे कार्य अधिक कठिन होते हैं। पाठ को इस तरह से संसाधित करने की आवश्यकता है जो मॉडल को इससे सीखने में सक्षम बनाता है। और क्योंकि भाषा जटिल है, हमें ध्यान से सोचने की जरूरत है कि यह प्रसंस्करण कैसे किया जाना चाहिए। पाठ का प्रतिनिधित्व करने के तरीके पर बहुत शोध किया गया है, और हम अगले अध्याय में कुछ विधियों को देखेंगे।