question_generator.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2023-08-08 10:23:50.303385: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2 AVX512F AVX512_VNNI FMA\n",
      "To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.\n",
      "2023-08-08 10:23:50.371565: I tensorflow/core/util/port.cc:104] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.\n",
      "2023-08-08 10:23:50.812293: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer.so.7'; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-11.2/lib64\n",
      "2023-08-08 10:23:50.812343: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer_plugin.so.7'; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-11.2/lib64\n",
      "2023-08-08 10:23:50.812347: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly.\n",
      "Cannot import beam_search_ops from Tensorflow Addons, ['malaya.jawi_rumi.deep_model', 'malaya.phoneme.deep_model', 'malaya.rumi_jawi.deep_model', 'malaya.stem.deep_model'] will not available to use, make sure Tensorflow Addons version >= 0.12.0\n",
      "check compatible Tensorflow version with Tensorflow Addons at https://github.com/tensorflow/addons/releases\n"
     ]
    }
   ],
   "source": [
    "import os\n",
    "#transformers version 4.22.0, cuda 11.4, torch 1.12+cu133\n",
    "import malaya\n",
    "import torch\n",
    "import pandas as pd\n",
    "pd.set_option('display.max_colwidth', None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "train = pd.read_json(r\"/home/aisyahrzak/question-generation/data/train.jsonl\", lines=True)\n",
    "dev = pd.read_json(r\"/home/aisyahrzak/question-generation/data/dev.jsonl\", lines=True)\n",
    "\n",
    "test = pd.read_json(\"sukanz.jsonl\",lines=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(37931, 3)"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(3271, 3)"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dev.shape"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### View Dataset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source_text</th>\n",
       "      <th>target_text</th>\n",
       "      <th>task</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>37926</th>\n",
       "      <td>generate questions: Isaac Newton (1643-1727) mewarisi konsepsi mekanikal Descartes tentang jirim. Dalam ketiga \"Rules of Reasoning in Philosophy\" beliau, Newton menyenaraikan sifat-sifat sejagat jirim sebagai \"sambungan, kekerasan, kebolehpercayaan, mobiliti, dan inersia\". Begitu juga dalam Optik dia menyangkal bahawa Tuhan mencipta jirim sebagai \"zarah pepejal, besar, keras, tidak dapat ditembusi, boleh bergerak\", yang \"... walaupun begitu keras sehingga tidak pernah memakai atau memecahkan kepingan\". Sifat-sifat \"primer\" jirim telah dipinda kepada keterangan matematik, tidak seperti sifat-sifat \"sekunder\" seperti warna atau rasa. Seperti Descartes, Newton menolak sifat penting sifat sekunder. &lt;/s&gt;</td>\n",
       "      <td>Bilakah Descartes dilahirkan? &lt;sep&gt; Apa yang ditulis oleh Descartes? &lt;sep&gt; Apa yang ditolak oleh Newton yang Descartes tidak? &lt;sep&gt; Apa yang dikatakan Descartes adalah sifat-sifat universal jirim? &lt;sep&gt; Kedua-dua sifat primer dan sekunder sesuai dengan bentuk keterangan apa? &lt;sep&gt;</td>\n",
       "      <td>e2e_qg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37927</th>\n",
       "      <td>generate questions: Terdapat keseluruhan sastera mengenai \"struktur jirim\", bermula dari \"struktur elektrik\" pada awal abad ke-20, hingga \"struktur kuark jirim\" yang lebih baru, diperkenalkan hari ini dengan kenyataan: Memahami struktur kuark jirim telah menjadi salah satu kemajuan yang paling penting dalam fizik kontemporari. [penjelasan lanjut diperlukan] Dalam hubungan ini, ahli fizik bercakap tentang medan jirim, dan bercakap tentang zarah-zarah sebagai \"pengujaan kuantum bagi mod medan jirim\". Dan di sini terdapat petikan dari de Sabbata dan Gasperini: \"Dengan perkataan \"jirim\" kita menandakan, dalam konteks ini, sumber interaksi, iaitu medan spinor (seperti kuark dan lepton), yang dipercayai komponen asas jirim, atau medan skalar, seperti zarah Higgs, yang digunakan untuk memperkenalkan jisim dalam teori tolok (dan bahawa, bagaimanapun, boleh terdiri daripada medan fermion yang lebih asas)\". [penjelasan lanjut diperlukan]. &lt;/s&gt;</td>\n",
       "      <td>Bilakah de Sabbata dan Gasperini menulis? &lt;sep&gt; Teori apa yang muncul selepas struktur kuark jirim? &lt;sep&gt; Memahami struktur elektrik telah membawa kepada kemajuan penting dalam bidang apa? &lt;sep&gt; Siapa yang menyifatkan zarah sebagai pengujaan kuantum? &lt;sep&gt; Teori apa yang menggunakan medan spinor? &lt;sep&gt;</td>\n",
       "      <td>e2e_qg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37928</th>\n",
       "      <td>generate questions: Pada akhir abad ke-19 dengan penemuan elektron, dan pada awal abad ke-20, dengan penemuan nukleus atom, dan kelahiran fizik zarah, jirim dilihat sebagai terdiri daripada elektron, proton dan neutron yang berinteraksi untuk membentuk atom. Hari ini, kita tahu bahawa walaupun proton dan neutron tidak boleh dipisahkan, ia boleh dibahagikan kepada kuark, manakala elektron adalah sebahagian daripada keluarga zarah yang dipanggil lepton. Kedua-dua kuark dan lepton adalah zarah asas, dan kini dilihat sebagai juzuk asas jirim. &lt;/s&gt;</td>\n",
       "      <td>Bidang fizik apa yang bermula pada abad ke-19? &lt;sep&gt; Apa bentuk atom? &lt;sep&gt; Apakah kuark yang dibahagikan kepada? &lt;sep&gt; Leptons terdiri daripada apa? &lt;sep&gt; Kita sekarang tahu bahawa kuark dan lepton bukan apa? &lt;sep&gt;</td>\n",
       "      <td>e2e_qg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37929</th>\n",
       "      <td>generate questions: Kuark-kuark dan lepton ini berinteraksi melalui empat daya asas: graviti, elektromagnetisme, interaksi lemah, dan interaksi kuat. Model Piawai fizik zarah pada masa ini merupakan penjelasan terbaik untuk semua fizik, tetapi walaupun berpuluh-puluh tahun usaha, graviti belum boleh dipertanggungjawabkan pada tahap kuantum; ia hanya diterangkan oleh fizik klasik (lihat graviti kuantum dan graviti). Interaksi antara kuark dan lepton adalah hasil pertukaran zarah yang membawa daya (seperti foton) antara kuark dan lepton. Zarah-zarah yang membawa daya tidak sendiri membina blok. Sebagai satu akibat, jisim dan tenaga (yang tidak boleh dicipta atau dimusnahkan) tidak boleh sentiasa berkaitan dengan jirim (yang boleh dicipta daripada zarah bukan jirim seperti foton, atau bahkan keluar daripada tenaga tulen, seperti tenaga kinetik). Pembawa pasukan biasanya tidak dianggap jirim: pembawa kuasa elektrik (foton) memiliki tenaga (lihat hubungan Planck) dan pembawa kuasa lemah (boson W dan Z) adalah besar-besaran, tetapi kedua-duanya tidak dianggap jirim sama ada. Walau bagaimanapun, walaupun zarah-zarah ini tidak dianggap jirim, ia menyumbang kepada jumlah jisim atom, zarah subatom, dan semua sistem yang mengandungi mereka. &lt;/s&gt;</td>\n",
       "      <td>Berapa banyak kuark dan lepton yang ada? &lt;sep&gt; Model apa yang menjelaskan graviti dengan memuaskan? &lt;sep&gt; Interaksi antara kuark dan lepton adalah pertukaran apa? &lt;sep&gt; Jisim dan tenaga selalu boleh dibandingkan dengan apa? &lt;sep&gt; Hubungan apa yang menjelaskan pembawa tenaga elektrik? &lt;sep&gt;</td>\n",
       "      <td>e2e_qg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37930</th>\n",
       "      <td>generate questions: Istilah \"jirim\" digunakan di seluruh fizik dalam kepelbagaian konteks yang membingungkan: contohnya, seseorang merujuk kepada \"fizik jirim pekat\", \"jirim asas\", \"jirim\" partonik\", jirim \"gelap\", jirim \"anti\"-jirim, jirim \"aneh\", dan jirim \"nuklear\". Dalam perbincangan mengenai perkara dan antijirim, perkara biasa telah dirujuk oleh Alfven sebagai koinojirin (Gk. perkara biasa). Adalah adil untuk mengatakan bahawa dalam fizik, tiada konsensus yang luas sebagai takrifan umum jirim, dan istilah \"jirim\" biasanya digunakan bersama-sama dengan pengubahsuai penentu. &lt;/s&gt;</td>\n",
       "      <td>Fizik secara meluas bersetuju mengenai definisi apa? &lt;sep&gt; Siapa yang mencipta istilah partonik? &lt;sep&gt; Apakah nama lain untuk anti-jirim? &lt;sep&gt; Matter biasanya tidak perlu digunakan bersama dengan apa? &lt;sep&gt; Bidang kajian apa yang mempunyai pelbagai konteks yang tidak biasa? &lt;sep&gt;</td>\n",
       "      <td>e2e_qg</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  source_text  \\\n",
       "37926                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    generate questions: Isaac Newton (1643-1727) mewarisi konsepsi mekanikal Descartes tentang jirim. Dalam ketiga \"Rules of Reasoning in Philosophy\" beliau, Newton menyenaraikan sifat-sifat sejagat jirim sebagai \"sambungan, kekerasan, kebolehpercayaan, mobiliti, dan inersia\". Begitu juga dalam Optik dia menyangkal bahawa Tuhan mencipta jirim sebagai \"zarah pepejal, besar, keras, tidak dapat ditembusi, boleh bergerak\", yang \"... walaupun begitu keras sehingga tidak pernah memakai atau memecahkan kepingan\". Sifat-sifat \"primer\" jirim telah dipinda kepada keterangan matematik, tidak seperti sifat-sifat \"sekunder\" seperti warna atau rasa. Seperti Descartes, Newton menolak sifat penting sifat sekunder. </s>   \n",
       "37927                                                                                                                                                                                                                                                                                                                     generate questions: Terdapat keseluruhan sastera mengenai \"struktur jirim\", bermula dari \"struktur elektrik\" pada awal abad ke-20, hingga \"struktur kuark jirim\" yang lebih baru, diperkenalkan hari ini dengan kenyataan: Memahami struktur kuark jirim telah menjadi salah satu kemajuan yang paling penting dalam fizik kontemporari. [penjelasan lanjut diperlukan] Dalam hubungan ini, ahli fizik bercakap tentang medan jirim, dan bercakap tentang zarah-zarah sebagai \"pengujaan kuantum bagi mod medan jirim\". Dan di sini terdapat petikan dari de Sabbata dan Gasperini: \"Dengan perkataan \"jirim\" kita menandakan, dalam konteks ini, sumber interaksi, iaitu medan spinor (seperti kuark dan lepton), yang dipercayai komponen asas jirim, atau medan skalar, seperti zarah Higgs, yang digunakan untuk memperkenalkan jisim dalam teori tolok (dan bahawa, bagaimanapun, boleh terdiri daripada medan fermion yang lebih asas)\". [penjelasan lanjut diperlukan]. </s>   \n",
       "37928                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   generate questions: Pada akhir abad ke-19 dengan penemuan elektron, dan pada awal abad ke-20, dengan penemuan nukleus atom, dan kelahiran fizik zarah, jirim dilihat sebagai terdiri daripada elektron, proton dan neutron yang berinteraksi untuk membentuk atom. Hari ini, kita tahu bahawa walaupun proton dan neutron tidak boleh dipisahkan, ia boleh dibahagikan kepada kuark, manakala elektron adalah sebahagian daripada keluarga zarah yang dipanggil lepton. Kedua-dua kuark dan lepton adalah zarah asas, dan kini dilihat sebagai juzuk asas jirim. </s>   \n",
       "37929  generate questions: Kuark-kuark dan lepton ini berinteraksi melalui empat daya asas: graviti, elektromagnetisme, interaksi lemah, dan interaksi kuat. Model Piawai fizik zarah pada masa ini merupakan penjelasan terbaik untuk semua fizik, tetapi walaupun berpuluh-puluh tahun usaha, graviti belum boleh dipertanggungjawabkan pada tahap kuantum; ia hanya diterangkan oleh fizik klasik (lihat graviti kuantum dan graviti). Interaksi antara kuark dan lepton adalah hasil pertukaran zarah yang membawa daya (seperti foton) antara kuark dan lepton. Zarah-zarah yang membawa daya tidak sendiri membina blok. Sebagai satu akibat, jisim dan tenaga (yang tidak boleh dicipta atau dimusnahkan) tidak boleh sentiasa berkaitan dengan jirim (yang boleh dicipta daripada zarah bukan jirim seperti foton, atau bahkan keluar daripada tenaga tulen, seperti tenaga kinetik). Pembawa pasukan biasanya tidak dianggap jirim: pembawa kuasa elektrik (foton) memiliki tenaga (lihat hubungan Planck) dan pembawa kuasa lemah (boson W dan Z) adalah besar-besaran, tetapi kedua-duanya tidak dianggap jirim sama ada. Walau bagaimanapun, walaupun zarah-zarah ini tidak dianggap jirim, ia menyumbang kepada jumlah jisim atom, zarah subatom, dan semua sistem yang mengandungi mereka. </s>   \n",
       "37930                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                          generate questions: Istilah \"jirim\" digunakan di seluruh fizik dalam kepelbagaian konteks yang membingungkan: contohnya, seseorang merujuk kepada \"fizik jirim pekat\", \"jirim asas\", \"jirim\" partonik\", jirim \"gelap\", jirim \"anti\"-jirim, jirim \"aneh\", dan jirim \"nuklear\". Dalam perbincangan mengenai perkara dan antijirim, perkara biasa telah dirujuk oleh Alfven sebagai koinojirin (Gk. perkara biasa). Adalah adil untuk mengatakan bahawa dalam fizik, tiada konsensus yang luas sebagai takrifan umum jirim, dan istilah \"jirim\" biasanya digunakan bersama-sama dengan pengubahsuai penentu. </s>   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                           target_text  \\\n",
       "37926                        Bilakah Descartes dilahirkan? <sep> Apa yang ditulis oleh Descartes? <sep> Apa yang ditolak oleh Newton yang Descartes tidak? <sep> Apa yang dikatakan Descartes adalah sifat-sifat universal jirim? <sep> Kedua-dua sifat primer dan sekunder sesuai dengan bentuk keterangan apa? <sep>   \n",
       "37927  Bilakah de Sabbata dan Gasperini menulis? <sep> Teori apa yang muncul selepas struktur kuark jirim? <sep> Memahami struktur elektrik telah membawa kepada kemajuan penting dalam bidang apa? <sep> Siapa yang menyifatkan zarah sebagai pengujaan kuantum? <sep> Teori apa yang menggunakan medan spinor? <sep>   \n",
       "37928                                                                                          Bidang fizik apa yang bermula pada abad ke-19? <sep> Apa bentuk atom? <sep> Apakah kuark yang dibahagikan kepada? <sep> Leptons terdiri daripada apa? <sep> Kita sekarang tahu bahawa kuark dan lepton bukan apa? <sep>   \n",
       "37929               Berapa banyak kuark dan lepton yang ada? <sep> Model apa yang menjelaskan graviti dengan memuaskan? <sep> Interaksi antara kuark dan lepton adalah pertukaran apa? <sep> Jisim dan tenaga selalu boleh dibandingkan dengan apa? <sep> Hubungan apa yang menjelaskan pembawa tenaga elektrik? <sep>   \n",
       "37930                        Fizik secara meluas bersetuju mengenai definisi apa? <sep> Siapa yang mencipta istilah partonik? <sep> Apakah nama lain untuk anti-jirim? <sep> Matter biasanya tidak perlu digunakan bersama dengan apa? <sep> Bidang kajian apa yang mempunyai pelbagai konteks yang tidak biasa? <sep>   \n",
       "\n",
       "         task  \n",
       "37926  e2e_qg  \n",
       "37927  e2e_qg  \n",
       "37928  e2e_qg  \n",
       "37929  e2e_qg  \n",
       "37930  e2e_qg  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "train.tail()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>source_text</th>\n",
       "      <th>target_text</th>\n",
       "      <th>task</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3269</th>\n",
       "      <td>generate questions: Hubungan antara pasukan bukan konservatif makroskopik dan pasukan konservatif mikroskopik digambarkan oleh rawatan terperinci dengan mekanik statistik. Dalam sistem tertutup makroskopik, kuasa-kuasa bukan konservatif bertindak untuk mengubah tenaga dalaman sistem, dan sering dikaitkan dengan pemindahan haba. Menurut hukum Kedua termodinamik, kuasa-kuasa bukan konservatif semestinya menghasilkan transformasi tenaga dalam sistem tertutup daripada diperintahkan kepada keadaan-keadaan yang lebih rawak apabila entropi meningkat. &lt;/s&gt;</td>\n",
       "      <td>Dalam rawatan apa yang digambarkan oleh pasukan bukan konservatif dan konservatif? &lt;sep&gt; Apa yang mengubah tenaga sistem tertutup makroskopik? &lt;sep&gt; Apakah pertukaran haba yang berkaitan? &lt;sep&gt; Apakah hukum termodinamik yang dikaitkan dengan pertukaran haba sistem tertutup? &lt;sep&gt; Apa yang membuat perubahan tenaga dalam sistem tertutup? &lt;sep&gt; Dalam sistem terbuka makroskopik, pasukan bukan konservatif bertindak untuk melakukan apa? &lt;sep&gt; Apa yang sering dikaitkan dengan pemindahan selesema? &lt;sep&gt; Pasukan konservatif sering dikaitkan dengan pemindahan apa? &lt;sep&gt; Apa yang tidak mengubah sistem tertutup makroskopik? &lt;sep&gt;</td>\n",
       "      <td>e2e_qg</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3270</th>\n",
       "      <td>generate questions: Kekuatan paun mempunyai rakan sejawat metrik, kurang biasa digunakan berbanding newton: kilogram-daya (kgf) (kadang kala kilopond), ialah daya yang dikenakan oleh graviti piawai pada satu kilogram jisim. The kilogram-force membawa kepada unit jisim alternatif, tetapi jarang digunakan: slug metrik (kadang-kadang mug atau hyl) adalah jisim yang memecut pada 1 m * s-2 apabila dikenakan kekuatan 1 kgf. The kilogram-force is not a part of the modern SI system, and is generally deprecated; however it still sees use for some purposes as expressing aircraft weight, jet thrust, bicycle spoke tension, torque wrench settings and engine output torque. Unit-unit arcane lain daya termasuk sthene, yang bersamaan dengan 1000 N, dan kip, yang bersamaan dengan 1000 lbf. &lt;/s&gt;</td>\n",
       "      <td>Apakah istilah metrik yang kurang digunakan daripada Newton? &lt;sep&gt; Apakah kekuatan kilogram yang kadang-kadang dibalas sebagai? &lt;sep&gt; Apakah unit jisim yang sangat jarang digunakan dalam sistem metrik? &lt;sep&gt; Apakah istilah yang jarang digunakan unit daya sama dengan 1000 paun s daya? &lt;sep&gt; Apakah unit kuasa yang jarang digunakan bersamaan dengan seribu newton? &lt;sep&gt; Apa yang tidak mempunyai rakan metrik? &lt;sep&gt; Apakah kekuatan yang dikenakan oleh graviti standard pada satu tan jisim? &lt;sep&gt; Kekuatan apa yang membawa kepada unit jisim yang biasa digunakan? &lt;sep&gt; Kekuatan apa yang menjadi sebahagian daripada sistem SI moden? &lt;sep&gt;</td>\n",
       "      <td>e2e_qg</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                              source_text  \\\n",
       "3269                                                                                                                                                                                                                                           generate questions: Hubungan antara pasukan bukan konservatif makroskopik dan pasukan konservatif mikroskopik digambarkan oleh rawatan terperinci dengan mekanik statistik. Dalam sistem tertutup makroskopik, kuasa-kuasa bukan konservatif bertindak untuk mengubah tenaga dalaman sistem, dan sering dikaitkan dengan pemindahan haba. Menurut hukum Kedua termodinamik, kuasa-kuasa bukan konservatif semestinya menghasilkan transformasi tenaga dalam sistem tertutup daripada diperintahkan kepada keadaan-keadaan yang lebih rawak apabila entropi meningkat. </s>   \n",
       "3270  generate questions: Kekuatan paun mempunyai rakan sejawat metrik, kurang biasa digunakan berbanding newton: kilogram-daya (kgf) (kadang kala kilopond), ialah daya yang dikenakan oleh graviti piawai pada satu kilogram jisim. The kilogram-force membawa kepada unit jisim alternatif, tetapi jarang digunakan: slug metrik (kadang-kadang mug atau hyl) adalah jisim yang memecut pada 1 m * s-2 apabila dikenakan kekuatan 1 kgf. The kilogram-force is not a part of the modern SI system, and is generally deprecated; however it still sees use for some purposes as expressing aircraft weight, jet thrust, bicycle spoke tension, torque wrench settings and engine output torque. Unit-unit arcane lain daya termasuk sthene, yang bersamaan dengan 1000 N, dan kip, yang bersamaan dengan 1000 lbf. </s>   \n",
       "\n",
       "                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     target_text  \\\n",
       "3269           Dalam rawatan apa yang digambarkan oleh pasukan bukan konservatif dan konservatif? <sep> Apa yang mengubah tenaga sistem tertutup makroskopik? <sep> Apakah pertukaran haba yang berkaitan? <sep> Apakah hukum termodinamik yang dikaitkan dengan pertukaran haba sistem tertutup? <sep> Apa yang membuat perubahan tenaga dalam sistem tertutup? <sep> Dalam sistem terbuka makroskopik, pasukan bukan konservatif bertindak untuk melakukan apa? <sep> Apa yang sering dikaitkan dengan pemindahan selesema? <sep> Pasukan konservatif sering dikaitkan dengan pemindahan apa? <sep> Apa yang tidak mengubah sistem tertutup makroskopik? <sep>   \n",
       "3270  Apakah istilah metrik yang kurang digunakan daripada Newton? <sep> Apakah kekuatan kilogram yang kadang-kadang dibalas sebagai? <sep> Apakah unit jisim yang sangat jarang digunakan dalam sistem metrik? <sep> Apakah istilah yang jarang digunakan unit daya sama dengan 1000 paun s daya? <sep> Apakah unit kuasa yang jarang digunakan bersamaan dengan seribu newton? <sep> Apa yang tidak mempunyai rakan metrik? <sep> Apakah kekuatan yang dikenakan oleh graviti standard pada satu tan jisim? <sep> Kekuatan apa yang membawa kepada unit jisim yang biasa digunakan? <sep> Kekuatan apa yang menjadi sebahagian daripada sistem SI moden? <sep>   \n",
       "\n",
       "        task  \n",
       "3269  e2e_qg  \n",
       "3270  e2e_qg  "
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dev.tail(2)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Generate question based on text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<pad> Apa yang melanda Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa nama lain untuk Lekukan Tropika 29W? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> Apa yang berlaku di Semenanjung Malaysia pada Disember 2021? <sep> </s>\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['Apa yang melanda Semenanjung Malaysia pada Disember 2021?',\n",
       " 'Apa yang berlaku di Semenanjung Malaysia pada Disember 2021?',\n",
       " 'Apa nama lain untuk Lekukan Tropika 29W?']"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from questiongenerator import QuestionGenerator\n",
    "model = malaya.qa.extractive.huggingface(model = 'mesolitica/finetune-extractive-qa-flan-t5-base')\n",
    "\n",
    "text_banjir = \"\"\" \n",
    "Banjir Malaysia 2021–2022 merupakan kejadian banjir \n",
    "yang melanda kawasan Semenanjung Malaysia pada Disember 2021. \n",
    "Banjir ini berlaku susulan hujan lebat berterusan di kebanyakan \n",
    "kawasan Semenanjung Malaysia berikutan lalunya sebuah lekukan tropika \n",
    "(nama rasmi Lekukan Tropika 29W) yang merentasi semenanjung dari Laut Cina Selatan. \n",
    "Di samping musim monsun serta kejadian air pasang, banjir mula terbit di beberapa negeri, \n",
    "secara ketaranya di kawasan Lembah Klang dan Pantai Timur.\"\"\"\n",
    "\n",
    "\n",
    "qg = QuestionGenerator()\n",
    "banjir = qg.generate(text_banjir)\n",
    "\n",
    "banjir"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Answer generated question using malaya QA model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "You're using a T5TokenizerFast tokenizer. Please note that with a fast tokenizer, using the `__call__` method is faster than using a method to encode the text followed by a call to the `pad` method to get a padded encoding.\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['Banjir Malaysia 2021–2022',\n",
       " 'Banjir ini berlaku susulan hujan lebat ',\n",
       " 'lekukan tropika']"
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict(text_banjir,banjir)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<pad> Apakah nama lain untuk Datu Paduka Mohammad Salleh bin Balu? <sep> Di manakah Datu Paduka Mohammad Salleh bin Balu dilahirkan? <sep> Di manakah Datu Paduka Mohammad Salleh bin Balu dilahirkan? <sep> Di manakah Datu Paduka Mohammad Salleh bin Balu dilahirkan? <sep> Di manakah Datu Paduka Mohammad Salleh bin Balu dilahirkan? <sep> </s>\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['Apakah nama lain untuk Datu Paduka Mohammad Salleh bin Balu?',\n",
       " 'Di manakah Datu Paduka Mohammad Salleh bin Balu dilahirkan?']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from questiongenerator import QuestionGenerator\n",
    "\n",
    "\n",
    "\n",
    "text = \"\"\"Datu Paduka Mohammad Salleh bin Datu Balu, \n",
    "lebih dikenali dengan mudah sebagai Mat Salleh,\n",
    "merupakan pejuang Sabah yang terkenal dalam penentangan \n",
    "terhadap penjajahan British di Sabah. \n",
    "Datu Paduka Mohammad Salleh bin Datu Balu dilahirkan di Inanam, \n",
    "Sabah dan berketurunan Suluk. Beliau memang terkenal dengan sifat \n",
    "kepahlawanan dan keberanian berperang. Beliau dikatakan pernah \n",
    "dilantik menjadi Wakil Kesultanan Sulu di Sungai Sugut dan daerah \n",
    "Tambunan ialah sebahagian daripada daerah di bawah kekuasaannya. \n",
    "Sebelum kedatangan British, beliau ialah seorang pemimpin tempatan yang berpengaruh.\"\"\"\n",
    "\n",
    "qg = QuestionGenerator()\n",
    "question = qg.generate(text)\n",
    "\n",
    "question"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Mat Salleh', 'Inanam, Sabah dan berketurunan Suluk']"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "model.predict(text, question)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "**test question generation using sukanz dataset**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['Malaysian Football League (MFL) mengumumkan hanya 10 pasukan yang bakal bertanding dalam divisyen kedua bola sepak Malaysia, Liga Premier 2022.',\n",
       " 'Perkara itu disahkan oleh Ketua Pegawai Eksekutif (CEO) MFL, Stuart Ramalingam dalam satu kenyataan yang dikeluarkan pada hari ini.\\xa0',\n",
       " 'Dimaklumkan keputusan itu dibuat berikutan reserve team (pasukan simpanan), Perak FC II tersingkir secara automatik ke saingan Liga M3 selepas parent club (pasukan induk), Perak FC turun pangkat bermain di Liga Premier musim 2022.',\n",
       " 'Kata Stuart, Perak FC menamatkan kempen di posisi ke-11 Liga Super 2021 sekaligus tersingkir ke Liga Premier 2022.\\xa0',\n",
       " 'Manakala pasukan berstatus reserve team secara automatik akan tersingkir daripada pertandingan sekiranya parent club mereka jatuh liga berdasarkan Manual Liga Malaysia Artikel 3.19.6 Peraturan Reserve Team.',\n",
       " 'Jelasnya lagi, Amateur Football League (AFL) juga telah membuat pengumuman pembatalan Liga M3 pada 14 September 2021 menyaksikan tiada pasukan daripada liga berkenaan dapat dipromosikan ke Liga Premier 2022 secara merit pertandingan.',\n",
       " 'Baca: Majoriti Pasukan Bersetuju Liga M3 Musim Ini Dibatalkan',\n",
       " 'Justeru, MFL membuat keputusan untuk menganjurkan Liga Premier dengan jumlah 10 pasukan sahaja pada tahun hadapan.',\n",
       " 'Dengan ketiadaan Perak FC II, Liga Premier 2022 akan menampilkan Kuching City FC, Johor Darul Ta’zim II, Terengganu FC II, Selangor FC 2, PDRM FC, Kelantan United FC, Kelantan FC, Skuad Projek FAM-MSN diikuti pendatang dari Liga Super, Perak FC dan UiTM FC.',\n",
       " 'Sementara itu, dua pasukan teratas Liga Premier, Sarawak United FC dan Negeri Sembilan FC telah pun mengesahkan kemaraan mereka bertanding dalam kempen Liga Super 2022.']"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test.loc[20,'content']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<pad> Berapa banyak pasukan yang akan bertanding dalam divisyen kedua bola sepak Malaysia? <sep> Siapa Ketua Pegawai Eksekutif MFL? <sep> Siapa Ketua Pegawai Eksekutif MFL? <sep> Siapa Ketua Pegawai Eksekutif MFL? <sep> Siapa Ketua Pegawai Eksekutif MFL? <sep> Berapa banyak pasukan yang akan bertanding dalam divisyen kedua bola sepak Malaysia? <sep> Berapa banyak pasukan yang akan bertanding dalam divisyen kedua bola sepak Malaysia? <sep> Siapa Ketua Pegawai Eksekutif MFL? <sep> Siapa Ketua Pegawai Eksekutif MFL? <sep> Berapa banyak pasukan yang akan bertanding dalam divisyen kedua bola sepak Malaysia? <sep> Berapa banyak pasukan yang akan bertanding dalam divisyen kedua bola sepak Malaysia?\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['Berapa banyak pasukan yang akan bertanding dalam divisyen kedua bola sepak Malaysia?',\n",
       " 'Siapa Ketua Pegawai Eksekutif MFL?']"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "test_sukan = ' '.join(test.loc[20,'content'])\n",
    "\n",
    "question = qg.generate(test_sukan)\n",
    "\n",
    "question"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Token indices sequence length is longer than the specified maximum sequence length for this model (708 > 512). Running this sequence through the model will result in indexing errors\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['10', 'Stuart Ramalingam']"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.predict(test_sukan, question)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.10 (v3.10.10:aad5f6a891, Feb  7 2023, 08:47:40) [Clang 13.0.0 (clang-1300.0.29.30)]"
  },
  "vscode": {
   "interpreter": {
    "hash": "aee8b7b246df8f9039afb4144a1f6fd8d2ca17a180786b69acc140d282b71a49"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}