3_AIBasic.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "cd20dbcc-ddd1-4dcf-8545-2343267e27b5",
   "metadata": {},
   "source": [
    "# Azure Cognitive Services で AI プログラミング"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c4a13c70-384b-45db-ad6f-7d8e9e1b64ec",
   "metadata": {},
   "source": [
    "この演習では Azure Cognitive Services で提供されている **事前構築済みの AI** を利用して AI 開発を体験します。\n",
    "\n",
    "学習モデル（AI の頭脳の当たるもの）を開発するには機械学習やプログラミングの知識が必要ですが、事前構築済みの学習モデルを利用すると非常に簡単に AI プログラミングができます。  \n",
    "ここでは AI で何ができるかを自分で実際に操作して体験してみます。\n",
    "\n",
    "> \"Azure Cognitive Services で AI プログラミング\" を実施するには [**Azure サブスクリプション**](https://azure.microsoft.com/ja-jp/) が必要です。  \n",
    "> アカウントを持っていない場合は [**無料の評価版アカウントを取得**](https://azure.microsoft.com/ja-jp/free/) することができます。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "983a9955-f905-40cd-8ae6-9125d1df72bc",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8558b8cb-29c5-4e8d-afbf-84a853de0631",
   "metadata": {},
   "source": [
    "## 0. 準備 - Cognitive Services 接続情報を確認"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b72a98a7-1ef4-486c-bab0-72a42d12446b",
   "metadata": {},
   "source": [
    "最初に Cognitive Services への接続情報が正しく設定されているかを確認します。\n",
    "\n",
    "接続情報が設定されていれば、以下のセルを実行するとエンドポイントとキーの値が表示されます。\n",
    "\n",
    "- エンドポイント・・・ \"https://\" で始まる文字列\n",
    "- キー・・・英数字がランダムに並んだ文字列\n",
    "\n",
    "接続情報がまだ設定されていない場合は、この Notebook を実行する前に以下の手順を先に実施してください。\n",
    "\n",
    "1. [**Cognitive リソースの作成**](./a01_createcog.ipynb)\n",
    "1. [**演習の環境構築**](./0_setup.ipynb)\n",
    "\n",
    "> 集合形式の演習ではあらかじめ接続情報が設定されているかもしれません。その場合は講師やスタッフから指示や連絡がありますので、それに従ってください。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5b364b0d-3749-4f07-84d6-ad609ffa4909",
   "metadata": {},
   "outputs": [],
   "source": [
    "from dotenv import load_dotenv\n",
    "import os"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "60904982-f9a4-43d6-90fb-e8157afdb6c5",
   "metadata": {},
   "outputs": [],
   "source": [
    "load_dotenv()\n",
    "cog_endpoint = os.getenv('COG_SERVICE_ENDPOINT')\n",
    "cog_key = os.getenv('COG_SERVICE_KEY')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "980f3ddb-2c7a-457f-ba6f-b6b10afd9b7a",
   "metadata": {},
   "outputs": [],
   "source": [
    "print(\"Endpoint: \" + cog_endpoint)\n",
    "print(\"Key: \" + cog_key)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bc034178-852e-4f69-bafc-9fbff83eed07",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c618aafd-d1c7-4ad7-a31f-df6c6fa7599b",
   "metadata": {},
   "source": [
    "## 1. 画像分析"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ed98b918-8575-44d3-b56d-67d1baa39703",
   "metadata": {},
   "source": [
    "AI の活用例としてよく取り上げられるのが **画像分析** です。\n",
    "\n",
    "画像分析は、\n",
    "\n",
    "- 画像に概要説明を付ける\n",
    "- 画像の特徴となるキーワードを答える\n",
    "- 人の顔の位置を答える\n",
    "- 人の年齢、性別などを推測する\n",
    "\n",
    "などを行うことです。\n",
    "\n",
    "画像データは AI で扱いやすく結果を目で見てわかることから、具体的に理解しやすい題材です。\n",
    "\n",
    "> 画像データは高解像度の写真だとしても事前にデータ量が分かります。\"機械的に処理しやすい\" (= 決まった手順で処理しやすい) のでコンピューターで扱いやすいデータです。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "af3df3e7-b0e4-4585-8d82-5d980ed14872",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "最初に、Cognitive Services の **Computer Vision** (画像処理を行う事前構築済みの学習モデル) を利用するためのパッケージを読み込みます。  \n",
    "一緒に Notebook 上に画像を表示するためのパッケージも読み込みます。\n",
    "\n",
    "パッケージとは、それぞれある機能を実現するために \"**いくつかの関数**\" をまとめたものです。  \n",
    "Python で利用できるパッケージは [**PyPI**](https://pypi.org/) に多数登録されていて、これらをインストールすることで毎回面倒なコードを書かなくても必要な機能を利用できるものです。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "94358f95-a3dc-445a-b50c-584007111dba",
   "metadata": {},
   "outputs": [],
   "source": [
    "from azure.cognitiveservices.vision.computervision import ComputerVisionClient\n",
    "from msrest.authentication import CognitiveServicesCredentials\n",
    "\n",
    "import matplotlib.pyplot as plt\n",
    "from PIL import Image\n",
    "%matplotlib inline"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "71e89e02-d1e6-43d9-adfe-8f9ae584272e",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "解析する画像ファイルを読み込んで、どのような画像なのか表示して確認してみます。\n",
    "\n",
    "> 余裕があれば、下のセルで image1.jpg を image2.jpg に変更して改めて実行してみてください。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "396fc5af-7982-4ec5-b352-d8a9dfeb9438",
   "metadata": {},
   "outputs": [],
   "source": [
    "image_path = os.path.join('data', 'image', 'image1.jpg')\n",
    "\n",
    "# 余裕があればこちらのように \"image2.jpg\" についても実行\n",
    "# image_path = os.path.join('data', 'image', 'image2.jpg')\n",
    "# image_path = os.path.join('data', 'image', 'ota_seo.jpg')\n",
    "# image_path = os.path.join('data', 'image', 'omori_seo.jpg')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5821b9b0-31d2-4cc9-b3ca-65dcf228499e",
   "metadata": {},
   "outputs": [],
   "source": [
    "img = Image.open(image_path)\n",
    "plt.axis('off')\n",
    "plt.imshow(img)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "39e04279-7434-49df-b6d2-90e58fbd0a08",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "Computer Vision に接続します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "f27620c0-152d-47aa-b635-30e8cd67eff5",
   "metadata": {
    "tags": []
   },
   "outputs": [],
   "source": [
    "# Get a client for the computer vision service\n",
    "computervision_client = ComputerVisionClient(cog_endpoint, CognitiveServicesCredentials(cog_key))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "53b5a43b-372d-44d6-bca4-d735f968de11",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "上の画像を Computer Vision に渡して分析します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "09565b12-06d4-4c53-b778-cab4c06e7116",
   "metadata": {},
   "outputs": [],
   "source": [
    "image_stream = open(image_path, \"rb\")\n",
    "\n",
    "features = ['Description', 'Tags', 'Faces']\n",
    "analysis = computervision_client.analyze_image_in_stream(image_stream, visual_features=features, language=\"ja\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d06afa1c-3bdd-43dd-af8c-bfca10ee4cc4",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "画像の説明を見てみます。  \n",
    "説明の **確からしさ** (=予測にどのくらい自信があるか) も合わせて表示します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "33f640d1-4f63-4bd5-9352-1a81fc2b3d9a",
   "metadata": {},
   "outputs": [],
   "source": [
    "for caption in analysis.description.captions:\n",
    "    print(f'{caption.text} ({(caption.confidence * 100):.1f}%)')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "571d677f-a353-47b8-9fba-868e8e7f911f",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "画像に写っているものを表示します。  \n",
    "それぞれの \"**確からしさ**\" も合わせて表示します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8e7ea08e-df18-48c2-8c4b-d8b3a101259e",
   "metadata": {},
   "outputs": [],
   "source": [
    "for tag in analysis.tags:\n",
    "    print(f'{tag.name} ({(tag.confidence * 100):.1f}%)')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d8df1afb-c547-4dc0-b6e3-2c225504ff8a",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "画像に写っている「人」について、以下の情報を表示します。\n",
    "\n",
    "- 顔が写っている人の人数\n",
    "- それぞれの人の顔の位置（赤枠で囲みます）\n",
    "- それぞれの人の年齢\n",
    "- それぞれの人の性別\n",
    "\n",
    "年齢、性別については予測なので正解とは限りません。（人間でも年齢、性別を正確に当てられないのと同じです）"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "661fc653-a604-457a-a817-ad8824c0fc74",
   "metadata": {},
   "outputs": [],
   "source": [
    "import matplotlib.patches as patches\n",
    "\n",
    "plt.axis('off')\n",
    "plt.imshow(img)\n",
    "\n",
    "ax = plt.gca()\n",
    "\n",
    "for face in analysis.faces:\n",
    "    bound = face.face_rectangle\n",
    "    rect = patches.Rectangle((bound.left, bound.top), bound.width, bound.height, linewidth=4, edgecolor='red', fill = False)\n",
    "    ax.add_patch(rect)\n",
    "\n",
    "plt.show()\n",
    "\n",
    "print(f'{len(analysis.faces)}人の人が写っています')\n",
    "\n",
    "for face in analysis.faces:\n",
    "    print(f'{\"男性\" if face.gender == \"Male\" else \"女性\"} {face.age}歳')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "10f915e8-3a3b-4508-8740-149de4e03376",
   "metadata": {},
   "source": [
    "> 上では if - else を 1行で記述しています。\n",
    ">\n",
    "> ```python\n",
    "> 条件が成立する時の値 if 条件式 else 条件が成立しない時の値  \n",
    "> ```  \n",
    ">\n",
    "> これを三項演算子といいます。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2f4b61f3-9e13-478d-8763-2571cdb91ec0",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d8a5b64c-a5a0-45b1-9d3a-cd10703ae9b4",
   "metadata": {},
   "source": [
    "## 2. 自然言語処理"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "813fa33a-b2ae-4bcb-9de6-86f1ef47d1b2",
   "metadata": {},
   "source": [
    "自然言語処理とは、人間の **話し言葉、書き言葉** を理解する能力のことです。\n",
    "\n",
    "画像処理に比べるとコンピューターで処理するのは難しいデータです。  \n",
    "データが終わるまでサイズ（文の長さ）がわからないなどの特徴があるため処理方法が複雑になりやすいからです。\n",
    "\n",
    "また特に日本語は、\n",
    "\n",
    "- 単語の区切りの位置がわかりづらい（英語だと単語ごとにスペースが入るので切れ目がわかる）\n",
    "- 語順の入れ替えが起こりやすい（「私はコンピューターで自然言語処理を行います」と「私は自然言語処理をコンピューターで行います」は同じ意味）\n",
    "- 文末まで意味が確定しないことがある（「私はそう思いま」に続くのが「す」か「せん」かで意味が逆転する）\n",
    "\n",
    "などのように自然言語処理でも特に難しい言語です。\n",
    "\n",
    "> 日本語の処理が難しいのはこの後の演習で実際に確認できます。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f4297638-fa9b-4a86-9c64-ba9a20ce781b",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "Cognitive Services の **Text Analytics** (自然言語処理を行う事前構築済みの学習モデル) を利用するためのパッケージを読み込みます。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "e0db1fed-3f6a-4467-b3bb-4c406ca85b95",
   "metadata": {},
   "outputs": [],
   "source": [
    "from azure.cognitiveservices.language.textanalytics import TextAnalyticsClient\n",
    "from msrest.authentication import CognitiveServicesCredentials"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "aad00597-bb33-4c52-802e-3e017d688c1c",
   "metadata": {},
   "source": [
    "演習で使用する文章を表示して確認してみます。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "1fc21b5e-5c61-4e63-adb2-9fb9238003b3",
   "metadata": {},
   "outputs": [],
   "source": [
    "review_folder = os.path.join('data', 'text')\n",
    "\n",
    "reviews = []\n",
    "for filename in os.listdir(review_folder):\n",
    "    if filename.endswith(\".txt\"):\n",
    "        text = open(os.path.join(review_folder, filename), 'r', encoding='UTF-8').read()\n",
    "        review = {\"id\": filename, \"text\": text}\n",
    "        reviews.append(review)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "feae70a7-7430-4441-bfd2-1d9103df7ad5",
   "metadata": {},
   "outputs": [],
   "source": [
    "for review in reviews:\n",
    "    print(f'--- {review[\"id\"]} ---\\n{review[\"text\"]}\\n')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "14fc679c-3fdc-494d-9e07-2b02260c8cbf",
   "metadata": {},
   "source": [
    "> 英語の文章が一つ、日本語の文章が二つ表示されるはずです。  \n",
    "> 英語の文章はポジティブ（好意的）な内容、日本語の文章はポジティブな内容のものとネガティブな内容のものであることを確認してください。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "16db068b-357c-406f-a358-1b2095cc749c",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "Text Analytics に接続します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8a932a87-07e8-45b6-8f09-d33b59f6a4d5",
   "metadata": {},
   "outputs": [],
   "source": [
    "text_analytics_client = TextAnalyticsClient(cog_endpoint, CognitiveServicesCredentials(cog_key))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "10d63edd-5802-444a-bfdb-dde46f11ee3c",
   "metadata": {},
   "source": [
    "上の文章を Text Analytics に渡します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c4595939-63f4-4ec0-82e4-997b97f7724f",
   "metadata": {},
   "outputs": [],
   "source": [
    "language_analysis = text_analytics_client.detect_language(documents=reviews)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7286d19d-4d97-4017-b21e-ac0888c80ded",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "それぞれの文章が何語で書かれているか予測します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "9b0bcb8a-c393-4485-84e4-bce3a07bee5f",
   "metadata": {},
   "outputs": [],
   "source": [
    "for review_num in range(len(reviews)):\n",
    "    lang = language_analysis.documents[review_num].detected_languages[0]\n",
    "    print(f'{reviews[review_num][\"id\"]}: {lang.name} ({(lang.score * 100):.1f}%)')\n",
    "    \n",
    "    reviews[review_num] = {\"id\": reviews[review_num][\"id\"], \"text\": reviews[review_num][\"text\"], \"language\": lang.iso6391_name}"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d4eb9222-311c-4b32-97b5-b69ba120c1c2",
   "metadata": {},
   "source": [
    "> 下の処理でそれぞれの文章のキーフレーズを抽出します。  \n",
    "> これについては何語で書かれているかを渡すほうが正確に処理できます。\n",
    ">\n",
    "> そこで\n",
    ">\n",
    "> ```python\n",
    ">  reviews[review_num] = {\"id\": reviews[review_num][\"id\"], \"text\": reviews[review_num][\"text\"], \"language\": lang.iso6391_name}\n",
    "> ```\n",
    ">\n",
    "> で、予測した言語を reviews リストの各要素に追加しています。(\"language\": ～ の部分)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "02a6d4a9-9ad8-4013-9a9c-80d7f4d21db5",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "それぞれの文章のキーフレーズ（主要な単語やフレーズ）を取得します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "c62cfc0a-ca12-47ef-aa77-cf7f2e5d5c69",
   "metadata": {},
   "outputs": [],
   "source": [
    "key_phrase_analysis = text_analytics_client.key_phrases(documents=reviews)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "a043182a-d382-4693-871e-43d6b764294f",
   "metadata": {},
   "outputs": [],
   "source": [
    "for review_num in range(len(reviews)):\n",
    "    print(f'{reviews[review_num][\"id\"]} のキーフレーズ:')\n",
    "\n",
    "    key_phrases = key_phrase_analysis.documents[review_num].key_phrases\n",
    "    # Print each key phrase\n",
    "    for key_phrase in key_phrases:\n",
    "        print('\\t', key_phrase)\n",
    "        \n",
    "    print()"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3273e881-bfbe-4b10-9f47-9065c2fcbc8f",
   "metadata": {},
   "source": [
    "---\n",
    "\n",
    "それぞれの文章の感情分析を行います。\n",
    "\n",
    "スコアが 50% (= 0.5) がニュートラル（中間）です。  \n",
    "100% (= 1.0) に近いほどポジティブな文章、0% (= 0.0) に近いほどネガティブな文章であることを意味します。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "11f63981-d0cf-45e7-8e5c-d08749744ad8",
   "metadata": {},
   "outputs": [],
   "source": [
    "sentiment_analysis = text_analytics_client.sentiment(documents=reviews)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "cc9c65a3-d810-4663-afdf-58802f7efa91",
   "metadata": {},
   "outputs": [],
   "source": [
    "for review_num in range(len(reviews)):\n",
    "    sentiment_score = sentiment_analysis.documents[review_num].score\n",
    "    sentiment = \"ネガティブ\" if sentiment_score < 0.5 else \"ポジティブ\"\n",
    "    print(f'{sentiment_analysis.documents[review_num].id}: {sentiment} ({(sentiment_score * 100):.1f}%)')"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b1c6d45e-b1d6-4a92-a10e-5a6ccb513c9b",
   "metadata": {},
   "source": [
    "> 日本語の処理は難しいため、英語に比べてポジティブ、ネガティブとも 50% に近い値になる傾向があります。"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c26abfce-f553-40fc-bc49-1fcc45c93b3a",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a1a58000-1534-4aa2-86ca-9a87778fba57",
   "metadata": {},
   "source": [
    "一般に AI 開発には数学や統計学の知識とプログラミングのスキルが必要です。  \n",
    "しかし事前構築済みの AI である Cognitive Services を利用すると、画像や自然言語を分析することが比較的簡単にできることが分かったと思います。  \n",
    "\n",
    "解きたい問題（＝コンピューターにやらせたいこと）によって、事前構築済みの学習済みモデルを使うほうがよいものと開発者が学習モデルを作るほうがよいものとがあります。  \n",
    "それらの使い分けや学習モデルの開発方法などは今回は扱いませんが、まずは AI で何ができるのかを体験できたと思います。\n",
    "\n",
    "興味がある方は Cognitive Services のドキュメントや AI の基礎の勉強用サイトを活用してみてください。\n",
    "\n",
    "- [Cognitive Services のドキュメント](https://docs.microsoft.com/ja-jp/learn/browse/?products=azure-cognitive-services)\n",
    "- [AI の基礎 (認定資格 AI-900 の勉強用サイト)](https://docs.microsoft.com/ja-jp/users/seosoft/collections/3goyt00qjmxk7m)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5d48aadf-36a5-4f89-a6d4-59058876d9e9",
   "metadata": {},
   "source": [
    "---"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6e3e6b1c-abdc-414c-87a3-514af46d7a12",
   "metadata": {},
   "source": [
    "Cognitive Services リソースを自分で作成した場合は、演習終了後に削除してください。  \n",
    "削除の手順は [こちら](102_deletecog.ipynb) です。\n",
    "\n",
    "集合演習などであらかじめ Cognitive Services リソースが用意されていた場合は、特に何もする必要はありません。"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3.8.13 ('PythonAITraining')",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.13"
  },
  "vscode": {
   "interpreter": {
    "hash": "89270f643956547c0f00f20c18e90743d597fb6aab64504e91ca46a298f4926c"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}