Deep Learning実装祭り!! に参加してきた

2017/02/18

なにわtech道 Deep Learning実装祭り!! に参加してきたのでそのメモ

TensorFlowで分かるディープラーニング

google 佐藤一憲　

  • 脳みそのニューラルネットを人工的に模した物
  • データ分類の傾き(２次元・線形の場合、ニューラルネットで言う重み）を人間がやっていたのを学ばせる
  • 勾配降下法
  • google could datalabを使ったデモ
    * １段のニューラルネット

    • 手書き数字画像から数字を判断
    • 784枚の学習画像、0-9の10枚の正解（ラベル）画像
    • y = softmax(Wx+b)
    • いきなりTensorFlowやるよりは、まずはオライリー、ゼロから始まるディーブラーニング、がおすすめ
    • softmaxとは、1-10までの数値確率っぽいもの。すべてを足して１にする。
    • トレーニング
      • cross_entry = 判定時にどれぐらい間違ってるか。wを正解に近づけていく。
      • 勾配降下法
      • 学習先環境（gpu,cpu,tpu）とセッションを作る
    • test
      • accuracy 正解精度 91%
  • true/falseではない、モヤッとしたデータをプログラムで扱える、というパラダイム・感覚が面白い
  • 同僚の複数段デモ
    • 複数段にする意味。隠れ層を足す。非線形も扱える。
    • 問題に寄るニューラルネットの層・ノード個数は適当
    • sigmodi関数よりreluのほうが学習効率がよい。理由は謎。
    • 学習率に変化をつける。初期は高め、収束していくと、小さく。アダム。learning rate decay。
    • overfitting過学習。dropout。ランダムにノードを削除する。91 -> 98
    • 畳み込みネットワーク。convolutional layer。画像をピクセルではなく、画像のままとらえる。99

黒魔術（笑）で学習精度を上げている、とのこと

世界初CEVA社 DSP XM-4で動かすニューラルネットワーク その実力とは

夏谷　実（パソナテック）

  • CEVA XM-4 とは、画像処理に強いプロセッサIP。汎用プロセッサに対するGPUの位置づけ。
  • XM-4の評価依頼,「あ〜ん」までの46文字を学習。cで書いた学習式をSM-4用に変換。
  • AlexNet 8層 googleNet 22層で検証

Intel FPGAのDeep Learning Accelerator IPとその開発手法紹介

竹村　幸尚　樣　(日本アルテラ株式会社) yukitaka.takemura@intel.com

  • FPGA
  • Deep Learning Accelerator IP 50-100万
  • tipベンダーなので２方向
    • クラウド分析
    • 交通の安全性
  • FPGAなので、色んなネットワークに対応
    • AlexNet
    • GoogleNet
  • フレームワークCaffe
  • 様々な要求への対応
    • 画像サイズ
    • フレームレート
    • 精度
    • 電力
    • etc
  • FPGA
    • DSP
    • ブロックRAM （ここを上手く使わないとGPUに勝てない
    • プログラマブル配線
  • CNNにFPGAに適している理由
    • TFLOPの浮動小数点演算能力
    • 8TB/s のメモリチップ帯域
      （以下開発手法）
  • mpression OpenCL ラボ（マクニカ）

TensorFlowの量子化について

夏谷　実　(株式会社パソナテック)

  • TFUG(TensorFlow Users Group)立ち上げようとしている
  • TPU
  • 量子化を利用して計算速度向上
  • AWS FPGS
  • NPU,ALU

モルフォのディープラーニング分野での取り組み

森広　英和　樣　 (株式会社モルフォ　ネットワークサービス事業部　副事業部長)

  • 事業内容、画像処理技術の研究開発、製品開発、ライセンシング
    • Sumsung,LG,NTT
    • デンソー
    • 画質評価88点等、去年までトップ。今年、google pixelが89
  • 実績
    • 「マイポケット」写真自動分類（５７種類）サービス。
      • 七五三、入学式、誕生日、結婚式、お正月、クリスマス、宴会、お祭り、温泉、etc
    • 構造物劣化診断
    • 製造業・外観検査。良品不良品判定。既存アルゴリズムはチューニングに時間がかかる。
    • 成人向けサイトフィルター
    • グルメ情報サービス
  • 99.9%の認識率が求められる
  • PDCA特徴
    • GPU無しでもCPUで高速動作
    • プラットフォームごとに最適化したCライブラリ
      • Linux,Windows,Android,iOSなど
    • アクティベーションマップ
      • ニューロンの興奮度の可視化。ご認識時のフィードバック用。
  • 西日本地域はアイテック阪急阪神様と業務提携

質問

  • 99.9%精度の上げ方は？
    • 入力画像の前処理・用意
  • 画像データ用意できない場合は？
    • 人工的に作る
    • エンジンだけ提供して、お客様で学習させる
    • 学習の精度を上げるコンサルティング

    AI・IoT時代の新型OS「OPTiM Cloud IoT OS」を活用したディープラーニング事例

    山本　大祐　樣　（株式会社オプティム　執行役員）

    • 会社紹介
      • 130名八割がエンジニア
      • 東証１部上場
        • NTT フレッツ光設定マニュアル
      • AIを活用し自動でインターネット接続。様々なルータに対応
    • MDMトップシェア
    • Iot プラットフォームサービス
      • MDMにモバイルをデバイスに広げてiot市場へ
    • 山本さん
      • OPTiM Cloud IoT OS 責任者
      • IPAスーバークリエイタ
    • 農業：病害虫検知
      • 害虫駆除
      • 撮影により食われた野菜の検知
      • ピンポイント農薬散布
    • 医療：眼底診断
      • 熟練度に依る判断のばらつきを、画像解析で精度アップ。
    • 課題
      • 精度
      • 性能とコスト
    • AIエンジニアは時間がない 。精度を上げる作業で。そこでOPTiM Cloud IoT OS。
    • OPTiM Cloud IoT OS
      • デバイス管理
      • リスト・地図から映像選択。映像にアドオン（害虫検知・人の人数検知）

    農業AIハッカソンをやってみた

    持田　宏平　樣　 (株式会社セラク　みどりクラウド事業部　事業部長)

    • みどりクラウド
      • 収量アップのための８項目のデータ収集
      • アラート
      • 初期費用68000〜
      • ガラケー対応
      • Azure Pass
    • 負けない農業から儲かる農業へ
      • 農業アイデアハッカソン
      • 農業ビッグデータ+AIの可能性
      • 2016/12 ハッカソン実施 様々なアイデア、農業AIが出来る前提
    • 農業AIハッカソン @ TFUG
      • 飽差（あとどれだけ空気中に水分が含めれるか）が適切な値が光合成が活発
      • 飽差予測AI
      • TensorFlow環境、AzureGPU2枚挿しのVM２台

    総評

    deep learningの学習させ方、と、deep learningの実際の導入事例の２つの側面どちらも聞けて有意義なイベントでした。前者はまだまだわからない点が多いので、今後も勉強が必要そうです。

    あと、機械学習をさせるのって

    • いわゆるAIエンジニア。パラメータ・手法のチューニング
    • 入力データ・前処理・データ管理

    が、いて、前者は前者で手一杯になるので、以外に後者の仕事も必要になるんだなというのが分かりました。
    あとパソナテックさんのセミナールームまでの空間はなんだか不思議な場所でした。。。

    こちらの記事もどうぞ