pblo

ぴーぶろ : webデベロッパーの勉強メモとか

Deep Learning実装祭り!! に参加してきた

なにわtech道 Deep Learning実装祭り!! に参加してきたのでそのメモ

TensorFlowで分かるディープラーニング

google 佐藤一憲

  • 脳みそのニューラルネットを人工的に模した物

  • データ分類の傾き(２次元・線形の場合、ニューラルネットで言う重み）を人間がやっていたのを学ばせる

  • 勾配降下法

  • google could datalabを使ったデモ

    • １段のニューラルネット

  • 手書き数字画像から数字を判断

  • 784枚の学習画像、0-9の10枚の正解（ラベル）画像

  • y = softmax(Wx+b)

  • いきなりTensorFlowやるよりは、まずはオライリー、ゼロから始まるディーブラーニング、がおすすめ

  • softmaxとは、1-10までの数値確率っぽいもの。すべてを足して１にする。

  • トレーニング

  • cross_entry = 判定時にどれぐらい間違ってるか。wを正解に近づけていく。

  • 勾配降下法

  • 学習先環境（gpu,cpu,tpu）とセッションを作る

  • test

  • accuracy 正解精度 91%

  • true/falseではない、モヤッとしたデータをプログラムで扱える、というパラダイム・感覚が面白い

  • 同僚の複数段デモ

  • 複数段にする意味。隠れ層を足す。非線形も扱える。

  • 問題に寄るニューラルネットの層・ノード個数は適当

  • sigmodi関数よりreluのほうが学習効率がよい。理由は謎。

  • 学習率に変化をつける。初期は高め、収束していくと、小さく。アダム。learning rate decay。

  • overfitting過学習。dropout。ランダムにノードを削除する。91 -> 98

  • 畳み込みネットワーク。convolutional layer。画像をピクセルではなく、画像のままとらえる。99

黒魔術（笑）で学習精度を上げている、とのこと

世界初CEVA社 DSP XM-4で動かすニューラルネットワーク その実力とは

夏谷　実（パソナテック）

  • CEVA XM-4 とは、画像処理に強いプロセッサIP。汎用プロセッサに対するGPUの位置づけ。

  • XM-4の評価依頼,「あ〜ん」までの46文字を学習。cで書いた学習式をSM-4用に変換。

  • AlexNet 8層 googleNet 22層で検証

Intel FPGAのDeep Learning Accelerator IPとその開発手法紹介

竹村　幸尚　樣　(日本アルテラ株式会社) yukitaka.takemura@intel.com

  • FPGA

  • Deep Learning Accelerator IP 50-100万

  • tipベンダーなので２方向

  • クラウド分析

  • 交通の安全性

  • FPGAなので、色んなネットワークに対応

  • AlexNet

  • GoogleNet

  • フレームワークCaffe

  • 様々な要求への対応

  • 画像サイズ

  • フレームレート

  • 精度

  • 電力

  • etc

  • FPGA

  • DSP

  • ブロックRAM （ここを上手く使わないとGPUに勝てない

  • プログラマブル配線

  • CNNにFPGAに適している理由

  • TFLOPの浮動小数点演算能力

  • 8TB/s のメモリチップ帯域

（以下開発手法）

  • mpression OpenCL ラボ（マクニカ）

TensorFlowの量子化について

夏谷　実　(株式会社パソナテック)

  • TFUG(TensorFlow Users Group)立ち上げようとしている

  • TPU

  • 量子化を利用して計算速度向上

  • AWS FPGS

  • NPU,ALU

モルフォのディープラーニング分野での取り組み

森広　英和　樣　 (株式会社モルフォ　ネットワークサービス事業部　副事業部長)

  • 事業内容、画像処理技術の研究開発、製品開発、ライセンシング

  • Sumsung,LG,NTT

  • デンソー

  • 画質評価88点等、去年までトップ。今年、google pixelが89

  • 実績

  • 「マイポケット」写真自動分類（５７種類）サービス。

  • 七五三、入学式、誕生日、結婚式、お正月、クリスマス、宴会、お祭り、温泉、etc

  • 構造物劣化診断

  • 製造業・外観検査。良品不良品判定。既存アルゴリズムはチューニングに時間がかかる。

  • 成人向けサイトフィルター

  • グルメ情報サービス

  • 99.9%の認識率が求められる

  • PDCA特徴

  • GPU無しでもCPUで高速動作

  • プラットフォームごとに最適化したCライブラリ

  • Linux,Windows,Android,iOSなど

  • アクティベーションマップ

  • ニューロンの興奮度の可視化。ご認識時のフィードバック用。

  • 西日本地域はアイテック阪急阪神様と業務提携

質問

  • 99.9%精度の上げ方は？

  • 入力画像の前処理・用意

  • 画像データ用意できない場合は？

  • 人工的に作る

  • エンジンだけ提供して、お客様で学習させる

  • 学習の精度を上げるコンサルティング

AI・IoT時代の新型OS「OPTiM Cloud IoT OS」を活用したディープラーニング事例

山本　大祐　樣　（株式会社オプティム　執行役員）

  • 会社紹介

  • 130名八割がエンジニア

  • 東証１部上場

  • NTT フレッツ光設定マニュアル

  • AIを活用し自動でインターネット接続。様々なルータに対応

  • MDMトップシェア

  • Iot プラットフォームサービス

  • MDMにモバイルをデバイスに広げてiot市場へ

  • 山本さん

  • OPTiM Cloud IoT OS 責任者

  • IPAスーバークリエイタ

  • 農業：病害虫検知

  • 害虫駆除

  • 撮影により食われた野菜の検知

  • ピンポイント農薬散布

  • 医療：眼底診断

  • 熟練度に依る判断のばらつきを、画像解析で精度アップ。

  • 課題

  • 精度

  • 性能とコスト

  • AIエンジニアは時間がない 。精度を上げる作業で。そこでOPTiM Cloud IoT OS。

  • OPTiM Cloud IoT OS

  • デバイス管理

  • リスト・地図から映像選択。映像にアドオン（害虫検知・人の人数検知）

農業AIハッカソンをやってみた

持田　宏平　樣　 (株式会社セラク　みどりクラウド事業部　事業部長)

  • みどりクラウド

  • 収量アップのための８項目のデータ収集

  • アラート

  • 初期費用68000〜

  • ガラケー対応

  • Azure Pass

  • 負けない農業から儲かる農業へ

  • 農業アイデアハッカソン

  • 農業ビッグデータ+AIの可能性

  • 2016/12 ハッカソン実施 様々なアイデア、農業AIが出来る前提

  • 農業AIハッカソン @ TFUG

  • 飽差（あとどれだけ空気中に水分が含めれるか）が適切な値が光合成が活発

  • 飽差予測AI

  • TensorFlow環境、AzureGPU2枚挿しのVM２台

総評

deep learningの学習させ方、と、deep learningの実際の導入事例の２つの側面どちらも聞けて有意義なイベントでした。前者はまだまだわからない点が多いので、今後も勉強が必要そうです。

あと、機械学習をさせるのって

  • いわゆるAIエンジニア。パラメータ・手法のチューニング

  • 入力データ・前処理・データ管理

が、いて、前者は前者で手一杯になるので、以外に後者の仕事も必要になるんだなというのが分かりました。

あとパソナテックさんのセミナールームまでの空間はなんだか不思議な場所でした。。。