テクノロジー業界では、誰かが推論、人工知能 (AI)、機械学習 (ML) について言及せずに会話をすることはほとんどできません。ただし、これらの用語はすべて相互に関連している一方で、大きく異なることに注意することが重要です。
この記事では、基本的な違いを説明し、特にエッジ システムや組み込みシステムにおいてテンソル処理ベースのエッジ AI テクノロジーを使用することの重要性を強調します。{0}グラフィックス プロセッシング ユニット（GPU）に基づくソリューションと比較して、テンソル プロセッシング ユニット（TPU）は、より効率的でコスト効率の高いパフォーマンスを提供します。-また、将来エッジ AI ソリューションがどのような場合に使用されるかを示す使用例もいくつか提供します。
ML と推論の基礎
ML は、機械がタスクの実行方法を学習できるように、代表的なデータを使用してモデルをトレーニングする方法論を指します。このプロセスは計算量が非常に多くなり、新しいトレーニング データ ポイントごとに何兆もの演算が生成される可能性があります。トレーニング プロセスの反復的な性質と、高精度を達成するために必要な膨大なトレーニング データセットが組み合わされて、非常に高性能な浮動小数点処理の需要が高まっています。{2} ML トレーニングはデータセンター インフラストラクチャとして実装するのが最適です。この場合、多額の資本コストと運用コストを多数の顧客にわたって償却することで正当化できます。
推論には、トレーニングされたモデルを使用して、モデルがトレーニングされた代表的なデータに関連する新しいデータの潜在的な一致を生成することが含まれます。推論は、ミリ秒以内に迅速な回答を提供することを目的としています。推論の例には、音声認識、リアルタイム言語翻訳、マシン ビジョン、広告挿入の最適化の決定などがあります。-推論に必要な処理能力はトレーニングに必要な処理能力のほんの一部に過ぎませんが、特にコンピュータ ビジョン アプリケーションの場合、従来の中央処理装置 (CPU)- ベースのシステムが提供できる能力をはるかに超えています。このため、非常に多くの企業が、エッジで必要とされる 1 秒未満の応答時間を達成するために、SoC 上の IP として、または-システム アクセラレータ-として、テンソル-ベースのアクセラレーション ソリューション-に注目しているのです。現実には、ビジョン システムでの画像処理に 1 分や数秒を費やしてもあまり役に立ちません。産業用ビジョン システムは、ミリ秒-レベルの処理速度を求めています。
トレーニングと推論の分離
推論ワークロードを処理するためにトレーニングに使用したのと同じハードウェアをデプロイすると、アクセラレータと CPU ハードウェアを備えた推論マシンが過剰にプロビジョニングされる可能性があります。{0}過去 10 年間に ML 用に開発された GPU ソリューションは、ML 推論テクノロジーの大規模な展開には必ずしも最適な選択肢ではありません。-以下の図は、TPU アクセラレータと GPU アクセラレータの比較を完全に示しています。これは、TPU アクセラレータが、GPU- ベースの AGX ソリューションと比較して、低消費電力、低コスト、高効率を実現しながら、推論アプリケーションに魅力的なパフォーマンス レベルを提供していることを明確に示しています。
ML トレーニングおよび推論ソリューションに取り組む際のもう 1 つの重要な考慮事項は、ソフトウェア環境です。現在、NVIDIA GPU 用の CUDA、TensorFlow や PyTorch などの ML フレームワーク、Keras などの最適化されたクロスプラットフォーム モデル ライブラリなど、多数の人気のあるライブラリが使用されています。-これらのツールキットは ML モデルの開発とトレーニングに不可欠ですが、推論アプリケーションには別の小規模なソフトウェア ツール セットが必要です。
推論ツールキットは、ターゲット プラットフォーム上でモデルを実行することに重点を置いています。これらは、トレーニングされたモデルのプラットフォームへの移植をサポートします。これには、一部のオペレーター変換、量子化、およびホスト統合サービスが含まれる場合があります。ただし、これは、モデルの開発やトレーニングに必要な機能と比較して、比較的単純な機能セットを表します。
推論ツールは、モデルの標準化された表現から始めると利点が得られます。 Open Neural Network Exchange (ONNX) は、ML モデルを表現するための標準形式です。名前が示すように、これは Linux Foundation プロジェクトとして管理されるオープン スタンダードです。 ONNX のようなテクノロジーにより、トレーニング システムと推論システムの分離が可能になり、開発者はそれぞれに最適化された異なるプラットフォームを自由に選択できるようになります。
ビジュアルアプリケーションの例
ML および推論プロセッサーテクノロジーが進歩し進化し続けるにつれて、アプリケーションは急増しています。以下は、将来このテクノロジーに遭遇する可能性のある場所のほんの一部です。
工場、病院、小売店、金融機関などの企業内のエッジサーバー。たとえば、産業環境では、AI は在庫管理、欠陥検出、さらには問題が発生する前の予知保全を支援できます。小売業では、コンピュータ ビジョンを使用して人間の姿勢を検出および分析する姿勢推定などの機能が可能になります。この分析のデータは、実店舗の小売業者が店舗内の人間の行動や客足をよりよく理解するのに役立ち、売上と顧客満足度を最大化するために店舗レイアウトを最適化できるようになります。
ロボット工学、産業オートメーション / 検査、医療用イメージング、科学用イメージング、監視および物体認識カメラ、フォトニクスなどのアプリケーション向けの高精度/高品質イメージング。-たとえば、機械学習手法は、デジタル X 線を処理することでがんを検出できることが実証されています。-このプロセスには、X 線画像を処理するように設計された ML モデルの開発が含まれます。通常は、訓練されたセマンティック セグメンテーション アルゴリズムを使用して癌性病変を識別します。トレーニング中に、放射線科医によって特定されたがん画像は、何ががんではないのか、何ががんなのか、さまざまな種類のがんがどのように現れるのかをネットワークに教えるために使用されます。 ML モデルがトレーニングされるほど、正しい診断を最大限に高め、誤診を最小限に抑えることが向上します。これは、機械学習がインテリジェントなモデル設計だけでなく、がんが専門的に特定された慎重に精選された膨大な量（数万から数百万）のデータ例にも同様に依存していることを意味します。
スマート ショッピング カート-いくつかの企業が、UPC バーコードではなく、パッケージ自体の外観によって商品を認識するインテリジェント ショッピング システムを開発、導入しています。この機能により、買い物客は、UPC コードを見つけて UPC レーザー スキャナーでスキャンする必要がなく、商品をカートまたはチェックアウト システムに置くだけで済みます。このテクノロジーにより、ショッピングプロセスがより正確、より速く、より便利になります。
正しい決断を下す
企業は現在利用可能なすべてのソリューションを評価し、特定のユースケースに基づいて最適なソリューションを選択する必要があります。また、TPU- ベースのソリューションは処理効率が高く、シリコン使用率が低いため、消費電力とコストが削減されるため、すべての AI ソリューションが GPU デバイスに最適に実装されると単純に想定することはできません。