Intelハードウェア全体でディープラーニングモデルを最適化して展開する
トレーニング済みモデルを中間形式に変換し、Model OptimizerおよびInference Engineを使用して高性能推論を実行し、CPU、GPU、NPUを処理します。インテル社は、このオープンソースツールキットをデスクトップおよびエッジ開発のために提供しており、PythonおよびC++ APIとVisual Studio統合を備えています。TensorFlow、PyTorch、ONNX、Keras、PaddlePaddleをサポートし、量子化およびGenAIデプロイメントツールが含まれています。このツールキットは、低遅延で高スループットの推論を目指すインテルベースのハードウェアをターゲットとするAI開発者およびエンジニアに適しています。
OpenVINOは展開されたモデルに何をしますか？
OpenVINOはモデルを変換し準備します。Model Optimizerを使用して、TensorFlow、PyTorch、ONNX、Keras、およびPaddlePaddleのアーティファクトを中間表現に翻訳します。さらに、Neural Network Compression Frameworkは量子化やその他の最適化を適用してモデルのサイズを削減します。その後、Inference EngineはサポートされているIntelプロセッサーおよびグラフィックス上でこれらのIRファイルを実行し、同じ変換されたモデルが異なるIntelデバイスで動作できるようにします。
推論中にシステムのパフォーマンスに影響しますか？
ツールキットは最適なIntelデバイスへの実行をルーティングします。これにより、CPU、統合またはディスクリートGPU、またはNPUが推論を実行できます。Intel Core、Xeon、AtomプロセッサーおよびArc、UHD、またはIris Xeグラフィックスのサポートは明示的であり、Inference Engineはデバイスに適したプリミティブをターゲットにして、ランタイム中のレイテンシを低下させ、スループットを向上させます。開発者はCPUの負荷とアクセラレーターの使用をバランスさせるためにデバイス固有のバックエンドを選択できます。
生産環境にとって安全で管理可能ですか？
OpenVINOはオープンソースライセンスの下で動作し、開発者のワークフローと統合します。PythonおよびC++ APIとVisual Studioフックを通じて。ツールキットは実行前にモデルの変換と最適化ステップを提供し、ランタイム中に生産バイナリを変更する必要を減らします。Open Model Zooは事前にトレーニングされたモデルを提供し、OpenVINO GenAIは生成モデルのためのパイプラインを追加します。これにより、チームは未テストのモデルバイナリを直接展開する代わりに、検証済みの資産を再利用できます。
インテルに焦点を当てたAIチームに適している; モデルとデプロイメントのノウハウが必要
このツールキットは、高性能な推論をインテルハードウェア上で行う必要がある開発者やデータサイエンティストに適しています。また、モデル変換ステップやデバイス選択に取り組むことができる人に向いています。唯一の注意点は、モデル最適化ワークフローに不慣れなチームは学習曲線に直面することです。なぜなら、このプロセスはモデルをIRフォーマットに変換し、デプロイメントの前に圧縮ステップを適用する必要があるからです。
