MLOpsにおける5つの課題

by Canonical on 10 May 2023

ChatGPTが軌道に乗って以来、AI/ML市場の人気が一気に上昇しました。しかし、そんなに簡単にプロジェクトを始められるのでしょうか? そもそも大規模にAIを導入するには何が必要なのでしょうか? 機械学習のワークフローを自動化するのが MLOps(Machine Learning Operations)です。

MLOpsを導入するには(DevOpsと同様)、異なる考え方や作業方法を受け入れる必要があります。しかし、MLOpsやDevOpsの投資効果はその労力に値します。全体を見ると、2つの点を考慮する必要があります。まず、MLOpsは比較的新しい概念なので、導入の過程で困難に直面するのは当然です。しかし一方、MLOpsは非常に速いスピードで進化しているため、毎日のように新しいソリューションが生まれています。このブログでは、企業が一般に抱える問題、そしてその解決方法について検討します。次のような疑問について掘り下げてみましょう。

MLOpsの課題1:人材不足

Glassdoorでは、さまざまなレベルの経験、学習、スキルを必要とするデータサイエンス関連の求人が3万件、MLエンジニア関連の求人が1万5,000件も見つかります。データサイエンスに関わる仕事は非常に条件が良く、求人も豊富です。

このデータを別の角度から分析すると、企業は機械学習プロジェクトを進めるため、労働力にも投資していることがわかります。AIプロジェクトを優先し、設備だけでなく人材にも投資しているのです。しかし、これによって優秀な人材の採用や、MLやデータサイエンスに特化したチームの定着にも問題が生じています。人材不足と従業員の離職は、MLプロジェクトの遂行や新しいプロジェクトの準備時間にも影響を及ぼします。

業界には競争があるため、この問題の解決は容易ではありませんが、リモート社員として高スキルの人材を確保するのも1つの手です。また、インターンシップや大学院課程を通じて、社内でスキルを磨くことができる若い人材を検討するのも良いでしょう。そのような長期的な戦略ではなく、短期的な解決策として、人材紹介会社のコンサルティングサービスを利用してAIの導入に着手することもできます。自社の準備レベルに応じて、具体的な用途、MLOpsアーキテクチャ、あるいは概念実証についてアドバイスを求めましょう。

詳細はこちら

MLOpsの課題2:立ち上げ

多くの企業にとってはAIプロジェクトに着手すること自体が大仕事です。

AIの導入は新しいビジネスの開始と同じです。次の3つの質問に答えれば、具体的に何が目的なのかを明確に把握できます。

  • 解決しようとする問題は何か?
  • 現実的な期待事項があるのか?
  • 適切なデータはあるか?

つまり、AIプロジェクトを開始するには、まずゴールを意識し、それに向かってプロセスを構築することです。次に、AIに対する自社の準備度を評価し、独自の計画を立てます。欠けている要素、重要な要素、よくある落とし穴、インフラストラクチャの課題などを考慮すれば、自社にどれだけの準備があるかを詳細に理解できます。また、そのような検討はAIプロジェクト全体の計画にも役立ちます。最終的には、そこからチームの優先事項、予算、適切なスケジュールを作成します。

MLOpsの課題3:データ

データはあらゆるAIプロジェクトの中心であり、プロジェクトの成否を決める重要な要素です。データの品質とデータのアクセスポイントのどちらを評価する場合でも、妥当性チェックは必須です。データは今では至るところにあるように見えますが、多くの企業ではこれまで必ずしも優先されてきませんでした。そのため、データ収集のプロセスが明確に定義されず、データの質も一貫性も高くありません。

データの準備はそれほど容易ではないのです。データのガバナンス、収集、保存に関して、組織は大きな課題に直面することがあります。多くの場合、データは複数のソースから収集されるため、値や形式にばらつきが生じます。言い換えれば、機械学習モデルはそのような扱いの難しい大量のデータに依存しています。

データの問題を解決することには、さまざまなレベルで多くの意味があります。したがってデータを丁寧に扱うことが、成功の秘訣と言えます。データの不一致を抑え、データストレージを一元管理することで、データの準備が容易になります。また、データのバージョン管理は、データの変更によって生じる問題を防ぎます。

MLOpsの課題4:セキュリティ

多くの場合、機械学習は非常に機密性の高いデータやプロジェクトに基づいて運用されています。したがって、プロジェクトを長期的な成功に導くには、安全な環境の確保が不可欠です。IBMが最近発表したAIの導入に関するレポートでは、5社に1社がデータセキュリティの確保が難しいと感じています。この問題に取り組む人の数も増え、回答者の25%がセキュリティの専門家でした。

セキュリティに関して最も一般的な問題の1つが、時代遅れのライブラリです。複数の脆弱性が攻撃のチャンスを与えていることに、ユーザーが気づいていない場合もあります。

もうひとつセキュリティの穴となるのが、適切に保護されていないモデルのエンドポイントやデータパイプラインです。ここから不特定多数の人がデータにアクセスし、機密性の高いメタデータが第三者に漏洩する恐れがあります。エンドポイントとは開発環境であり、明確なセキュリティ基準を持ち、プロジェクトだけでなくデータのセキュリティも確保することが重要です。

セキュリティはどのようなMLOps環境でも問題となります。したがって、プロジェクトの存続と実環境への導入には、セキュリティパッチとサポートを提供するソフトウェアが不可欠です。また、マルチテナンシーオプションを備えたツールを使用することで、内部環境やデータのプライバシーのほか、一般大衆に対して機密性を確保すべき多様なプロジェクトの安全性を確保できます。

MLOpsの課題5:規模の拡大

McKinseyが2022年に発表したAIの現状に関するレポートによれば、多くの組織がすでにAIの実験段階を終え、企業アプリケーションに積極的に組み込んでいます。企業がAIプロジェクトに強い意欲を持っていることは確かですが、企業がどれだけの知識や大規模な運用の能力を持っているかには多くの疑問が残ります。モデルのデプロイや監視のワークフロー、ツール、プロジェクトをサポートするインフラストラクチャなど、企業は迅速に適応し、新しいプロセスを習得する必要があります。

機械学習では、オープンソースが好まれる傾向があります。利用可能なオープンソースのプラットフォームとしては、Charmed KubeflowのようなエンドツーエンドのMLOpsプラットフォームが挙げられます。Charmed Kubeflowは、データサイエンティストがよく使うツール群を備えており、自動化、モニタリング、アラート、統合、デプロイといった規模の拡大に関する複数のニーズに対応しています。最も一般的なMLOpsの課題を解決するのに最適な製品です。

MLOpsの詳細

ニュースレターのサインアップ

Ubuntuニュースレターの配信登録

お客様が購読登録を行われる場合、以下の条件に同意されたことになります。Canonicalのプライバシーに関するお知らせ個人情報保護ポリシー

関連記事

機械学習のセキュリティリスクの概要

データはあらゆる機械学習(ML)プロジェクトの要であり、悪人もそれを知っています。技術者の間でAIが常に話題になるとともに、MLシステムは攻撃の標的としても注目を集めています。Identity Theft Resource Center(ID窃盗リソースセンター)の報告によれば、2023年にはデータ漏えいが72%も増加しており、MLプロジェクトが恰好の攻撃経路とならないよう適切な対策を施すことは極めて重要です。このブログ記事では、機械学習のセキュリティリスクについて説明し、主要な脅威と課題に言及します。しかし、悲観的な話だけでなくベストプラクティスにも目を向け、オープンソースの役割も含め、可能なソリューションを探求します。 機械学習の攻撃対象領域 あらゆるテクノロジーには […]

PostgreSQLをAIに活用

AIを扱うことはデータを扱うこと。数値データから動画や画像まで、業界や用途を問わず、AIプロジェクトは何らかの形でデータに依存します。問題は、そのデータをどうやって効率的に保管し、モデルを構築する際に使用するかです。解決策の1つは、実績があり、愛好者の多いデータベースであるPostgreSQLです。近年の開発により、AIをサポートする有力な選択肢になっています。 PostgreSQLを選ぶべき理由 PostgreSQLはオープンソースで高機能のデータベースシステムです。外部キー、サブクエリ、トリガーのほか、さまざまなユーザー定義型や関数をサポートしています。近年はデータベース分野で人気を高め、2023年には年間最優秀データベース管理システム(DBMS)に選出されました。 […]

VMwareの料金にお困りのあなた: UbuntuでVMを便利に運用しよう

[ウェビナー] VMwareの料金にお困りのあなた:UbuntuでVMを便利に運用しよう 日時:2024年8月7日(水)15:00~16:00費用:無料お申し込み Ubuntuは世界中で高いシェアを持つLinuxディストリビューションです。近年では、CentOSの開発打ち切り(CentOS Streamへの移行)、RHELのソースコード公開ポリシーの変更、VMwareの料金体系の変更等に伴い、Ubuntuに乗り換える方も多く、日本国内でも注目度がますます高まっています。 本Webinarでは、NTTテクノクロス社で日頃からUbuntuに関わる業務に携わっている技術者がスピーカーとなり、Ubuntuが提供する様々なツールの紹介や、Ubuntuを商用利用する場合に重要となる脆 […]