クラウド技術の発展に伴い、多くの企業が柔軟で拡張性の高いインフラ構築のため、OpenStackベースのプライベートクラウドを導入しています。OpenStackはIaaS(Infrastructure as a Service)の強力なソリューションですが、その複雑な分散アーキテクチャにより、運用および管理には相当な専門性が求められます。特に、数百、数千の仮想マシン(VM)とコンピュートノードを含む大規模なOpenStackクラスターにおいて、ハイパーバイザーのvCPU、メモリ、ストレージといった主要なリソース状況をリアルタイムで把握し最適化することは、安定したサービス運用に不可欠です。しかし、OpenStackはデフォルトでPrometheusが要求するスクレイピング(scrape)エンドポイントを提供していないため、このようなリアルタイムモニタリングにはカスタムExporterの開発が避けられません。本ポストでは、実際に運用中のOpenStackクラスター環境でPrometheusとGrafanaを活用し、ハイパーバイザーのリソース状況を効果的に可視化・管理する実践経験とノウハウを詳細に共有いたします。
主要データ
大規模なOpenStackプライベートクラウドを効率的に運用するためには、現在のクラスターのリソース使用状況を正確に理解することが重要です。下記の表は、現在運用中のOpenStackクラスターの主要なリソース状況を示しています。このクラスターは合計10台のコンピュートノードで構成されており、相当な規模の仮想リソースを提供しています。
| 指標 | 全体リソース | 使用中のリソース | 使用率 |
|---|---|---|---|
| コンピュートノード数 | 10台 | - | - |
| 総vCPU | 480個 | 239個 | 49.8% |
| 総メモリ | 1,784GB | 895GB | 50.1% |
| 総VM数 | - | 639個 | - |
これらの数値は、クラスターの約50%のリソースが使用中であることを示しており、これは将来的な拡張のための余裕と、現在のリソース配分の効率性を分析する上で重要な基準点となります。VMの数が600個を超える環境では、個々のノードのリソース状況とサービス状態をリアルタイムでモニタリングすることが、より一層重要です。
トレンド分析
OpenStackモニタリングの必要性と従来の課題
OpenStackは企業内クラウド構築のための強力な選択肢として確立されましたが、その複雑性から運用およびモニタリングは依然として課題として残っています。特に、数百のVMと多数のコンピュートノードで構成される大規模なOpenStack環境では、リソースの効率的な管理とサービスの安定性確保が成功の鍵となります。vCPU、メモリ、ディスクI/Oなど、ハイパーバイザーの主要なリソース使用率をリアルタイムで把握することで、過負荷を事前に検知し、パフォーマンスの低下を防ぎ、適切なキャパシティプランニングを策定することが可能となります。
OpenStackはHorizonダッシュボードを通じて基本的なリソース状況を確認できますが、これはリアルタイム性に劣り、ヒストリカルデータを提供しないか、または限定的です。また、Prometheusのような最新のモニタリングシステムとの統合のための標準化されたメトリックエンドポイントをデフォルトでは提供していません。このため、運用チームは各ノードの状態を手動で確認したり、複雑なスクリプトを通じてデータを収集する非効率な方法を使用する必要がありました。このような限界を克服し、分散されたOpenStackクラスターの可視性を確保するためには、PrometheusとGrafanaのような専門的なモニタリングスタックの導入とともに、OpenStack APIを活用して必要なメトリックを抽出し、Prometheus形式に変換するカスタムExporterの開発が不可欠です。
カスタムOpenStack Exporterの開発と構築
OpenStackハイパーバイザーのリソース状況をPrometheusで収集するための重要なステップは、カスタムExporterを開発することです。このExporterは、OpenStackのNova APIとNeutron APIを呼び出して必要なメトリックを抽出し、Prometheusがスクレイピングできるテキストベースの形式に変換してHTTPエンドポイントを提供します。一般的にPython言語とopenstacksdkライブラリを活用して開発されます。
以下は、カスタムExporterが収集すべき主要なメトリックのリストです。
openstack_hypervisor_vcpus_total: 総vCPU数openstack_hypervisor_vcpus_used: 使用中のvCPU数openstack_hypervisor_memory_mb_total: 総メモリ(MB)openstack_hypervisor_memory_mb_used: 使用中のメモリ(MB)openstack_hypervisor_running_vms: 実行中のVM数openstack_instances_total: VM状態別(active, errorなど)の数openstack_nova_services_state: Novaサービス(nova-computeなど)の状態 (UP: 1, DOWN: 0)openstack_neutron_agents_alive: Neutronエージェント(neutron-dhcp-agentなど)のアクティブ状態 (alive: 1, dead: 0)
これらのメトリックを収集するためのExporterの主要なロジックは、以下のように実装することができます。OpenStack認証情報(OS_AUTH_URL, OS_USERNAME, OS_PASSWORD, OS_PROJECT_NAME, OS_USER_DOMAIN_NAME, OS_PROJECT_DOMAIN_NAME)を環境変数または設定ファイルから取得し、OpenStack APIに接続します。そして、Novaサービスのhypervisorsおよびservers API、Neutronサービスのagents APIを定期的に呼び出してデータを収集します。収集されたデータは、Prometheusクライアントライブラリを通じて、適切なラベル(例: hypervisor_hostname, state, service_name)とともにメトリックとして公開されます。
from prometheus_client import start_http_server, Gauge
import openstack
import os
import time
# OpenStack 연결 설정
# clouds.yaml 또는 환경 변수를 통해 인증 정보를 로드합니다.
# 예: os.environ['OS_AUTH_URL'], os.environ['OS_USERNAME'] 등
conn = openstack.connect(cloud='openstack')
# Prometheus Gauge 메트릭 정의
g_vcpus_total = Gauge('openstack_hypervisor_vcpus_total', 'Total vCPUs in OpenStack hypervisors', ['hypervisor_hostname'])
g_vcpus_used = Gauge('openstack_hypervisor_vcpus_used', 'Used vCPUs in OpenStack hypervisors', ['hypervisor_hostname'])
g_memory_total = Gauge('openstack_hypervisor_memory_mb_total', 'Total memory (MB) in OpenStack hypervisors', ['hypervisor_hostname'])
g_memory_used = Gauge('openstack_hypervisor_memory_mb_used', 'Used memory (MB) in OpenStack hypervisors', ['hypervisor_hostname'])
g_running_vms = Gauge('openstack_hypervisor_running_vms', 'Number of running VMs on hypervisors', ['hypervisor_hostname'])
g_instances_total = Gauge('openstack_instances_total', 'Total instances by state', ['state'])
g_nova_service_state = Gauge('openstack_nova_services_state', 'Nova service state (1=UP, 0=DOWN)', ['service_name', 'host'])
g_neutron_agent_alive = Gauge('openstack_neutron_agents_alive', 'Neutron agent alive state (1=Alive, 0=Dead)', ['agent_type', 'host'])
def collect_metrics():
# 하이퍼바이저 자원 정보 수집
hypervisors = conn.list_hypervisors(details=True)
for hv in hypervisors:
# AZ 정보는 hv.hypervisor_hostname으로 대체될 수 있습니다. 실제 환경에 따라 레이블 조정 필요
g_vcpus_total.labels(hv.hypervisor_hostname).set(hv.vcpus)
g_vcpus_used.labels(hv.hypervisor_hostname).set(hv.vcpus_used)
g_memory_total.labels(hv.hypervisor_hostname).set(hv.memory_mb)
g_memory_used.labels(hv.hypervisor_hostname).set(hv.memory_mb_used)
g_running_vms.labels(hv.hypervisor_hostname).set(hv.running_vms)
# 인스턴스 상태별 수집
instance_states = {}
for server in conn.list_servers(details=True):
state = server.status
instance_states[state] = instance_states.get(state, 0) + 1
for state, count in instance_states.items():
g_instances_total.labels(state).set(count)
# Nova 서비스 상태 수집
nova_services = conn.list_services(service='nova')
for svc in nova_services:
state = 1 if svc.state == 'up' else 0
g_nova_service_state.labels(svc.binary, svc.host).set(state)
# Neutron 에이전트 상태 수집
neutron_agents = conn.list_agents()
for agent in neutron_agents:
state = 1 if agent.alive else 0
g_neutron_agent_alive.labels(agent.agent_type, agent.host).set(state)
if __name__ == '__main__':
start_http_server(9100) # 9100번 포트에서 메트릭 노출
print("OpenStack Exporter started on port 9100")
while True:
collect_metrics()
time.sleep(60) # 60초마다 메트릭 업데이트
上記のコードは簡素化された例であり、実際の運用環境では、例外処理、ロギング、設定管理、認証トークン更新ロジックなどが追加される必要があります。ExporterはOpenStackコントローラーノードまたは別途のモニタリングサーバーにデプロイされ、定期的に実行されるように設定されます。
Prometheusを活用したメトリック収集およびPromQLクエリ
カスタムOpenStack Exporterがメトリックを公開し始めたら、Prometheusサーバーがそのエンドポイントをスクレイピングするように設定する必要があります。Prometheusの設定ファイル(prometheus.yml)に、Exporterのアドレスとポートをscrape_configsセクションに追加します。
# prometheus.yml
scrape_configs:
- job_name: 'openstack-exporter'
static_configs:
- targets: ['<openstack-exporter-host>:9100'] # Exporter가 실행되는 호스트 IP 및 포트
Prometheusがメトリックの収集を成功裏に開始すると、強力なクエリ言語であるPromQLを使用してOpenStackクラスターの様々な状態を分析することが可能となります。以下に、実務で有用に活用できるPromQLクエリの例を挙げます。
- 総vCPU使用率: クラスター全体のvCPU使用率を計算し、キャパシティプランニングに活用します。
sum(openstack_hypervisor_vcpus_used) / sum(openstack_hypervisor_vcpus_total) * 100実際の運用クラスターでは、約49.8%の使用率を示しました。これは、約半分のvCPUが使用中であることを示しています。
- ノード別メモリ使用率: 各コンピュートノードのメモリ使用率を把握し、特定のノードの過負荷の有無を確認します。
openstack_hypervisor_memory_mb_used / openstack_hypervisor_memory_mb_total * 100 BY (hypervisor_hostname) - VM状態分布: 現在のクラスター内でVMがどのような状態(active, error, pausedなど)で分布しているかを確認します。
sum by (state) (openstack_instances_total) - Novaサービスダウン検知: Novaサービス(例: nova-compute)の状態をモニタリングし、サービス停止の有無を即座に検知します。
openstack_nova_services_state{service_name="nova-compute"} == 0このクエリは、
nova-computeサービスがダウン(0)した場合を検出します。これをPrometheus Alertmanagerと連携させることで、障害発生時に即座にアラートを受け取ることが可能です。
Grafanaダッシュボード構築および可視化戦略
Prometheusを通じて収集されたメトリックは、Grafanaダッシュボードを通じて直感的に可視化されます。効果的なOpenStackモニタリングのためのGrafanaダッシュボードは、運用担当者がクラスターの状態を一目で把握し、必要に応じて詳細情報へドリルダウンできるよう構成されるべきです。
推奨されるダッシュボード構成要素は以下の通りです。
- OpenStack Overviewパネル:
- 全体リソース状況: クラスター全体の総vCPU、使用中のvCPU、総メモリ、使用中のメモリ、総VM数などの主要指標を大きな数値パネルで表示します。
- AZ別リソース分布: DMZおよびINTERNALのように、アベイラビリティゾーン(Availability Zone, AZ)別にvCPUおよびメモリ使用量をパイチャートや棒グラフで可視化し、リソースの不均衡を容易に把握できるようにします。
- VM状態分布: VMの状態(active, error, pausedなど)別の数をパイチャートで表示し、異常なVMの割合を把握します。
- Nova/Neutronサービス状態: 主要なOpenStackサービスおよびエージェントの現在の状態(UP/DOWNまたはAlive/Dead)を表示し、サービス可用性をモニタリングします。
- ノード別詳細パネル: 各コンピュートノード別のvCPU使用率、メモリ使用率、実行中のVM数、ディスクI/Oなどをグラフで可視化し、特定のノードのパフォーマンスボトルネックや過負荷の有無を詳細に分析できるようにします。Grafanaの変数(variable)機能を活用し、特定のノードを選択するとそのノードの詳細情報を見られるように構成することが効率的です。
- 時系列トレンドパネル: vCPU使用率、メモリ使用率、VM作成/削除の推移など、主要指標の過去データを時系列グラフで表示し、長期的なトレンドを分析し、キャパシティ予測および計画に活用します。これは、将来のリソース要件を予測し、先手で対応する上で重要なインサイトを提供します。
特に、DMZ/INTERNAL AZのような実際の運用環境における区分は、Grafanaダッシュボードのフィルタリング機能や別途のパネル構成を通じて明確に表示することが重要です。これにより、各AZのリソース特性を考慮した最適な運用戦略を策定することが可能となります。
このようなモニタリング体制は、単なるデータ可視化を超えて、OpenStackクラスターの潜在的なリスクを早期に検知し、対応することに貢献します。例えば、openstack_nova_services_stateメトリックを通じてNovaサービスのダウンを検知した場合、これをSeekurity SIEM/SOARと連携させ、自動化されたアラートおよび対応プレイブックを実行することができます。Seekurity SIEMは、OpenStackの運用ログとExporterを通じて収集されたメトリックデータを統合分析し、潜在的な脅威を識別します。また、Seekurity SOARはこれらの脅威に対する即座の措置を自動化し、セキュリティ運用の効率性を最大化します。
産業別の影響
OpenStackベースのプライベートクラウドを活用する多様な産業分野において、このようなリアルタイムリソースモニタリングシステムは中核的な役割を果たします。
- 金融業界: 金融サービスは、高い可用性と安定性を要求します。リアルタイムOpenStackモニタリングは、取引システム、顧客データベースなど、基幹インフラのパフォーマンス低下を早期に検知し、障害発生時に迅速に対応することで、金融サービスの中断を最小限に抑えることに貢献します。また、ISMS-Pおよび電子金融監督規定など、コンプライアンス遵守のためには体系的なリソース管理と監査ロギングが不可欠であり、モニタリングデータはこれらの要件を満たす上で重要な証拠資料となります。
- 公共および公共機関: 公共分野では、大規模な市民向けシステムやデータプラットフォームをOpenStackで構築する事例が増加しています。安定した市民サービス提供のためには、リソース活用の透明性と効率性を確保する必要があり、国家情報院のセキュリティ適合性審査やクラウドセキュリティ認証(CSAP)のような規制環境において、システムの健全性を継続的に証明する必要があります。リアルタイムモニタリングは、これらの要件をサポートします。
- ITおよびインターネットサービス: 自社サービスインフラをOpenStackで運用するIT企業は、開発/テスト環境からプロダクション環境まで、様々なワークロードを管理しています。モニタリングは、開発およびデプロイメントパイプラインの効率性を高め、サービスの拡張性を保証し、トラフィック変化に応じたリソース自動拡張(auto-scaling)戦略の策定に不可欠なデータを提供します。
- 製造業: スマートファクトリー、IoTプラットフォームなど、製造工程のデジタル変革にOpenStackが活用されることで、生産設備データ処理および分析のための高性能コンピューティングリソースの安定した運用が重要になっています。リソースモニタリングは、製造工程の基幹システムのダウンタイムを削減し、データ処理効率を最大化することで、生産性向上に貢献します。
このように、産業別の特性によりモニタリングデータの活用方法は異なる場合がありますが、共通してサービスの可用性、パフォーマンス、セキュリティ、そしてコンプライアンス遵守のための必須的な基盤となります。
専門家による示唆
OpenStackハイパーバイザーのリソースモニタリングは、単純な技術実装を超え、クラウド運用の成熟度を高める重要なポイントです。
- 技術的観点: カスタムExporterの開発は、OpenStack APIに関する深い理解に基づいています。これは単にデータを取得するだけでなく、どのデータが運用に最も必要か、どのような方法で収集するのが効率的かという検討が先行されるべきであることを示唆しています。PrometheusとGrafanaの強力な機能を活用し、収集されたデータを即座の状況把握だけでなく、長期的なトレンド分析と予測に活用することが重要です。特に、リソース使用率メトリックを通じて、特定のノードのリソースボトルネックを事前に検知し、VMデプロイ戦略を最適化するために活用することができます。また、Nova/Neutronサービスの状態モニタリングは、クラスターの根幹となるサービスの可用性を保証する上で決定的な役割を果たします。
- ビジネス的観点: クラウドのリソース使用の透明性は、コスト効率に直結します。vCPUおよびメモリ使用率データを通じて、不必要に割り当てられているか、非効率的に使用されているリソースを特定し、これを最適化することで運用コストを削減することができます。また、リアルタイムモニタリングは、サービスの中断時間を最小限に抑え、潜在的なパフォーマンス問題を事前に解決することで、顧客満足度を高めることに貢献します。これは最終的にビジネス継続性(Business Continuity)に直結する重要な要素です。意思決定者は、このようなモニタリングシステム構築が単なる技術的な投資ではなく、サービス安定性の確保と運用効率の向上に向けた戦略的な投資であることを認識すべきです。
- セキュリティ観点: リソースモニタリングは、セキュリティ脆弱性管理および脅威検知においても重要な基盤を提供します。異常なリソース使用量の増加は、サービス拒否(DoS)攻撃やマルウェア感染の兆候である可能性があります。Seekurity SIEM/SOARのようなセキュリティソリューションは、OpenStackクラスターの運用ログだけでなく、Prometheusを通じて収集されたリソース使用量メトリックを統合して分析することができます。これにより、一般的なセキュリティイベントに加えて、インフラリソースの異常兆候に基づいたインテリジェントな脅威検知および自動対応体制を構築することが可能です。
対応戦略
OpenStackハイパーバイザーモニタリングシステムの成功的な構築と運用のための対応戦略は、短期的観点と中長期的観点に分けて策定することができます。
- 短期的な対応策(初期構築および安定化):
- カスタムExporterの優先構築: Nova APIを通じて主要なハイパーバイザーリソース(vCPU、メモリ、VM数)および主要サービス(Nova、Neutron)の状態を収集するExporterを開発・デプロイします。最小限の必須メトリックから開始し、安定性を確保します。
- Prometheusスクレイピング設定: 構築されたExporterをPrometheusが定期的にスクレイピングするように設定し、メトリック収集の正常性を確認します。
- 主要Grafanaダッシュボードの構成: OpenStack Overviewパネルを中心に、クラスター全体の主要なリソース状況とサービス状態を一目で把握できるダッシュボードを優先的に構築します。特にAZ別分布とVM状態分布を明確に可視化し、運用チームの即座の意思決定を支援します。
- アラート設定: Prometheus Alertmanagerを活用し、vCPU/メモリ使用率の閾値超過、Novaサービスのダウンなど、致命的なイベント発生時に担当者へ即座にアラートを送信するよう設定します。
- 中長期的な対応策(拡張および高度化):
- Exporter機能の拡張: ストレージ(Ceph)、ネットワーク(Neutron)など、より多様なOpenStackサービスおよびOpenStackコントローラーノードの詳細メトリック(API応答時間、DB接続状態など)をExporterに追加し、モニタリング範囲を拡張します。
- ダッシュボードの詳細化: ノード別詳細パネル、時系列トレンド分析パネルなど、Grafanaダッシュボードを高度化し、運用担当者が深いインサイトを得られるようにします。特定のAZに関する詳細分析パネルも含まれます。
- 自動化されたキャパシティ管理: 収集されたメトリックデータに基づき、リソース使用パターンを分析し、機械学習(Machine Learning)手法を活用して将来のリソース要件を予測します。これをOpenStackの自動スケーリング機能と連携させ、リソース割り当てを自動化するシステム構築を検討します。
- セキュリティモニタリングの統合: 収集されたOpenStackモニタリングデータとOpenStack自体のログ、そしてその他のセキュリティ機器のログをSeekurity SIEM/SOARへ統合し、インフラリソースの変化に基づいた異常行動検知および脅威分析能力を強化します。特にFRIIM CNAPP/CSPM/CWPPと連携し、クラウドインフラのセキュリティ脆弱性を継続的に管理し、構成エラーを検知し、ワークロードのランタイムセキュリティを強化することで、統合的なクラウドセキュリティフレームワークを構築することができます。
- 必要な能力の強化: OpenStack, Prometheus, Grafanaに関する専門知識を持つ人材を育成するか、外部専門家の支援を受けることが重要です。継続的な技術教育と情報共有を通じて、運用チームの能力を強化します。KYRA AI GuardrailのようなAIベースのセキュリティ分析ツールを活用して、異常なリソース使用パターンを検知し、セキュリティ運用を自動化する方策も模索できます。
結論
OpenStackベースのプライベートクラウド環境において、安定的かつ効率的なサービス運用を実現するためのリアルタイムリソースモニタリングシステムの構築は、その重要性が非常に高いと言えます。OpenStack自体はPrometheusスクレイピングのエンドポイントを直接提供しない点が注目されますが、カスタムExporterを開発し、NovaおよびNeutron APIを通じてハイパーバイザーのvCPU、メモリ、VM数、サービス状態といった主要メトリックを効果的に収集する方策が提示されました。
このように収集されたメトリックは、Prometheusを通じて体系的に保存およびクエリされ、Grafanaダッシュボードを通じて直感的に可視化される流れが加速しています。これにより、運用チームはクラスターの全体的な状態を一目で把握し、特定のノードのパフォーマンスボトルネックを検知し、AZ別のリソース分布を分析するなど、深層的なインサイトを得ることができます。さらに、Prometheus Alertmanagerとの連携により、重要なイベント発生時に迅速に対応し、Seekurity SIEM/SOARのような統合セキュリティプラットフォームにメトリックデータを連携させることで、インフラリソースに基づいた脅威検知および自動対応体制を構築できる点に注目する必要があります。
究極的に、このようなモニタリングシステムは単なる障害対応を超え、リソース使用の最適化、キャパシティプランニングの精度向上、サービス可用性の保証、そしてコンプライアンス遵守のための基盤として機能する方向へと進んでいます。絶えず変化するクラウド環境において、成功的なプライベートクラウド運用のためには、モニタリングシステムの継続的な改善と高度化に常に注意を払う必要があります。







