スケーラビリティのテスト

 

こちらの項目では、Yellowfin上で行うパフォーマンステストについて紹介します。このテストプロセスの結果は、Yellowfinが大規模ユーザーインストールをサポートするためにスケールできるかどうかを示します。

テストケースは、実際のエンタープライズレポート環境で、ユーザーが様々なBIレポート作成を同時に行う状況を想定して設計されています。

 

 

スケーラビリティとは何か

スケーラビリティとは、増加するユーザー要求に直面しても、パフォーマンスを発揮することのできるシステムの能力を指します。例えば、スケーラビリティの高いシステムは、ユーザー数が100から1000、10,000、さらに多く追加されたとしても、予測可能に動作します。パフォーマンスとは、特定のタスクを完了するまでに要する時間を指します。

 

なぜ、スケーラビリティが重要なのか

レポーティングシステムを使用するユーザーの増加や、生成されるクエリーやレポートの増加に伴い、パフォーマンスが課題になります。また、ビジネスで優れた意思決定をするためにBIレポーティングがどのように支援してくれるのかをユーザーが学ぶにつれて、彼らはより洗練されたレポートやクエリーを生成するようになり、これはシステムにより負荷を与えることになります。

そのため、システムのスケーラビリティは、既存のニーズを考慮するために重要です。部門、地理的な地域にまたがる異なるユーザーコミュニティのユニークなレポート作成要件や、レポート作成に使用される様々なデータソースの範囲、レポートに提供されるべき言語もまた重要です。スケーラビリティは、BIソリューションを実行するハードウェア、およびソフトウェア環境を決定する際に、重要な基準となります。

 

 

テストの手順と結果

システムのスケーラビリティを判断するために、注意深く定義され、制御されたテスト状況でのシステムパフォーマンスを現実的に評価することが、サーバ環境の検討に使用するベンチマーク、またはガイドラインとして必要になります。こちらの項目で紹介するテストは、Yellowfinの信頼できるベンチマークを構築するために設計されています。

 

 

目標

テストは、以下の目標に向けて設定されています。

ダッシュボードナビゲーションやレポート閲覧、レポート実行やレポートのスケジュール設定（レポートのバッチ処理）など、一般的なタスクを実行するユーザーの数が増加するYellowfin環境のパフォーマンスやスケーラビリティ特性を判断する。

テストユーザーには同時接続ユーザーを使用しなければならず、これはすべてのユーザーがサーバへの負荷を同時にかけていることを意味します。

 

 

アプローチ

テストに使用されるハードウェア、およびソフトウェアコンポーネントは、ログイン、ダッシュボードやレポートの実行、ログオフを含むユーザーアクティビティが発生するエンタープライズレポーティング環境を想定して設計されています。

Yellowfinアプリケーションのテストで重要なアプローチは、アプリケーション自体のボトルネックを明らかにし、アプリケーションエンジン内でのクエリーの送信や受信、結果のレンダリングプロセスにおけるパフォーマンスを監視することです。

注意：実行されるテストは、Yellowfinのアプリケーションとは分離され、ネットワークレイテンシーや、データベースサーバ速度、ブラウザレンダリングパフォーマンスなどの潜在的な環境の影響を含みません。

テストの他の目的のひとつとして、合理的に短い思考時間や、2秒の待ち時間を組み込むことで、実際の使用例を試行、再現することでした。短い試行時間を使用する利点は、以下の通りです。

テスト結果に、ユーザー行動模倣したアクティブな同時接続テストの高い使用率パターンが反映される。

顧客は、彼らのレポーティング環境での同時接続レベルに基づく結果から、より優れた予測をすることができる。

 

以下のテストケースは、同時接続ユーザーのために採用されたものです。

Yellowfinへログイン

Yellowfinのダッシュボードへ移動

（高度なグラフを含む）6つのユニークレポートを読み込み

異なるダッシュボードタブへ移動し、（ドリルダウン、ドリルスルー、ドリルエニウェア、書式設定、条件付き書式設定、レポートサマリー、高度なグラフを含む）6つのユニークレポートを読み込み

（グラフと表を含む）レポートを最大化して、閉じる

Yellowfinからログオフ

 

 

ソフトウェア

以下の表は、テストに使用するソフトウェアです。

 

 

ハードウェア

YellowfinとJMeter 読み込みテストの両方を、以下のハードウェア上で実行します。

 

 

ユーザー

テスト環境でのパフォーマンスに基づき、実際にサポート可能なユーザー数を正確に判断するために、名前付きユーザー、同時接続ユーザー、アクティブユーザーを区別しなくてはいけません。

名前付きユーザー：システムにより特定され、潜在的にシステムを使用できる個人の総計を構成するユーザーです。彼らはユーザーの総数を構成し、任意の時点でアクティブ、または同時接続ユーザーになります。実際のBI環境では、システムを使用する認証された個人の総計を指します。これは、テスト環境で報告された応答時間を本番環境でサポートするために、ユーザー数をどのくらいに予測すればよいか示すため、BI実装計画での重要な数字となります。

同時接続ユーザー：任意の時間でシステムにログインをしているユーザーです。これには、クエリーから返される結果を閲覧しているだけのユーザーも含まれます。これらの同時接続ユーザーはシステムにログインしていたとしても、リクエストを送信していない場合もあります。Yellowfinの経験則の基づき、名前付きユーザーの20%程度が任意の時間における同時接続ユーザーの数になります。そのため、名前付きユーザーが1,000いる場合、環境内での同時接続ユーザーは200になります。注意：この割合は、各BI環境に応じて大きく異なります。

アクティブユーザー：システムにログインしているだけではなく、リクエストの送信や応答を待つ同時接続ユーザーも構成します。彼らは、任意の時間で実際にシステムに負荷をかけています。目安として、同時接続ユーザーの50%がアクティブユーザーです。そのため、例えば、名前付きユーザーが1,000いる場合、同時接続ユーザーは200であり、アクティブユーザーは100になります。この場合、名前付きユーザーとアクティブユーザーの割合は、10:1になります。注意：この割合は、各BI環境に応じて大きく異なります。

 

 

テスト