ムービー
を見る
を見る
未来をつくる意思決定に。
「Z-Adam」
| 2020/02/28 | ★【ITMedia：記事掲載】膨大なデータをラクラク集計できる｢Z-Adam｣の実力 ★ |
課題
本格化を迎えるビッグデータ時代
しかし、大きな課題が存在する
「Z-Adam」が解決・実現する
高速・快適・低価格なビッグデータ利活用環境
-
解決1/4
進化したデータマートが[データ漏洩]
[データ共有・分散・配布] の課題を解決最先端データマート・テクノロジー
データソースから抽出･加工･フィルタリングすることで、分析に必要なデータマートを作成。
データマートの作成では、データの保護化や匿名化の技術により、データ漏洩を防ぐ対策が実現できます。データサイズが小さくなると…
◎処理の高速化
◎短時間でファイル転送
◎データ共有・分散・配布(受け渡し)が容易
◎生データを渡さずに済む(セキュリティ対策) -
解決2/4
高速データJOINにより､分散したデータを
自在に整理・統合し､業務効率化へ高速データJOIN
Z-AdamのJOIN機能： ｢多様なデータ結合｣超高速処理と生産性向上を実現。CSV JOIN
- CSVデータの結合が可能。
※オプションにて提供予定データマートJOIN
- データマート同士を結合し、
データの整理･統合が可能に。 - データが分散し生産性が
下がっている状態を解消。
テーブル JOIN
- 表同士の結合、
および加工、再計算が可能。
-
解決3/4
必要な項目を選択するだけで
データマートから必要なデータを抽出抽出リスト
必要な項目を選択するだけで､データマートから必要なデータを､
そのままCSVファイルとして高速に抽出します。
抽出項目をドラッグ&ドロップするだけで､必要なデータをCSVファイルとして高速にデータ抽出。
フィルター機能を使用して抽出範囲を指定すれば､抽出項目に対する昇順・降順の指定が行え､複数のソート条件による並び替えが行えます。
抽出データの内容は､<プレビュー>ボタンをクリックすることで､簡単に確認することができます。抽出したCSVファイルは､二次利用したり､Z-Adamで再度取り込み､データ分析が行えます。
-
解決4/3
クラウドサービス対応により
目的に応じた最適環境の選択が可能クラウド対応
ビッグデータ利活用のためには高価なハードウェアを揃える必要が今まではありました。
しかし、クラウドサービスが充実化している現在、大量なリソースを必要とするビッグデータの集計・分析はクラウドサービスと好相性といえます。クラウド：低コストで高速な使用環境を
｢費用は使った分だけ｣｢設備投資なしで使用可能｣
｢どこでも利用｣が魅力。その他の構成も選択可能
Webブラウザ
クライアントは､使い慣れたWebブラウザを使用。専用のクライアントアプリは不要。環境が変わっても､ユーザーの操作性は変わりません。マルチプラットフォーム
Windowsサーバー、Linuxサーバーに対応
-
高効率1/7
作成中の表をいつでも
ひと目でチェック
リアルタイム･プレビュー
集計結果を出力した後に変更が生じると、手戻り作業の手間と時間がかかり、非効率です。 Z-Adamでは、作表中に集計結果のイメージをリアルタイムに確認が行えます。 手戻り作業のムダを一掃します。
各項目を表頭・表側や数値の欄にドラッグ＆ドロップするだけで、簡単に表の設計が行えます。
[プレビュー]ボタンをクリックすれば、集計結果のイメージがすぐに確認できます。｢修正→確認｣の試行 錯誤が手軽に何度も行えます。数億件の大量データであっても表示に要する時間は数秒ほど! -
高効率2/7
高度・複雑な処理を
カンタンにする1行のチカラハイパワー・スクリプト
Z-Adamでは、GUIを使用せず、スクリプトを記述して表作成を行うこともできます。
GUIで作成した帳票もスクリプトへ出力して、編集することができます。
また、完成した帳票を定期的にバッチ実行させることも可能です。
1行の記述で帳票１表を作成。
他システムでは膨大な記述を要する表定義がわずか数行の記述で完了。
煩雑な処理を簡略化し、作業工数を削減します。
高度かつ複雑な集計・分析を可能にする数々の統計関数を実装するなどその機能は強力です。
カテゴリ定義､表操作､演算に威力を発揮!
ハイパワー・スクリプトが最も威力を発揮するのは｢カテゴリ再定義｣､｢表操作｣､｢演算｣。
通常、膨大な記述を要する定義が１行～数行で済みます。 -
高効率3/7
追加記述したスクリプトに追従・即応し
試行結果をプレビューに高速表示ダイナミック・トラッキング・ビュー
GUI操作による作表途中、集計前後処理にスクリプトを記述すると、構成比やランクの表示が追加できるなど、高度な作表操作が可能です。スクリプトの内容はリアルタイム・プレビューの結果イメージにも反映されますので、より高度な作表も「試行→確認」を繰り返しながら行えます。
-
高効率4/7
ユニーク度の高い項目は
｢ライト項目｣を設定して高速に処理項目定義
ユニーク度の高い項目は｢ライト項目｣を設定することで､メモリ消費を抑えながら､高速な処理を実現。
データマート作成時､項目の型の定義として｢ライト項目｣を指定することが可能。定義した項目は､データマート作成時にインデックスを作成せずに､そのままデータマートに取り込みます。
ユニーク度の高い項目に対して｢ライト項目｣を定義すれば､メモリ消費を抑え､処理の高速化を実現。
ユニーク度が高いログデータの日付や時刻､被保険者番号などの項目をデータ抽出する場合､あらかじめ該当する項目に対して｢ライト項目｣を定義することで､処理が高速に行われるようになります。
＜｢ライト項目｣を設定した項目は､次のような制限があります＞
分類項目には使用できません(CreateItemを使ってカテゴリを作成することは可能)。
統計項目に使用できますが､一部の統計関数では使用できません。
distinct(重複なし件数)､quantile(分位数)､quartile(四分位数) は使用できません。
-
高効率5/7
フィルターによる絞り込みの設定が
さらに柔軟に行えますフィルター
条件を切り替えながらの試行錯誤の分析や､柔軟な条件指定によるデータ抽出が容易に行えます。
①GUI上からフィルターのON/OFFに対応
集計結果をプレビューで確認しながら､フィルターのON/OFFの切り替えが可能です。
②絞り込みを行う項目の全選択(解除)に対応
｢値｣による絞り込みの設定を行う場合､絞り込みを行う項目の全選択(解除)が可能です。
③抽出範囲の条件指定を拡充
｢範囲｣による絞り込み設定では､｢以上｣､｢以下｣の指定と､｢超｣と｢未満｣による範囲指定が行えます。
④NOT条件の指定に対応
集計対象データの値と範囲の絞り込みにおいて､｢NOT条件｣の指定が行えます。指定値以外のデータ集計やデータ抽出が簡単に行えます。 -
高効率6/7
集計方式はワンクリックで選択するだけ
多彩な集計が行える｢集計方式｣集計方式
合計や件数はもちろん､多様な集計方式の設定が可能｡重複なし件数の構成比･ランク･累積の集計も可能｡
様々な帳票に対応する集計方式
集計項目に対して､様々な集計方式の指定が可能。 例えば､｢売上｣項目の｢集計方式｣で｢合計｣や｢構成比｣や｢ランク｣を指定して配置するだけで､細かな設定を行うことなく簡単に集計きます。一度､設定すれば､毎回同じ設定内容で集計が行えます。
定義情報を引き継いだ利用が可能
集計テーブルは､コピーして利用することができ､集計対象となるデータマートが同じであれば､設定した定義情報をそのまま引き継いで利用できます。
重複なし件数の構成比・ランク対応
｢数値｣の集計対象項目に対して､これまでの｢合計｣に対する｢構成比｣や｢ランク｣､｢累計｣による集計方式に加え､｢件数｣や｢重複なし件数｣でも｢構成比｣や｢ランク｣､｢累計｣による集計方式が指定できます。
※数値のほか､文字列やカテゴリでも選択が可能です。 -
高効率7/7
Z-Adamが実現する高速･快適･低価格な
ビッグデータ利活用環境大量データの高速集計
- 大量データ集計に強いカラムストア方式を採用。DBMSを使わない製品開発に取組んだ弊社の30年のノウハウを注いだ最新型がZ-Adam。
- 処理に必要なカラムだけを読み込むので､数億～数十億件もの大量データの処理時間が､わずか数～数十秒で完了。同時に複数のコアやサーバーに処理をゆだねることで、更なる集計分析の高速化を実現します。
高い費用対効果
- ｢データ蓄積の高性能ストレージ｣、｢統計分析システム｣の2つの特性を併せ持つZ-Adam。
- DBMS不要のため、データベース構築のライセンスコストや構築コストがかからず､ビッグデータ利活用環境が低価格で構築できます。
- DBMS特有のチューニングする必要がないため、データ量の増加やデータ種類の追加にも容易に対応できます。
快適な利用環境
- クライアント側は、使い慣れたWebブラウザを使用します。専用のクライアントアプリは不要ですので、ライセンスコストがかからず、クライアント管理の手間もありません。
- サーバーにアクセス可能な環境があれば、どこでからでも業務を行うことができます。
-
操作性1/4
データと項目の特性チェック
数分で完了
項目一覧ウィンドウ / コードリスト表を設計する際､使用するデータや項目の特性を把握しておかなければ､正確な表はできあがらず､正しく分析もできません。 Z-Adamは､信頼性の高い表の作成や分析を支援する機能があらかじめ備わっています。
データマートを作成した時点で、
データと項目の特性チェックは済んでいます。
あとは必要に応じて各項目のプロパティを見れば、最大値や最小値､コードリストなどが確認できます。
使用するデータの数値特性を事前に知っていると、表の設計がスムーズに進みます。特に仮説設定や表の内容の検証に、コードリストは欠かせません。
最大値、最小値、平均値、中央値、最頻値、項目特性がわかります。
また、コードリストで仮説設定や内容検証が行えます。
-
操作性2/4
よく使うカテゴリは
4クリックで定義完了
カテゴリ・テンプレート基本的な統計に必要なカテゴリを「テンプレート」として標準装備しています。
e-Statなどで使用されている｢国勢調査｣｢労働力調査｣｢全国消費実態調査｣｢社会生活基本調査｣、分析でよく使われる｢商品分類コード｣などのカテゴリデータを用意しています。 -
操作性3/4
目的に合った罫線を使用して
Excelファイル出力
Excel出力集計結果が情報共有や二次利用が目的の場合､Excelデータに出力されることがあり､指定された罫線でレイアウトするのも意外と時間のかかる作業です。Z-Adamは、このプロセスでも省力化を図ります。
作成した表は、使い勝手の良いExcelファイルで出力。
しかも､作成目的に合わせて罫線を選べば、ワンタッチでレイアウト完了です。
複数帳票をブック形式やファイル単位で出力することができます(Excel出力のみ)。CSV形式の出力も可能です。政府指定統計等で使われている48種類の罫線付レイアウトを用意！ -
操作性4/4
複雑なレイアウトはもちろん
グラフ出力も可能なオーバーレイオーバーレイ
Z-Adamは、集計した結果をExcelで作成した帳票テンプレートに重ねて(オーバーレイ)、Excel出力することができます。
綺麗なExcel表やグラフ出力が可能です。
1枚のシートに異なる複数の表や、軸の異なる表などといった複雑なExcelの定型表も簡単に作成できます。 また、テンプレートにグラフを設定しておけば、自動的にグラフを出力することができます。
レイアウト修正やマクロ設定、印刷設定といった二次加工が不要になり、すぐに業務でお使いいただけます。 さらに、月次報告のような定型帳票もバッチ処理による一括出力が可能です。
-
技術資料1/7
データ蓄積と集計・分析の両機能を
併せ持つDBMSレス統計システムデータ蓄積と分析(集計・統計)の2つの機能
Z-Adamは、データ蓄積と分析(集計・統計)の2つの機能を搭載しています。
独自データマートはカラムストア方式・カテゴリbit圧縮を採用し、データの蓄積性と集計処理の高速化に貢献します。技術資料2/7データ処理の高速化と
メモリ使用の最適化を実現パーティション
Z-Adamは、パーティションによるデータマートの管理が可能です。[PowerUp]
データ処理の高速化とメモリ使用の最適化を同時に実現します。
大量データを集計する際、集計時間が長くなり、メモリ不足が発生することがあります。パーティション機能は、こうした問題を解決します。
パーティションキーとなるカラム(列)を指定するだけで、データマートを複数のサブデータマートに分割して管理します。
集計実行時にデータマート全体ではなく、集計対象のサブデータマートに絞り込んでアクセスするため、処理するデータのデータ量が小さく、使用するメモリも少なくて済み、集計時間も短くなります。
さらに、マルチタスク処理により高速に集計します。ユーザーはパーティションを意識することなく、高速なデータ集計が行えます。
パーティション単位でのデータの追加・更新が可能。処理時間の短縮＆メモリ消費抑制で高速処理を実現。
日次データや月次データなどの差分データを追加する場合､データマートを全データから再作成する必要がなく､差分のみデータを取り込み､データマートを作成するため､データの追加・更新処理が短時間で完了します。
技術資料3/7データマートや集計テーブルなど
複数の処理を同時に実行マルチタスク
Z-Adamは、マルチタスク処理に対応。データマートの作成や更新、テーブルの集計、プレビューなどの処理を同時に実行することが可能です。また、同時実行数の設定が可能です。
同時実行数の制限はありません
使用するコンピュータのCPUコア数やメモリサイズに 合わせて設定することが条件となります。
同時実行を行った場合、大量のメモリを消費するため、コア数とメモリサイズを考慮する必要があります。
同時実行数の設定と処理の割り当てについて
プレビューと集計、それぞれ最低1つの処理ができるよう割り当てられます。
例）同時実行数を｢2｣と設定した場合：
・集計1、プレビュー1
同時実行数を｢3｣と設定した場合：
・集計1、プレビュー1
・もう一つはプレビューか集計のいずれかに割り当て
※ 同時実行数を｢3｣以上にした場合、3つ目以降は、集計、プレビューのどちらの処理も行えるよう割り当てられます。
※ 同時実行数を｢4｣と設定した環境で､5つ以上のリクエストがあった場合、5つ目以降のリクエストは待機状態になり、その他の処理が終わり次第、逐次処理が実行されます。技術資料4/7システム構成図
システム構成図
技術資料5/7システム構成例
システム構成例
ネットワーク構成においてDMZによるセキュリティ対策を行った環境での利用にも対応
技術資料6/7Z-Adamのハイパワーを
他のシステムでも組込みシステム
Z-Adamでは、作成したスクリプトを独立したジョブとして扱うことが可能です。
他のシステムに組み込んで使用したり、GUIからバッチ処理として実行することができます。
技術資料7/7システムスペック別
動作スピード事例【クラウド(AWS)のWindows環境を利用した実測値】
集計を
手軽に
手軽に
統計改革支援サービス
集計表作成の問題解決、集計環境の整備を支援させていただくサービスです。
統計集計業務における、さまざまな負担軽減に貢献いたします。
集計表作成コンサルティング
弊社専任シニアアドバイザーが、統計集計に関するさまざまな問題解決を支援します。
業務内容をお伺いし、｢データ精度｣の確認から統計表の作成方法、あるいはシステム部門や外注する際の依頼のポイントや納品時の検収の仕方まで、統計に関する知見を活かして、アドバイスをさせていただきます。
業務内容をお伺いし、｢データ精度｣の確認から統計表の作成方法、あるいはシステム部門や外注する際の依頼のポイントや納品時の検収の仕方まで、統計に関する知見を活かして、アドバイスをさせていただきます。
・業務内容の確認 ・データ精度の確認 ・統計表の作成ノウハウ提供 ・納品された統計表の検証方法など
大量データ集計サービス
スタンダード
利用環境構築済
クラウド
Z-Adamの利用環境の提供
オンプレミス
(数分で利用可能)
３ヶ月
無 償
無 償
「どう使えばいいの？」の声にお応えします。【オープンデータ活用支援サービス】
低価格製品のご提供は、
ゼッタテクノロジーのポリシーです。
ゼッタテクノロジーのポリシーです。
ゼッタテクノロジーの中長期的ミッションは、クロス集計を駆使したデータ分析・活用、さらには統計の実践的手法を我が国に普及させることだと考えています。そのために、高性能かつ低価格な製品の提供に努めています。
データベース不使用をはじめ、製品のパフォーマンスを高めながら開発コストを下げる、そのためのさまざまな創意工夫こそ、私たちのポリシーの表れです。
データベース不使用をはじめ、製品のパフォーマンスを高めながら開発コストを下げる、そのためのさまざまな創意工夫こそ、私たちのポリシーの表れです。