07-データサイエンス

データサイエンス(Part.2)|データ分析の基本プロセス | 現役エンジニア&プログラミングスクール講師

目標

「データ分析の基本プロセス」について概要を理解する

データ分析の基本プロセス

データ分析の基本プロセス

データ分析のプロセスを段階的に表すと以下のようになります。

  1. 問題解決のための課題を設定し、調査方法などを計画し定める。
  2. データを取得し、管理し、加工する。
  3. 収集したデータを解析・分析する。
  4. 分析結果から知見を導出する。
  5. 分析結果の共有と問題解決のための方針の決定と提案。

各フェーズの必要スキル

データ分析の基本プロセスについて必要なスキルをそれぞれまとめると次のようになります。

「課題の設定」や「調査方法の設定」で必要なスキル

データ分析のプロセスのひとつ目は「課題の設定」や「調査方法の設定」です。この時に必要なスキルは次のものがあります。

コミュニケーションスキル…設定する課題はチームで共有します。しっかりと分析の意図や方法を共有できるコミュニケーションのスキルが必要となります。

ドメイン知識…ドメイン知識は「専門知識」のことです。データ分析の課題に関連のある知識を有していることが必要となります。

「データ取得・管理・加工」で必要なスキル

データ分析のプロセスのふたつ目は、「データの取得・管理・加工」です。この時に必要なスキルは次のものがあります。

データクリーニング…破損や異常値と考えられるような正確性を欠くデータなどを、特定して排除したり、別の値(使えないという値)に置き換え、解決する手法で、このフェーズで必要なスキルとなります。(データクレンジングとも呼ばれます。)

その他、「ドメイン知識」「統計の知識」が必要な知識としてあげられます。

ふたつ目のプロセス「データの取得・管理・加工」はデータ分析全体作業のうち7割以上を占めると言われています。

プロセスのひとつ目「調査方法の設定」をこのフェーズとすることもあります。

「収集したデータの分析・解析」で必要なスキル

データ分析のプロセスのみっつ目は、「収集したデータの分析・解析」です。この時に必要なスキルは次のものがあります。

プログラミングやExcelなどのアプリケーションの知識…データ分析で利用するプログラミング「python」や「R」、または「Excelデータ分析」の知識が必要となります。

統計の知識…データをどのように利用するのかについて判断する知識として「統計」や「数学」の知識が必要となります。

データ可視化の知識…どのようなグラフが適切かを判断する知識が必要となります。

このフェーズで収集したデータを可視化することで、次のフェーズで情報(知見)を評価することが可能となります。

このフェーズで取得したデータやその計画が不適切と判断される場合は「課題の設定」や「調査方法の設定」からやり直しとなる事があります。

「分析結果から知見を導出」で必要なスキル

データ分析のプロセスのよっつ目は、「分析結果から知見を導出」です。この時に必要なスキルは次のものがあります。

プログラミングやExcelなどのアプリケーションの知識…データ分析で利用するプログラミング「python」や「R」、または「Excelデータ分析」の知識が必要となります。

統計の知識…データをどのように利用するのかについて判断する知識として「統計」や「数学」の知識が必要となります。

データ可視化の知識…どのようなグラフが適切かを判断する知識が必要となります。

このフェーズでは「収集したデータの分析・解析」のときと同じスキルが必要となります。この段階では分析モデルの決定や分析結果の評価を行います。

「分析結果の共有と問題解決のための方針の決定と提案」で必要なスキル

データ分析のプロセスのいつつ目は、「分析結果の共有と問題解決のための方針の決定と提案」です。この時に必要なスキルは次のものがあります。

コミュニケーションスキル・ドメイン知識データ可視化の知識

このフェーズでは提案の為の資料作りを行います。

データ分析のプロセスは「データサイエンスのライフサイクル」の各フェーズとなります。「ライフサイクル」とあるように、これらのプロセスは一度行って終わりでなく何度も何度も繰り返すことになります。

データサイエンスのライフサイクルには「CRISP-DM」「PPDAC」「SEMMA」など様々なものがあります。それらは、ライフルサイクルは異なる「プロセスの流れ」を持っていますが、プロセス自体は上記にまとめた内容を扱っています。

今回は以上となります。

ブックマークのすすめ

「ほわほわぶろぐ」を常に検索するのが面倒だという方はブックマークをお勧めします。ブックマークの設定は別記事にて掲載しています。

「お気に入り」の登録・削除方法【Google Chrome / Microsoft Edge】| 現役エンジニア&プログラミングスクール講師「お気に入り」の登録・削除方法【Google Chrome / Microsoft Edge】について解説している記事です。削除方法も掲載しています。...
【パソコン選び】失敗しないための重要ポイント | 現役エンジニア&プログラミングスクール講師【パソコン選び】失敗しないための重要ポイントについての記事です。パソコンのタイプと購入時に検討すべき点・家電量販店で見かけるCPUの見方・購入者が必要とするメモリ容量・HDDとSSDについて・ディスプレイの種類・バッテリーの持ち時間や保証・Officeソフト・ウィルス対策ソフトについて書いています。...
RELATED POST
07-データサイエンス

データサイエンス(Part.3)|データ分析のプロセス1(課題と仮説の設定方法) | 現役エンジニア&プログラミングスクール講師

2023年12月22日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site
07-データサイエンス

データサイエンス(Part.1)|データサイエンスの概要 | 現役エンジニア&プログラミングスクール講師

2023年11月25日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site
07-データサイエンス

データサイエンス| まとめ | 現役エンジニア&プログラミングスクール講師

2023年12月4日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site
07-データサイエンス

データサイエンス(Part.4)|データ分析のプロセス2(データの分類)|現役エンジニア&プログラミングスクール講師

2024年1月12日
プログラミング学習 おすすめ書籍情報発信 パソコン初心者 エンジニア希望者 新人エンジニア IT業界への就職・転職希望者 サポートサイト Programming learning Recommended schools Recommended books Information dissemination Computer beginners Prospective engineers New engineers Prospective job seekers in the IT industry Support site