キャンペーン終了まで

割引情報をチェック!

すべての動画をフルで見よう!

初回登録なら7日間無料! いつでも解約OK

いますぐ無料体験へ

データ分析を支える技術「データ分析基盤」を知ろう

  • 0h 17m (5sections)
  • テクノベート (テクノロジーとイノベーション)
  • 実践知

このコースについて

分かりそうで分からない「データ分析基盤」とは何か、導入の目的やデータを管理・蓄積する構成などを解説します。
コンサルティングの現場でよく尋ねられる質問をメインに説明するので、ぜひご覧ください。
※2021年10月撮影

より深く学びたい方は、技術ブログ「DevelopersIO」https://dev.classmethod.jp/ をご覧ください。
動画提供: クラスメソッド株式会社 https://classmethod.jp/

■出演者プロフィール
石川 覚
クラスメソッド株式会社 データアナリティクス事業本部
データインテグレーション部
コンサルティングチーム所属
(2021年10月撮影当時)

コース内容

  • データ分析基盤入門
  • 分析基盤の構成要素
  • 分析基盤のデータ処理/分析基盤のデータ管理
  • 分析基盤の今後
  • まとめ

より理解を深め、他のユーザーとつながりましょう。

18人の振り返り

  • chanyumi

    IT・WEB・エンジニア

    DWH
    └データウェアハウス。膨大な量のデータを分析しやすく検索できるように蓄積したデータベース
    構造化データ・半構造化データの処理に適している
    Amazon redshiftとかGoogle BigQuery

    構造化データ:エクセルやCSVのように行、列のあるデータ
    半構造化データ:Jsomとかxmlのようなデータの中のピンポイントの情報を文章で書き表したもの

    Data Lake
    └あらゆる規模の構造化データおよび非構造化データを管理、検索、共有分析できる一元化された安全なリポジトリ
     データをそのもままの形で蓄積する
     機械学習の場合はそのままのデータが向いていることが多いので機械学習の場面で使われることが多い

    非構造化データ:メール、写真、契約書、音楽などなどのデータベース化できないようなデータ
    リポジトリ:ファイル、設定情報、プログラムなどの何らかの保管場所のこと

    Lake House
    └DWHとData Lakeの両方の特徴を持ち合わせた新しいアーキテクチャ(=構造、構成)

    データ分析が担う範囲
    ・狭義のデータ分析基盤はDWHとETLツール(抽出、変換・加工、格納の仕組み)とBIツールだが、現在はData Lakeを含むのが一般的
    ・分析データの用途はすでにBIツールから機械学習に拡大している
    ・ほしいデータの所在や仕様の管理はデータカタログで一元管理
    ・ソースデータからデータマートまでのデータソースのトレースにはデータリネージが用いられる

    データマート:データウェアハウスが企業内の情報を網羅的に管理・格納したデータベースであるのに対し、データマートは、企業内に蓄積されたデータから目的に応じて一部のデータだけを抽出し、利用に適した形に加工して格納したデータベース

    データリネージ:
     いつ、どこで、どのように取得されたデータなのか
     どのようなETLを経たデータなのか
     どのような分析にかけられるデータなのか
    これらの情報を明確にし、データが取得されてからETLを経て分析にかけられるまでの流れ(これをデータパイプラインといいます)を適切に管理するという考え方です。
    またこのようにデータについてのデータを特にメタデータといい、データリネージのようなメタデータを活用したデータマネジメントが近年注目されつつあります。
    同様の考え方に食のトレーサビリテ

    2023-10-01
  • reverend

    その他

    専門用語も仕組みもとても難しかったです。
    引き続き学習に努めます。

    2024-02-05
  • koba_y

    販売・サービス・事務

    思っていた内容と違っていました。内容難しいく理解しきれませんでした。

    2023-10-18
  • 1985hiro

    メーカー技術・研究・開発

    データ分析基盤おそるべし

    2023-10-20
  • scott3

    メーカー技術・研究・開発

    データの形式が色々あるのでそれをまとめて同じ形式にする必要がある。
    その後に分析を行い。
    データーベースシスシテムを管理運用する人が必要なのだと感じた。

    2023-11-19
  • oshima1001

    マーケティング

    現状の業務と離れていた

    2024-01-03
  • kakimoto_

    IT・WEB・エンジニア

    専門用語が難しかったので、わからなかった部分を学習し直します。

    2023-10-12
  • fkzm

    その他

    データの活用について主要なキーワード、仕組みについて理解できた。
    日常の業務で手にするデータから新たな洞察を導く仕組みを考えていきたい。

    2023-12-02
  • shomachika

    経営・経営企画

    データガバナンスの実現は現実的に難しいと思いました

    2023-10-09
  • yougamyouga

    営業

    専門用語が難しかったので、わからなかった部分を学習し直します。

    2023-10-09
  • rmlab

    コンサルタント

    いま社内でCDPの構築が必要と提案しているが、データ分析基盤の必要性に考えをアップデートする必要があると感じた。
    CDPは顧客を分析して意思決定やマーケティングに効果を発揮することが期待でき、これからの経営に必須だと思っている。
    これからの経営にはデータ分析基盤が必要であり、必要性を社内に浸透させることや、データ分析基盤の整理や開発、実際の運用には、データガバナンスなどの仕組みや枠組みと、社員の考え方や理解などマインドの部分あり、まずマインドから理解、浸透、醸成が必要であると認識し、自社の課題はこのマインド部分だと思った。(マインド部分について講義ではまったく話されてないですが、このような講義を受講することで、いま現在の自分自身の思考や考え、行動にヒントをえることができるので助かります)

    2023-10-22
  • sibakazu

    営業

    難しい
    慣れない用語から学んで行きたい

    2024-02-23
  • fujitar_06

    IT・WEB・エンジニア

    データ分析基盤について参考になりました。

    2023-11-07
  • aaa321_

    IT・WEB・エンジニア

    何回も視聴することでデータ分析学びの基盤にしたい

    2023-10-11
  • sbsconts

    コンサルタント

    IT分野に疎いため、各種用語等の概念不足から内容把握が難しい状況でした。いろいろとわからないことが把握できましたので、IT分野の様々なことに触れ知見を高めていく必要性を感じました。

    2024-02-22
  • kaz--

    メーカー技術・研究・開発

    データベース化、解析処理に活用したいと思う。かなり専門用語が多く難しく感じた。

    2024-01-31
  • yasu--ta

    メーカー技術・研究・開発

    データベース化、解析処理に活用したいと思うが、なかなか習得に時間が掛かりそうかと。
    コツコツやってみるか。

    2024-01-25
  • nekonyan

    IT・WEB・エンジニア

    データレイク、サイロ化、他、データを分析する基盤のキーワードを学ぶことができた。データレイクは、構造化データや非構造化データをそのままの形式で格納することを目的としている。data lake(情報の湖)ということなのですね。勉強になりました。

    2023-10-22

関連動画コース

新着動画コース

10分以内の動画コース

再生回数の多い動画コース

コメントの多い動画コース

オンライン学習サービス部門 20代〜30代ビジネスパーソン334名を対象とした調査の結果 4部門で高評価達成!

7日間の無料体験を試してみよう

無料会員登録

期間内に自動更新を停止いただければ、料金は一切かかりません。