データサイエンティストとデータエンジニアの違い5選

こちらもおすすめ

【2022年1月最新:全部受講】Udemyのおすすめ31選をカテゴリ別に紹介【データサイエンス/機械学習,Python/R/SQLプログラミング】 | Quant College

【厳選】統計学の勉強におすすめの本9選【初心者から上級者まで】 | Quant College

【初心者から上級者まで】Pythonプログラミング独学におすすめの本6選 (難易度順)【感想あり】 | Quant College

関連記事

データサイエンティストとデータアナリストの違い5選 | Quant College

【やめとけ?飽和?】データサイエンティストのつらいこと7選【なくなる?後悔?クオンツからの転職】 | Quant College

データサイエンティストとデータエンジニアの違い5選

データサイエンティストが分析に用いるデータについて、収集、整理、蓄積していくデータ基盤を構築、メンテナンスするのがデータエンジニアである。

  1. プロジェクト内での役割の違い:
    データサイエンティストはデータ収集から分析、示唆出し・レポーティングまで一気通貫で行うが、
    データエンジニアは収集したデータを整理して蓄積していくデータ基盤(データベースなど)を構築する
  2. モデリングに対する立ち位置の違い:
    データサイエンティストは機械学習や統計解析を用いたモデリングを行うが、
    データエンジニアはモデリングではなく、モデルに食わせるデータの基盤を設計・開発・保守運用する
  3. ビジネス寄りかエンジニア寄りかの違い:
    データサイエンティストは示唆出し・レポーティングまで行うビジネス寄り・コンサル寄りの仕事だが、
    データエンジニアはデータベース等のインフラ構築がメインなのでエンジニア寄りの仕事
  4. 重要なスキルの違い:
    データサイエンティストはモデリングや、分析に必要なプログラミングのスキルが重要だが、
    データエンジニアではモデリングや分析手法よりも、データベース、サーバー、ネットワーク、クラウドなどのインフラ周りのスキルが重要
  5. 求められる数学とITスキルのレベルの違い:
    データサイエンティストは機械学習等、モデルの背後にある数学の知識も重要であり、必要なITスキルはもっぱら分析に必要な範囲に限られるが、
    データエンジニアはインフラ構築がメインなので、広範なITスキルが必須となる一方、数学の知識はそれほど重要ではない

まとめ

以上を簡単にまとめると次の通り。

データサイエンティスト

  1. プロジェクトの上流から下流までを担当し得る
  2. モデリングと、モデルに食わせる特徴量の作成や選択を行う
  3. ITエンジニアというよりは、ビジネス寄り・コンサル寄り
  4. 機械学習などのモデルや、分析に用いるプログラミングのスキルが重要
  5. プログラミングに加えて、機械学習などのモデルの背後にある数学の知識も必要

データエンジニア

  1. プロジェクトの中でデータ基盤の構築・保守運用に特化している
  2. モデルに食わせるデータを集めて整理し、自由に取り出せるようなインフラを構築する
  3. ビジネス寄り・コンサル寄りというよりは、ITエンジニア寄り
  4. データベースやクラウドなどのインフラ寄りのスキルが重要
  5. 数学の知識よりも、広範なITスキルが求められる

あわせて読みたい

主成分分析と因子分析の違いと使い分け【わかりやすく】 | Quant College

再現率/適合率とは?違い/覚え方【わかりやすく】 | Quant College

第一種過誤/第二種過誤とは?違いと覚え方をわかりやすく | Quant College

GRU (Gated Recurrent Unit)とは【わかりやすく】 | Quant College

LSTM (Long Short-Term Memory) とは【わかりやすく】 | Quant College

【簡単にわかりやすく】棄却サンプリングとは【乱数生成方法】 | Quant College

【簡単にわかりやすく】スプライン関数による曲線補間 | Quant College

ニュートン法と勾配降下法の違い | Quant College

【わかりやすく】最適化アルゴリズムの比較 (1) 局所最適化解法 | Quant College

最適化アルゴリズム概観 | Quant College

クオンツとデータサイエンティストや機械学習エンジニアの違い | Quant College

【ファイナンス機械学習の勉強メモ】組合せパージング交差検証 (Combinatorial Purged Cross-Validation; CPCV) とは【簡単にわかりやすく】 | Quant College

【ファイナンス機械学習の勉強メモ】MDA (Mean Decrease Accuracy) とは | Quant College

こちらもおすすめ

【2022年1月最新:全部受講】Udemyのおすすめ31選をカテゴリ別に紹介【データサイエンス/機械学習,Python/R/SQLプログラミング】 | Quant College

【厳選】統計学の勉強におすすめの本9選【初心者から上級者まで】 | Quant College

【初心者から上級者まで】Pythonプログラミング独学におすすめの本6選 (難易度順)【感想あり】 | Quant College