--- title: "DS検定 リテラシー｜データエンジニアリング力シート" description: "＞このページについてこのページは、DS検定（リテラシーレベル）で求められている「データエンジニアリング力」を一覧で確認するためのページです。 データ分析での使いどころ、関連する指標・手法との違い、DS検定で迷いやすい判断軸を確認できます。" canonical_url: "https://stemtazoo.github.io/ds/engineering-skillcheck/" section: "ds" ---
DS検定トップ ＞ DS検定 リテラシー｜データエンジニアリング力シート
## このページについて このページは、 **DS検定（リテラシーレベル）で求められている「データエンジニアリング力」**を 一覧で確認するためのページです。 高度な実装スキルではなく、 **「データを正しく扱うための考え方・前提理解」**が重視されます。 ## 環境構築｜システム企画 | スキルレベル | チェック項目 | |---|---| | ★ | オープンデータを収集して活用する分析システムの要件を整理できる | ## 環境構築｜システム設計 | スキルレベル | チェック項目 | |---|---| | ★ | サーバー1～10台規模のシステム構築、システム運用を手順書を元に実行できる | | ★ | オンプレミス環境もしくはIaaS上のデータベースに格納された分析データのバックアップやアーカイブ作成などの定常運用ができる | ## 環境構築｜アーキテクチャ設計 | スキルレベル | チェック項目 | |---|---| | ★ | ノーコード・ローコードツールを組み合わせ、要件に応じたアプリやツールを設計できる | | ★ | コンテナ技術の概要を理解しており、既存のDockerイメージを活用して効率的に分析環境を構築できる | | ★ | 分析環境を提供するクラウド上のマネージドサービス(Amazon SageMaker、Azure Machine Learning、Google Cloud Vertex AI、IBM Watson Studioなど)を利用して、機械学習モデルを開発できる | ## データ収集｜クライアント技術 | スキルレベル | チェック項目 | |---|---| | ★ | 対象プラットフォーム（クラウドサービス、分析ソフトウェア）が提供する機能（SDKやAPIなど）の概要を説明できる | | ★ | Webクローラー・スクレイピングツールを用いてWebサイト上の静的コンテンツを分析用データとして収集できる | ## データ収集｜通信技術 | スキルレベル | チェック項目 | |---|---| | ★ | システムやネットワーク機器に用意された通信機能（HTTP、FTPなど）を用い、データを収集先に格納するための機能を実装できる | ## データ収集｜データ抽出 | スキルレベル | チェック項目 | |---|---| | ★ | データベースから何らかのデータ抽出方法を活用し、小規模なExcelのデータセットを作成できる | ## データ収集｜データ収集 | スキルレベル | チェック項目 | |---|---| | ★ | 既存のサービスやアプリケーションに対して、分析をするためのログ出力の仕様を整理することができる | ## データ構造｜基礎知識 | スキルレベル | チェック項目 | |---|---| | ★ | 扱うデータが、構造化データ（顧客データ、商品データ、在庫データなど）か非構造化データ（雑多なテキスト、音声、画像、動画など）なのかを判断できる | | ★ | ER図を読んでテーブル間のリレーションシップを理解できる | ## データ構造｜テーブル定義 | スキルレベル | チェック項目 | |---|---| | ★ | 正規化手法（第一正規化～第三正規化）を用いてテーブルを正規化できる | ## データ蓄積｜DWH | スキルレベル | チェック項目 | |---|---| | ★ | DWHアプライアンス（Oracle Exadata Database Machine、IBM Integrated Analytics Systemなど）に接続し、複数テーブルを結合したデータを抽出できる | ## データ蓄積｜分散技術 | スキルレベル | チェック項目 | |---|---| | ★ | HadoopやSparkの分散技術の基本的な仕組みと構成を理解している | | ★ | NoSQLデータストア（HBase、Cassandra、Mongo DB、CouchDB、Amazon DynamoDB、Azure Cosmos DB、Google Cloud Firestoreなど）にAPIを介してアクセスし、新規データを登録できる | ## データ蓄積｜クラウド | スキルレベル | チェック項目 | |---|---| | ★ | クラウド上のオブジェクトストレージサービス（Amazon S3、Azure Blob Storage、Google Cloud Storage、IBM Cloud Object Storageなど）に接続しデータを格納できる | ## データ加工｜フィルタリング処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルに対して、条件を指定してフィルタリングできる（特定値に合致する・もしくは合致しないデータの抽出、特定範囲のデータの抽出、部分文字列の抽出など） | | ★ | 正規表現を活用して条件に合致するデータを抽出できる（メールアドレスの書式を満たしているか判定をするなど） | ## データ加工｜ソート処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルに対して、目的の並び替えになるように複数キーのソート条件を設定ができる | ## データ加工｜統合処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルに対して、単一条件による内部結合、外部結合、自己結合ができ、UNION処理ができる | ## データ加工｜前処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルに対して、NULL値や想定外・範囲外のデータを持つレコードを取り除く、または既定値に変換できる | ## データ加工｜マッピング処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルに対して、規定されたリストと照合して変換する、都道府県名からジオコードに変換するなど、ある値を規定の別の値で表現できる | ## データ加工｜サンプリング処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルに対して、ランダムまたは一定間隔にレコードを抽出できる | ## データ加工｜集計処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルのデータを集計して、合計や最大値、最小値、レコード数を算出できる | ## データ加工｜変換・演算処理 | スキルレベル | チェック項目 | |---|---| | ★ | 表計算ソフトのデータファイルのデータに対する四則演算ができ、数値データを日時データに変換するなど別のデータ型に変換できる | | ★ | 変換元データと変換先データの文字コードが異なる場合、変換処理のコードがかける | ## データ共有｜データ出力 | スキルレベル | チェック項目 | |---|---| | ★ | 加工・分析処理結果をCSV、XML、JSON、Excelなどの指定フォーマット形式に変換してエクスポートできる | | ★ | 加工・分析処理結果を、接続先DBのテーブル仕様に合わせてレコード挿入できる | ## データ共有｜データ展開 | スキルレベル | チェック項目 | |---|---| | ★ | RESTやSOAPなどのデータ取得用Web APIを用いて、必要なデータを取得できる | ## データ共有｜データ連携 | スキルレベル | チェック項目 | |---|---| | ★ | FTPサーバー、ファイル共有サーバーなどから必要なデータファイルをダウンロードして、Excelなどの表計算ソフトに取り込み活用できる | | ★ | BIツールからデータベース上のDBテーブルを参照して新規レポートやダッシュボードを作成し、指定のユーザグループに公開できる | | ★ | BIツールの自由検索機能を活用し、必要なデータを抽出して、グラフを作成できる | ## プログラミング｜基礎プログラミング | スキルレベル | チェック項目 | |---|---| | ★ | 小規模な構造化データ（CSV、RDBなど）を扱うデータ処理（抽出・加工・分析など）を、設計書に基づき、プログラム実装できる | | ★ | プログラム言語や環境によって、変数のデータ型ごとに確保するメモリサイズや自動型変換の仕様が異なることを理解し、プログラムの設計・実装ができる | | ★ | データ処理プログラミングのため分岐や繰り返しを含んだフローチャートを作成できる | | ★ | オブジェクト指向言語の基本概念を理解し、スーパークラス（親クラス）を継承して、スーパークラスのプロパティやメソッドを適切に活用できる | | ★ | ホワイトボックステストとブラックボックステストの違いを理解し、テストケースの作成とテストを実施できる | ## プログラミング｜拡張プログラミング | スキルレベル | チェック項目 | |---|---| | ★ | JSON、XMLなど標準的なフォーマットのデータを受け渡すために、APIを使用したプログラムを設計・実装できる | | ★ | 外部ライブラリが提供する関数の引数や戻り値の型や仕様を調べて、適切に呼び出すことができる | ## プログラミング｜AIサービス活用 | スキルレベル | チェック項目 | |---|---| | ★ | 他サービスが提供する分析機能や学習済み予測モデルをWeb API（REST）で呼び出し分析結果を活用することができる | | ★ | 目的に応じ音声認識関連のAPIを選択し、適用できる（Speech to Text など） | ## プログラミング｜コーディング支援 | スキルレベル | チェック項目 | |---|---| | ★ | AIを用いたソースコードのレビュー機能・チェック機能を活用してプログラムのバグ修正や性能改善を実現できる | ## プログラミング｜アルゴリズム | スキルレベル | チェック項目 | |---|---| | ★ | 入れ子の繰り返し処理（二重ループ）など計算負荷の高いロジックを特定しアルゴリズムの改善策を検討できる | ## プログラミング｜分析プログラム | スキルレベル | チェック項目 | |---|---| | ★ | Jupyter Notebook（Pythonなど）やRStudio（R）などの対話型の開発環境を用いて、データの分析やレポートの作成ができる | | ★ | クラウド上の統合開発環境（AWS SageMaker Studio Lab、Google Colab、Azure Data Studio、IBM Watson Studioなど）で提供されるNotebookを用いてPythonやRのコードを開発して実行できる | ## プログラミング｜SQL | スキルレベル | チェック項目 | |---|---| | ★ | SQLの構文を一通り知っていて、記述・実行できる（DML・DDLの理解、各種JOINの使い分け、集計関数とGROUP BY、CASE文を使用した縦横変換、副問合せやEXISTSの活用など） | ## ITセキュリティ｜基礎知識 | スキルレベル | チェック項目 | |---|---| | ★ | セキュリティの3要素（機密性、完全性、可用性） について具体的な事例を用いて説明できる | ## ITセキュリティ｜攻撃と防御手法 | スキルレベル | チェック項目 | |---|---| | ★ | マルウェアなどによる深刻なリスクの種類（消失・漏洩・サービスの停止など）を理解している | | ★ | OS、ネットワーク、アプリケーション、データなどの各レイヤーに対して、ユーザーごとのアクセスレベルを設定する必要性を理解している | ## ITセキュリティ｜暗号化技術 | スキルレベル | チェック項目 | |---|---| | ★ | 暗号化されていないデータは、不正取得された際に容易に不正利用される恐れがあることを理解し、データの機密度合いに応じてソフトウェアを使用した暗号化と復号ができる | | ★ | なりすましや改ざんされた文書でないことを証明するために、電子署名が用いられることを理解している | | ★ | 公開鍵暗号化方式において、受信者の公開鍵で暗号化されたデータを復号化するためには受信者の秘密鍵が必要であることを知っている | | ★ | ハッシュ関数を用いて、データの改ざんを検出できる | ## ITセキュリティ｜認証 | スキルレベル | チェック項目 | |---|---| | ★ | OAuthに対応したデータ提供サービスに対して、認可サーバから取得したアクセストークンを付与してデータ取得用のREST APIを呼び出すことができる | ## AIシステム運用｜AutoML | スキルレベル | チェック項目 | |---|---| | ★ | AutoMLを用いて予測対象を判定するために最適な入力データの組み合わせと予測モデルを抽出できる | ## AIシステム運用｜MLOps | スキルレベル | チェック項目 | |---|---| | ★ | GitやSubversionなどのバージョン管理ソフトウェアを活用して、開発した分析プログラムのソースをリポジトリに登録しチームメンバーと共有できる | | ★ | MLOpsの概要を理解し、AIモデル性能の維持管理作業の基本的な流れを説明できる | | ★ | AIシステムのモニタリング項目を理解し、AIモデルの劣化状況や予測対象データの不備、AIシステムの異常を検知できる | ## AIシステム運用｜AIOps | スキルレベル | チェック項目 | |---|---| | ★ | ITシステムの運用におけるAIOpsの概要とメリットを説明できる | ## 生成AI｜プロンプトエンジニアリング | スキルレベル | チェック項目 | |---|---| | ★ | 生成AIを活用する際、出力したい要件に合わせ、Few-shot PromptingやChain-of-Thoughtなどのプロンプト技法の利用や、各種APIパラメーター（Temperatureなど）の設定ができる | | ★ | 画像生成AIに組み込まれた標準機能の利用（モデル選択）や、画像生成プロンプトルール（強調やネガティブプロンプトなど）を理解し、適切に入力することで、意図した画像を生成できる | ## 生成AI｜コーディング支援 | スキルレベル | チェック項目 | |---|---| | ★ | LLMを利用して、データ分析やサービス、システム開発のためのコードを作成、修正、改良できる | | ★ | LLMを利用して、開発した機能のテストや分析検証用のダミーデータを生成できる | ## 使い方のおすすめ - 学習前： **データを扱う前提知識として確認** - 学習中： **分析記事の前後関係を意識** - 試験前： **「なぜ必要か」を説明できるかで自己チェック** ※ 数理・分析面は [データサイエンス力シート](https://stemtazoo.github.io/ds/skillcheck/) ビジネス面は [ビジネス力シート](https://stemtazoo.github.io/ds/business-skillcheck/) を参照してください。
🏠 DS検定トップに戻る