データサイエンティスト

数理最適化

【数理最適化】注目の数理最適化のおすすめ書籍【2023年版】

こんにちは。本記事では私のオススメする数理最適化の書籍を紹介します。数理最適化とは、有名なアプローチだと「巡回セールスマン問題」や「広告予算配分」などの問題で利用されることが多いです。そんなどこかで耳にしたことのあるであろう様々な問題を解決...
2023.02.10
数理最適化
Python

【Python】高効率でデータフレームをローカルに保存する（Pandas.DataFrame.to_parquet）

先日YouTubeでPandasデータフレームのto_csvメソッドは最遅方法であることを解説してくれた動画を拝見しました。自分でも実行してみたら、まさにその通りでびっくりでしたので、記事にまとめます。データの前処理を一時保存したり、処理の...
2023.02.09
Python
Python

【Python】データフレームで文字を指定して列を分割する(pd.DataFrame / str.split)

本記事は、PythonのライブラリPandasのデータフレームの列の分割について解説した記事になります。データフレームの1列を分割するようなシチュエーションは、だいたい前処理の過程でしょう。例えばメールアドレスからドメイン数を集計したかった...
2023.02.08
Python
Python

【Python】データフレームのメソッドから簡単に棒グラフを作成する(DataFrame.plot.bar)

PythonのライブラリPandasのDataFrameのメソッドを使用して簡単にさまざまなグラフを生成することができます。本記事では、棒グラフの生成を解説します。棒グラフはカテゴリーの数量などを表示することに適しています。またカテゴリーに...
2023.02.07
Python
コラム

【データサイエンティスト協会】スキルチェックリストの紹介

先日、データサインティスト検定の試験日程などが発表されました。私は第1回受験の合格者ということもあり、データサイエンティスト検定（DS検定）が盛り上がりを見せてくれると嬉しい気持ちになります。さて、そんなデータサイエンティスト検定ですが、現...
2023.02.06
コラム
Python

【Python】進捗表示（プログレスバー）で使えるtqdm（tqdm.tqdm）

本記事は、Pythonの繰り返し処理for文で進捗状態を表示できる「tqdm」について紹介いたします。私自身データサイエンティストとして業務を行なっていますが、Pythonでの処理が多く、かつデータ量も多かったりするので、そんなときにこの「...
2023.02.03
Python
Python

【Python】データフレームのメソッドから簡単に折れ線グラフを作成する(DataFrame.plot.line)

PythonのライブラリPandasのDataFrameのメソッドを使用して簡単にさまざまなグラフを生成することができます。本記事では、折れ線グラフの生成を解説します。折れ線グラフは、連続する要素の変化に対して結果の推移を表す際に使用される...
2023.02.02 2023.02.03
Python
Python

【Python】データフレームのメソッドから簡単に散布図を生成する（DataFrame.plot.scatter）

本記事では、PythonのライブラリPandasのDataFrameのメソッドを使用して簡単にさまざまなグラフを生成することができます。本記事では、散布図の生成を解説します。散布図はデータの分布などを可視化する際に使用することが多いです。主...
2023.02.01
Python
Python

【Python】データフレームの最大値の行名・列名を取得する(DataFrame.idxmax)

こんにちは。本記事では、PythonのライブラリであるPandasのデータフレームでの最大値を持つ行名・列名の取得について取り扱います。特に最大値がデーアフレーム内のどこにあるかを特定させたい場合などに、使用することが多いイメージです。私も...
2023.01.31
Python
統計学

欠損値には発生パターンがあるらしい（MCAR, MAR, MNAR）

本記事では、データ分析の敵とも言えるデータの「欠損値」の発生パターンについて書きます。特に欠損値には発生パターンがあるということを最近人から教えていただきましたので、それを調べたので備忘録として書かせていただきます。 はじめに 先日欠損値に...
2023.01.27
統計学
次のページ