まとめ
本記事では、私が先日遭遇したトラブルで、JupyterNotebookファイルが大きくなりすぎて開けなくなり苦労した話を残しておきます。
時間がない人向けには、以下の通りです。
- Notebook(.ipynb)ファイルはJSONで構成されている
- 無理矢理Notebook(.ipynb)ファイルをテキストエディターで開く
- JSONファイルを編集（削除など）して、ファイルサイズを小さくする
- 大きくても100MB以下までにする（私の場合はこれくらいでいけた）
- Notebook(.ipynb)を開けるサイズまで小さくできたら、開き、出力を全てクリアにする
- 多分これで解決（修復完了）
かなり力技ですが、テキストエディタで容量を大きくしている箇所を消していくというものです。これでなんとかなりました。
詳細な状況
本件が発生した理由は「printデバッグ」です。
数理最適化に関する処理を回している際に、イテレーションで計算する処理の中にprintを混ぜてしまったことです。つまりイテレーションで計算されるたびにprintされることになり相当な回数のprintがされてしまったことが原因です。
どのような計算がされているのか中身を見たかったこともありprintしましたが、もう少し冷静にprint箇所は吟味すれば良かったです…
皆さんもお気をつけください。
直接JSONを修正する際は、JSONの構造が崩れないようにすることが重要です。ちゃんと入子構造になっているか、確認しつつ作業を進めると良いです。
・Python
・JupyterNotebook
・Anaconda
・JSON
参照サイト
上記サイトを基に対処しました。
正確には違う対応をしましたので、当方でも記事にさせていただきました。ありがとうございました。
最後に
とはいえ、この対処法がわかったので焦らずにこれからは対処できそうです。皆さんの参考になれば嬉しいです。
データサイエンティストの書評ブログ
趣味が読書くらいしかない駆け出しデータサイエンティストの書評ブログです。日々の勉強のアウトプットや趣味の読書のおすすめをしていきます。
コメント