minicondaを入れてから仮想環境を構築するまで、以下のコードでまとめて実行できる。 ※GPUのドライバ設定等はすでに済んだものとする Ubuntu 22.04.3 LTS & NVIDIA RTX A4500が載ったサーバで動作確認済。 # minicondaをダウンロードして実行権限を与える wg…

GPT-2のファインチューニングが簡単にできると聞いたので，試してみる． 1. 実行環境 Google Colab ランタイムにGPU（T4）を使用 2.1 訓練データの収集 まず「検索してはいけない言葉アットウィキ」に登録されている全ての言葉をスクレイピングにより取得し…

発生した問題 ループやリスト内包表記で繰り返しpredictを行わせると、メモリ使用量が40% -> 100%になってしまう。 (注)PCに搭載しているメモリは32GBのため、メモリが貧弱というわけではない。 環境 Windows 11 Pro バージョン: 22H2 OSビルド: 22621.963 …

備忘録。 signate CLIの準備 Signate CLIを使えば、Colab上でデータダウンロード、提出ができる。 参考： SIGNATE CLI でデータセットをダウンロードする - Qiita # signate CLIのインストール pip install signate # APIトークンをダウンロード !signate to…

「scikit-learn、Keras、TensorFlowによる実践機械学習」[1]を読んでいる。 この本で説明されているAdaBoostのアルゴリズムについて、数式に分からないところがあったので書く。 前提知識 Boostingとは、複数の「弱学習器」を結合して「強学習器」を作成する…