2021-04-01

社会人ドクター生活スタート

日常

とてもバタバタしていて、ブログは放置していましたが、理由があって、

結論から言うと、博士後期課程の学生として、東京工業大学情報理工学院情報工学系の大上研究室に所属することになりました。

www.li.c.titech.ac.jp

経緯

以前より、創薬分野に関わる研究がしたいと思っていて、現職は続けながら、社会人として学位取得を目指し頑張っていことと思い立ったのが2020年の8-9月

ケモインフォの博士課程行こうかと企みなう。社会人枠あるとこ探している。
— くろたんく@激しく多忙 (@black_tank_top) August 22, 2020

Twitter上でいろんな方が教えてくれて、色々検討しつつ、所属先の指導教員である大上先生が声をかけてくれたのがきっかけで、受け入れについて相談にのってもらいました。

上司と家族に説明し、去年からTOEIC受けたり、10年くらい前の修士論文を引っ張り出して取りまとめたり、今年の2月の入試に向けての準備や実際の入試はとても大変だったけれど、3月に無事に合格発表を受けてホッとしました。

本日付で、博士後期課程の学生として、東京工業大学情報理工学院情報工学系の大上研究室に所属することになりました。https://t.co/tydKlfKJmd

これまでの経験を活かし、コンピュータサイエンスの応用として、おもしろい生命科学の課題解決ができたらいいなと思っています。
— くろたんく@激しく多忙 (@black_tank_top) 2021年3月31日

今後

これまでの経験は

これらの経験も活かしつつ、コンピュータサイエンスの応用として、おもしろい生命科学の課題解決ができたらいいなと思っています。

2020-12-31

2020年を振り返る

2020年振り返り日常

簿記（2020-02）
はてぶ（2020-06~）
AtCoder （2020-05~）
書評（2020-07~）
移住 (2020-07~)
スタサプ・TOEIC（2020-09-10）
業績まとめ
終わりに

今年はコロナ情勢の中、いろんな事をやった一年だった。結果的に、AtCoderにチャレンジしたのが大きかった。その他にも試験を何個か受けたり、本読んで感想書いたりして、まぁまぁ充実していた。

簿記（2020-02）

XBRLから財務分析を行う話があったのだがXBRLの取り扱い自体はできても、そもそも財務に関するドメイン知識が皆無だったので、基礎を学ぶためにまずは簿記の試験を1ヶ月程度かけて行った。無事合格。３級は基礎中の基礎でこれはこれで勉強になったが、いわゆる財務分析についても勉強していきたい。

blacktanktop.hatenablog.com

はてぶ（2020-06~）

とりあえず、自分がやってることというのはだいたい忘れていくし、なにかの折に何者なのかもわかりやすいように、当時興味あったことをログとして残すことにした。

blacktanktop.hatenablog.com

AtCoder （2020-05~）

時間もあったのと数学的思考をプログラミング化するいい題材がないか考えて、AtCoderを始めた。

blacktanktop.hatenablog.com

なんだかんだ半年くらいは続いて、今もコンテストには参加しているけど、とっさのひらめき・知識・実装力不足を実感した。そして半年もやってるのにまだ沼から抜け出せてないOrz

初めて慣れてきた頃に、良い書籍が出て勉強になった。 blacktanktop.hatenablog.com

今年は合計で数百問は解いたけど、コンテストの復習も兼ねて、再度解き直しを行った。

blacktanktop.hatenablog.com

書評（2020-07~）

今年は、本を読むだけでなく、とりあえずまとめてみるっていうことを何回かやった。ただただ読むだけよりも、文章にすることで、細かいところをきちんと調べるようになったので、よりinputが捗った。これら以外の本も色々読んだけど、まとめられたのは、このくらいで、これからも続けていきたい。

blacktanktop.hatenablog.com

移住 (2020-07~)

なにげに、結構でかい話で一生に１−２度くらいしかな異買い物をすることに。去年秋くらいから家庭の事情もあり、移住計画スタート。いい場所に家を建てられそうだったので、速攻土地をおさえ、なんだかんだ、去年末から家全体の設計を考えて、インテリアはどうするだの、ZEHにするだのと進んで、諸々終えたのが今年の２−３月。４月の緊急事態宣言直前に地鎮祭。ものの数ヶ月建築工事が終わって、引き渡しってな感じである意味激動の数ヶ月が裏では動いてたっていう。まぁ計画当初は去年秋で、まさかコロナの騒ぎがここまで大きくなるとは想像もしていなかったけど、結果的には無事に移住もできてフルリモートで働けるしイイコトづくし。

スタサプ・TOEIC（2020-09-10）

諸事情でTOEICを受けざるを得ず、1ヶ月くらい真剣にスタサプと向き合った。これまでTOEICは受けたことがなくどんなものかもよくわかっていなかったが、結果はギリ700超えでまぁ初手ではこんなもんかと、一旦納得した（分布的には平均よりちょっといいってことになってる）。家で模試を解いてたときは素点計算で800位だったので、もう少し試験慣れが重要かなと思ったけど、ここ数年割と離れていた割には、やはりリスニングの方ができるのはNetflixを英語字幕で観まくったり、友人と会話しているおかげかな・・・っていうかReadingが悪すぎ。まぁ機会があればもう少し対策して実際に800くらいはいけそうと思ったので、まぁもうすこし頑張ってもいいかな。英語の試験対策はつまらない・・・TOEICできなくてもある程度の英語でのコミュニケーションはできるしね。まぁ逆にTOEICできても話す場面で全く話せないっていうのだけは避けたくて、日常会話に力を入れてきたのがとりあえず受けて成果を出すって言うところに単純に活きた感じだった。

ちなみに、スタサプは月3000円位だったけど割とコスパがいいと思った。集中して１−２ヶ月やるだけで感触はつかめる。ただ試験対策は模試を時間通りに解いてやり直してを繰り返さないと、試験の感覚を養えないのと、試験は音が聞きづらい（ホールに響く感じになる）のでそこらへんの慣れも重要な気がした。 f:id:black_tank_top:20201231074750j:plain

業績まとめ

諸事情で、過去の業績をまとめる必要があり、大学から大学院・その後理研・現職までをザーッとまとめるっていう作業をしていた。修論を整理しながら改めて、自分のやりたいことの方向性も固まってきたので、来年以降その方向で進んでいけるといいなと思っている。

終わりに

今年は、思いったら始めるっていう感じで通したので、来年はもう少し計画的にやりたい。来年からは何ヶ年計画で色々とやりたいことがあるので、年明けから結構忙しくなりそうだ。

2020-12-27

Python3で解いた AtCoderの勉強になった問題 2020

AtCoder 競プロ 2020年

サマリー
AtCoder Beginner Contest
AtCoder Regular Contest
最後に
参考書籍

サマリー

6月くらいから、AtCoderやってみようと、ふと思い立って初めて約半年。
年末時間ができたから復習していてそこで面白かった問題を上げていく。
基本過去記事の再掲しつつ、もう一度振り返る。

AtCoder Beginner Contest

169 C-Multiplication 3 (2020-05-31)

問題は以下 atcoder.jp 初めての参戦で、いきなりこの問題でWAを超絶だした記憶。オーバーフローや計算精度に関する問題も出るのかと痛感した。

どういう時に問題が起きるのかをそもそも理解できずに、試行錯誤しつつ、以下のうように、浮動小数は実際には正しい値を保持していないことを改めて知って勉強になった。

0.07 * 100
# 7.000000000000001
0.29 * 100
# 28.999999999999996

でもDecimalモジュール使えばいいやと思って通した。

a, b = map(str, input().split())
res = int(a) * Decimal(b)
print(int(res))

けど本来は、数値をそのまま掛け合わせて後で割って整数部分だけ取得するとやってほしかったんだろうなぁ

a, b = map(str, input().split())
c,d = b.split('.')
# int(c+d)とするとbを文字通り100倍された結果になる。
res = a * int(c+d) 
print(res//100)

169 D - Div Game (2020-05-31)

問題は以下 atcoder.jp この当時は、素因数分解をする方法もコードに落としてなくて１から実装しなきゃで大変だったが、それさえできればあと一工夫でできる。

170 D - Not Divisible (2020-06-14)

問題は以下

atcoder.jp

この当時は、エラトステネスの篩的な考えもコードに落としてないし、発想としても持っていなかった。

リストに含まれるある値の定数倍の値をふるい落とすという考えを学んだ
また、inで探すときは対象をlistではなくsetにしておくことが速度として重要というのも学んだ

n = int(input())
a = list(map(int, input().split()))
a_s = sorted(a)
a_set = set(a_s)
maxv = max(a)
res = [0] * (maxv+1)
rep = 0
for i in a_s:
    # iを評価してない時はiを含むの定数倍のところは+1
    if res[i] == 0:
        for j in range(i, maxv+1, i):
            res[j] += 1
    # iを評価してあればiを+1
    # すでに定数倍として評価されていたら2以上にしたい
    else:
        res[i] += 1
cnt = 0
# 最終的に検索対象が定数倍リスト内で１になっているものだけをカウントする
for i in range(n):
    if res[a[i]] == 1:
        cnt += res[a[i]]
print(cnt)

172 C - Tsundoku (2020-06-27)

問題は以下 atcoder.jp

ここらへんから記事書き始めた。

しゃくとり
累積和と二分探索

この時、これらのイメージを掴んだ感じ

blacktanktop.hatenablog.com

172 D - Sum of Divisors (2020-06-27)

問題は以下 atcoder.jp

Pythonだと $O(NlogN)$ でも $N \geq 10^8)$ だと通らないということを感じた回だった。

工夫すれば、

約数 $\times$ 等差数列の和で計算できる。

blacktanktop.hatenablog.com

173 C - H and V (2020-07-05)

問題は以下 atcoder.jp

はじめてbitをコードで起こした。bit演算子である、'&'や '>'の意味を学んだ。

bit全探索
itertoolsのproduct の両者を学んだ。bitは未だに苦手でbitで全パターン検索するような場合は先にproductで作ってしまうほうが考えやすい。

blacktanktop.hatenablog.com

174 C - Repsept (2020-08-02)

問題は以下 atcoder.jp

愚直に'7'をいくつも並べたものを順に割っていくっていうのはだめ。基本的に $x * 10^6$ という様にたくさん文字列を羅列する形は遅い。

純粋に'7', '77', '777' ... なので初項7, 公比10の等比数列と考える。

等比数列の和
余りで考えれば良いのでモジュラの性質をうまく使って10倍されていく時にあまりを10倍して考えればオーバーフローなどを木にする必要がなくなる。

blacktanktop.hatenablog.com

176 D - Wizard in Maze (2020-08-22)

問題は以下 atcoder.jp

結構重くて、なかなか通らなかった。対策としては、外側へのはみ出しを防止。結構むずくて、今解き直しても素直に実装できなそう。

上下左右を'##'で埋める。
あとは歩いていけなくなるまで普通の迷路探索。
ワープのパターン出いけるところに歩いていける範囲としてキューに加える。

blacktanktop.hatenablog.com

178 C - Ubiquity (2020-09-13)

問題は以下 atcoder.jp

愚直に条件に当てはまるものを求めるのではなく、包括原理より、全パターンから条件に合わないものを引くとしたほうがいいパターン。

ポイントとして、 $x^n$ という形は愚直に計算すると遅いので計算過程ではくり返し二乗法を使う

blacktanktop.hatenablog.com

180 C - Cream puff (2020-11-01)

問題は以下 atcoder.jp

単純な約数列挙だが、いちからコード書くと結構大変だった。考え方としては素因数分解と同じようなイメージでいけた。 $1)$ から $\sqrt{n}))$ まで試し割りして、割り切れたものと、割り切れたときの商を別々に保持して後でリストを連結

blacktanktop.hatenablog.com

181 D - Hachi (2020-10-17)

問題は以下 atcoder.jp

単純な倍数判定だが、入れ替えを考慮するため侮れない。結果から言うと、Counterで８の倍数の下３桁の文字列のパターンと一致するかどうかで判断。Counterの結果は引き算できることがポイント

blacktanktop.hatenablog.com

182 D - Wandering (2020-11-08)

問題は以下 atcoder.jp

その時までの値の累積和とその時までの値の最大値の和を考える。図示しながら考えるとわかり良い。

blacktanktop.hatenablog.com

183 D - Water Heater (2020-11-15)

問題は以下 atcoder.jp

持ち方がポイントで、使うスケジュールの最初の時刻でプラス、終わりでマイナスしたリストを頭から順に足し合わせていくようにして、スケジュールの累積和として考える

blacktanktop.hatenablog.com

184 D - increment of coins (2020-11-22)

問題は以下 atcoder.jp

メモ化を自動的にやってくれるlru_cacheというデコレータを知った。メモ化と比較するとスッキリすることがわかる。

blacktanktop.hatenablog.com

186 D - Sum of difference (2020-12-19)

問題は以下 atcoder.jp

久しぶりにコンテストの最中にDまで解けた。
引き算の絶対値がポイントで、事例を書き出して、ソートして考えても良いと考えられれば単純な数え上げとなる。

blacktanktop.hatenablog.com

AtCoder Regular Contest

106 B - Value (2020-10-24)

問題は以下

atcoder.jp

Union-Find問題。連結しているグループの値の和が一致するかを検討するだけ。このとき注意しなくてはいけないのは、find()でrootを求めていく。

blacktanktop.hatenablog.com

109 B - log (2020-11-28)

問題は以下

atcoder.jp

これまで、リストが存在する二分探索はやったことがあったが、この問題ではリストを作ってから行うと、TLEとなってしまうため、midの値を適切に変形し探索したい値 $n+1$ と比較する。

blacktanktop.hatenablog.com

110 B - many (2020-12-05)

問題は以下

atcoder.jp

最初'0'にアサインできたら、最後、左から数えて何番目の'0'にアサインできるかを考える問題

blacktanktop.hatenablog.com

最後に

結局だいたい実際にコンテストで解いた問題全部あげただけみたいになってしまったがまとめながら、半日かけて、ここに書き出した問題をもう一度解き直しして良い復習ができた。

ブログにまとめながらやっていたおかげで数ヶ月前に書いたコードを少し見直しただけで思い出せたし、復習が比較的楽にできてよかった。

2020年06月以前の問題も実際には精進として解いていて、その中でも良さげな問題はあったが、とりあえず今回は取り扱わないでおいた。

参考書籍

けんちょんさんの本。非常に参考になる。行き詰まった時にもう一度読み直したりしてる。

問題解決力を鍛える！アルゴリズムとデータ構造 (ＫＳ情報科学専門書)

作者:大槻兼資
発売日: 2020/12/16
メディア: Kindle版

こちらで、書籍を７章まで進めている。

blacktanktop.hatenablog.com

2020-12-27

【Fast.ai Vision】Single-Label Classificationの基礎

deeplearning Fastai Pytorch Vision

サマリー
環境準備
モジュールの読み込み
Data Blockについて
- DataLoadersの準備
- DataLoadersの確認
学習（Fine turning）
精度解釈
- confusion matrix
- クラスを間違っているかのチェック
参考になる書籍

サマリー

Fast.aiのversion2で関数が結構変わっていたので、Single-Label Classificationを行うために最低限の知識をメモとしてまとめる。基本的にはこちらの書籍に書かれている。

Deep Learning for Coders With Fastai and Pytorch: AI Applications Without a Phd

作者:Howard, Jeremy,Gugger, Sylvain
発売日: 2020/08/11
メディア: ペーパーバック

本格的に使う場合は、csvからのデータ取得やaugumentationも既存ツールでないものを使ったほうがいい、学習の仕方の工夫などがあるが、今回は取り扱わず、別記事とする。

環境準備

condaでInstallすることが推奨されている。まっさらな環境のときはcondaをオススメする。colabの場合はPytorchも使える状況なので、pip installで問題ない。

# Colabの場合（すでにPytorch環境が整っている場合）
!pip install -Uqq fastai

# まっさらな環境の場合（Pytorch環境もなく、１から環境作る場合）
conda install -c fastai -c pytorch fastai

Colabではない環境でどうしてもpipで環境を作りたい場合は、以下で適切にPytorchのinstallの設定を調べてから行う。 pytorch.org

モジュールの読み込み

賛否両論あるが、Fastaiはこの様に一行ですべて読込させる方針。

from fastai.vision.all import *

どのような形で必要なモジュールを読み込んでいるのかを把握したい場合は、いかから追ってみるといい。必要なモジュールだけを、すべて個別で読み込もうと試みたが、ただ使うだけなら度々import errorが起きるため諦めて、Fastaiの方針にのることにした。

github.com

Data Blockについて

DataLoadersの準備

以前はDataBunchというクラスでDataSetsやDataLoadersを作成したがversion2以降では変更となったようだ

github.com

DataBlockは、以下の引数を与えるとのDatasetsまたはDataLoadersを作成できる。

今回は比較的簡単にpathを取得できる例で説明する。Multi-Label ClassificationやデータセットのPATHがcsvで提供されている場合のDataBlockの作り方は別記事にする。

blocksはsinglelabelならblocks = (ImageBlock, CategoryBlock) で
- ImageBlockはTransformBlockのはPILで画像を読み込むための派生クラス
get_itemsは画像ファイルのパスを取得する方法、例えばget_image_filesを使う。
splitterは、データを分割する方法、以下のsplitterから状況に応じて使い分ける。
get_xは、入力に何かを適用する必要があるなら記述。
get_yは、ターゲットに何かを適用する必要があるなら記述。多くは予測ラベルの取得方法の関数。例えば、画像ファイル名から0, 1にする関数や画像ファイル名から名前やカテゴリ名を取得する方法を記述。例えば、RegexLabellerとusing_attrを使うなどする。
item_tfmsは、batchが形成される前にアイテムに適用される変換を記述。GPUにコピーされる前に個々の画像に適用される。例えばresize。
batch_tfmsは、batchが形成された後に適用される変換を記述。GPU上で一括して適用される。例えばaug_transformsなどを使う。
item_tfmsとbatch_tfmsの両者に使う関数は以下が参考になる。 Data augmentation in computer vision | fastai
インスタンスを作ったら、以下の様に画像のディレクトリを入力すればDataLoadersが作ることができる。

# 例えば、path/"images"以下に画像データそれぞれのPathが入ってるとすると
data = DataBlock(blocks = (ImageBlock, CategoryBlock),
                 get_items=get_image_files, 
                 splitter=RandomSplitter(seed=42),
                 get_y=using_attr(RegexLabeller(r'(.+)_\d+.jpg$'), 'name'),
                 item_tfms=Resize(460),
                 batch_tfms=aug_transforms(size=224, min_scale=0.75))

dls = data.dataloaders(path/"images")

# 実際のカテゴリ、カテゴリ数を表示
print(dls.vocab)
len(dls.vocab)

DataLoadersの確認

DataLoadersの中身をバッチ分確認したい場合は以下。デフォルトでは、バッチサイズは64。

x, y = dls.one_batch()
# y 
# TensorCategory([18, 36, 35, 22, 17, 26,  0, 21, 32, 34,  1,  7,  1, 20, 31, 15, 31, 34, 5,  1, 22, 33, 21, 26,  0,  9, 15,  7, 13, 16, 28, 23, 18,  5,  1,  5, 15,  6,  5, 12,  1, 24,  2, 16,  6,  5,  8, 11, 30,  5, 22, 34, 11, 18, 0, 19, 25, 28, 32,  9, 21,  6, 17, 13], device='cuda:0')

画像自体を確認するときは[show_batch] (https://docs.fast.ai/data.core.html#TfmdDL.show_batch)で表示できる。以下は、The Oxford-IIIT Pet Datasetを読み込んだときの例。

dls.show_batch(nrows=4, ncols=4, max_n=16)

f:id:black_tank_top:20201213142431p:plain — The Oxford-IIIT Pet Datasetを表示した例

学習（Fine turning）

learnerの設定

基本的に最低３つ設定する。

DataLoaders
モデル
Metrics

モデルは自分で構築したものも使えるし、以下のpretrainedされたモデルアーキテクチャも使える。 pytorch.org

Metricsは自分で構築したものも使えるし、以下の用意されたMetricsを使える。

docs.fast.ai

learn = cnn_learner(dls, resnet34, metrics=error_rate)

モデル構造のチェック

cnn_learnerで作っている場合は、選択したモデルの最後の層だけcutして、DataLoaderに合わせた数にセットされる。以下で確認できる。

learn.model

転移学習とFine turning

転移学習は、

事前に学習した重みや他のレイヤーの重みを変更せずに（freezing）、目的のタスクを正しく達成するように最終層の完全結合層(fully conect layer)はランダム重みを持つ新しいものに置き換えてこの重みを置き換えた最終層のみの重みだけを更新するように学習すること。

Fine turningは、

転移学習後の微調整で、転移学習後に他のレイヤーの重みの変更を許して（unfreezing）、目的のタスクを正しく達成する重みに置き換えて学習すること。

多くの場合で、以下のやり方で転移学習・Fine turningすることでよりLossが下がることが知られている。

最終層以外をfreezingして学習する。
unfreezeする。
更に学習する。

Fastai version1のときは

learn.fit_one_cycle(1)
unfreeze()
learn.fit_one_cycle(1)

のようにやっていたが、version2から新たにfine_tuneというmethodが追加された。unfreezingで何epoch学習するかが引数。freezingで何epoch学習するかは別途設定できる（デフォルトでは1）

なので、上記と同義なのが以下

learn.fine_tune(1)

ただ、基本的には、fit_one_cycleとlr_findを組み合わせて、freezing時でも最適な学習率を設定し、unfreezingでも最適な学習率を設定し（最初は大きな値、徐々に小さく）学習することが望ましい。

以下に、適切な学習率を探索する方法について書いた。

適切な学習率の探索

Leslie Smithによって、learning rate finderというアイディアが考案された。 arxiv.org 内容の詳細は省くがその論文は以下なので、参考にするといい。学習率の良い値は、

ダイバージェンス前の最小値の10分の1
勾配が一番急な時

learnerを設定したら、以下のようにすれば、上記の２つの値が返ってくる。

learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.lr_find()
# SuggestedLRs(lr_min=0.012022644281387329, lr_steep=0.0063095735386013985)

f:id:black_tank_top:20201213001730p:plain — learning rate finderの結果の例

まず、freezingしている状態で実際にその値を見た上で適切な学習率を考える。上記の例だと、以下のようにするのが例となる。

learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fine_tune(2, base_lr=3e-3)

fit_one_cycleを使った改善

fit_one_cycleはfine_tuneを使わずにモデルを学習する方法として用意されていて、より自由度高く学習の設計ができる。低い学習率で学習を開始し、最初の部分では徐々に学習率を上げ、最後の部分では再び学習率を徐々に下げていくことが可能。

学習率を探索する。
freezingして、最終層の重みだけを更新するように学習する。
unfreezingする。再度学習率を探索する。
すべての層の重みを更新するように学習する。

# 1. 学習率を探索する。
learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.lr_find()
SuggestedLRs(lr_min=0.012022644281387329, 
lr_steep=0.0063095735386013985)

# 2. 最終層の重みだけを更新するように学習する。
learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fit_one_cycle(3, 3e-3)

# 3. unfreezingする。再度学習率を探索する。
learn.unfreeze()
learn.lr_find()

f:id:black_tank_top:20201213005202p:plain — 最終層の学習・unfreezing後learning rate finderの結果の例

上記の例だと、freezing前の探索時のLossの落ち込みに比べて、unfreezing後の探索時の急激なlossの落ち込みがないのは、学習がある程度進んでいるからと考えられる。この場合だと、以下のように学習をすすめるなど、考えられる。

# 4. すべての層の重みを更新するように学習する。
learn.fit_one_cycle(6, lr_max=1e-5)

Discriminative Learning Rates

Jason Yosinskiらによって、支持されているものとして、ネットワークの初期層には低い学習率を使い、最終層には高い学習率を使うのが良いとされている。論文は以下。 arxiv.org

例えば、これまでの内容をふまえると、以下のような流れで行うことができる。

learn = cnn_learner(dls, resnet34, metrics=error_rate)
learn.fit_one_cycle(3, 3e-3)
learn.unfreeze()
learn.fit_one_cycle(12, lr_max=slice(1e-6,1e-4))
# lossのプロット
learn.recorder.plot_loss()

f:id:black_tank_top:20201213010758p:plain — 学習と評価データのlossのプロット

Mixed Precision

より、深いネットワークを使ったときの問題点としては、

メモリ不足
時間がかかる

解決策として、以下が考えられる。

メモリ不足に関してはバッチサイズを減らして学習させる。
時間がかかることに関しては、Mixed Precisionとして、半精度浮動小数点（fp16）を使うことで数倍早くなる。

Fastai version2では半精度浮動小数点はfrom fastai.callback.fp16 import *を読み込むことで使うことができる。
（fastaiのバージョンにもよる。callbackのうちfp16についてはfrom fastai.vision.all import *で自動的に読み込まれることもある）

from fastai.callback.fp16 import *
learn = cnn_learner(dls, resnet50, metrics=error_rate).to_fp16()
learn.fine_tune(6, freeze_epochs=3)

精度解釈

学習時にvalidation lossで自分で決めたmetricで精度は理解できているものの、実際にどのクラスとどのクラスが間違えやすいか、その程度はどの程度かを把握するために、confusion matrixで予測があっているかを直感的に理解する。

confusion matrix

interp = ClassificationInterpretation.from_learner(learn)
interp.plot_confusion_matrix(figsize=(12,12), dpi=60)

f:id:black_tank_top:20201213105319p:plain — Confusion Matrixの例

クラスを間違っているかのチェック

間違っているクラス同士をチェックするにはmost_confusedというメソッドが用意されている

interp.most_confused(min_val=5)

参考になる書籍

FastaiとPytorchを使って画像認識や協調フィルタリング・NLP関連のタスクを例として、かなり詳細まで書かれている。Fastaiを使っていくなら一読することをおすすめする。

Deep Learning for Coders With Fastai and Pytorch: AI Applications Without a Phd

作者:Howard, Jeremy,Gugger, Sylvain
発売日: 2020/08/11
メディア: ペーパーバック

2020-12-20

Python3で解く AtCoder Beginner Contest 186 D - Sum of difference

AtCoder 競プロ ABC-D ソート絶対値

結構単純な、数え上げ。ソートして考えることにきづければ簡単。

概要

問題

問題概要は省略。

解くときに考えた内容

すべてのパターンは $\frac{(n)\times (n-1)}{2}$ でも制約的に、線形で考えなくてはいけないので二重のforではだめ。
差の絶対値をとったものの和なので順番をソートしても問題ない。
大きい順にする。
あとはindexと対応する値を適切に足し合わせたり、引いたりする。
- 簡易的な例を考えると、 $A = [2, 3, 5, 1, 4]$ だとした時に、順番に引き算すると $|2-3|, |2-5|, |2-1|, |2-4| ... |5-1|, |5-4|, |1-4|$ となる。図を見ると、大きい順にソートしてから考えた時と、計算結果は変わらないことがわかる。（左右が入れ替わったパターンが出てくるだけでそれは絶対値によって和にするならば一致するため）
- ここまで理解できれば、あとは規則性。
- 全体でどれがどれだけ+なのか-なのかを考える。
- $5$ が $4$ 回加算される（図では+） $0$ 回減算される（図では-）。
- $4$ が $3$ 回加算される（図では+） $1$ 回減算される（図では-）。
- 一般に $sorted_A[index]$ が $n-index -1$ 回加算される（図では+） $index$ 回減算される（図では-）。

f:id:black_tank_top:20201220003525j:plain — パターンのイメージ図

最近は実際のコンテストの最中にイメージ図を書くようにしている。その方が、indexとの関係などをが明白になってミスが減っている気がしている。上の図も実際の場面で書いたもの。

コード

n = int(input())
A = sorted([int(x) for x in input().split()], reverse=True)
ans = 0
for i in range(n):
    ans += A[i] * ((n-i-1) - i)
print(ans)

参考になる書籍

問題解決力を鍛える!アルゴリズムとデータ構造

けんちょんさんこと、大槻さんの書籍である、「問題解決力を鍛える!アルゴリズムとデータ構造」ご本人の記事の中で難易度は、螺旋本ということで初学者でも非常に結構読みやすい!!!（実際に、けんちょんさんの記事はC++に疎い自分でも、その思考プロセスを学べるくらい丁寧に書かれているし、この書籍も非常に読みやすい）どのようなステータスの人にもおすすめの一冊になっている。

とうとう発売され自分の手元にも来た（2020-10-03）。現在読み中なのである程度読み込んだら感想を書く予定。めっちゃ図が多いし、章末問題もあるしかなりイケてる。答えはC++で書かれているがそのうちPythonでも書かれるとのことなので、自分で前もってやってしまおうと思う（答え合わせできるのはありがたい）。

問題解決力を鍛える!アルゴリズムとデータ構造 (KS情報科学専門書)

作者:大槻兼資
発売日: 2020/10/02
メディア: 単行本

７章までは別記事に残してある。 blacktanktop.hatenablog.com

2020-12-19

AtCoder Beginner Contest 186 参加ログ・感想

参加ログ AtCoder 競プロ ABC

内容
結果
どう考えたか + α
おわりに
参考になる書籍

内容

Python3でやっている。
参加ログ。
所感。
コンテスト中に何を考えたか。
コンテスト後に解説をみたり、少し整理したりしたくらいの内容。
問題の詳細で細かく書こうと思うものは別記事とする。

結果

久しぶりにABCD完。Eも方針が立つくらいにまでは時間があった。少しは成長している感触だった。Cはn進数をリストで持つようにして対応。制約的にDは線形で考えなくてはいけないと考え、絶対値がポイントになると踏んで対応した。

どう考えたか + α

問題

A - Brick

問題タイプ：商

文意から商が答え

n, w = map(int, input().split())
ans = n // w
print(ans)

B - Blocks on Grid

問題タイプ：最小値・ループ処理

$A$ を多重リストで持つと面倒なので、flattenして、１次元のリストにする。
$A$ の最小値を求める。
$A$ をループで回しながら最小値をとの差を加算していく。

import itertools
def flatten(l):
    return list(itertools.chain.from_iterable(l))
h, w = map(int, input().split())
A = [list(map(int, input().split())) for _ in range(h)]
a = flatten(A)
min_a = min(a)
cnt = 0
for i in a:
    cnt += i - min_a
print(cnt)

C - Unlucky 7

問題タイプ：n進数

もしかしたら、組み込み関数でいい感じにできるかもしれなかったが、知らんかったのと、入力値とn進数を入れたら、各桁のリストで管理したかったので、その様にやった。あとは10進数と8進数どちらも出てきたの中に $7$ がないものだけカウントするだけ。

def shinsu(N, shinsu=8):
    keta=0
    for i in range(10**5+1):
        if N<shinsu**i:
            keta+=i
            break
    ans=[0]*keta
    check=0
    for i in range(1,keta+1):
        j=N//(shinsu**(keta-i))
        ans[check]=j
        check+=1
        N-=(j)*(shinsu**(keta-i))
    return ans
n = int(input())
cnt = 0
for i in range(1, n+1):
    ans10 = ch(i, 10)
    ans8 = shinsu(i)
    if 7 not in ans10 and 7 not in ans8:
        cnt += 1
print(cnt)

ちなみに、調べたらoct()とすれば8進数にできるらしい。 10進数はstrにすればいいので、そうすると以下のように可能。 oct()のために超絶めんどいことしてしてしまった。

n = int(input())
ans = 0
for i in range(1, n+1):
  if ('7' not in str(i)) and ('7' not in oct(i)):
    ans += 1
print(ans)

D - Sum of difference

問題タイプ：ソート・累積和

すべてのパターンは $\frac{(n)\times (n-1)}{2}$ でも制約的に、線形で考えなくてはいけないので二重のforではだめ。ポイントは、順番をソートする。その後順番に数ごとに加える量や引く量を線形に計算していく。別記事にする。

おわりに

今回は、比較的できた。今までやってきたことが、問題に多く出てきたという感じ。やはり慣れが重要だし、ぱっと思いつける様に精進が重要。が沼はまだ深い・・・。

参考になる書籍

問題解決力を鍛える!アルゴリズムとデータ構造

問題解決力を鍛える!アルゴリズムとデータ構造 (KS情報科学専門書)

作者:大槻兼資
発売日: 2020/10/02
メディア: 単行本

7章までPythonで章末問題をこなしていっている。

blacktanktop.hatenablog.com

2020-12-18

Python3で解く AtCoder Beginner Contest 114 D - 756

AtCoder 競プロ ABC ABC-D 約数の個数組み合わせ

階乗の約数のカウント、七五数のカウント。愚直に約数を列挙して数え上げるとだめで数え上げに組み合わせのを考えながら工夫が必要な、いい問題

概要

問題

$n$ が与えられる。
$n!$ の約数の中に七五数は何個ある？
七五数とは約数をちょうど75個持つ正の整数とする。

解くときに考えた内容

約数のカウントは以下のように考える。
- $[p, q, r]$ が素数とすると
- $p^a \times q^b \times r^c$ の形でなにかの数字が表せるとすると、
- $(a+1) \times (b+1) \times (c+1)$ がその約数の数
$n!$ の約数の中に七五数は何個あるで、約数を列挙して、それぞれの約数の数をカウントすると、TLEになってしまう。列挙せずに組み合わせのパターンで考える必要がある。
$n!$ の素数の数の数え上げを行う。
七五数は $p^a \times q^b \times r^c$ でいうと、
- $a \leq 74$ となるような $p$ の数
- $a \leq 24$ となるような $p$ の数 x （ $b \leq 2$ となるような $q$ の数 $-1$ ）（以上になるなので、片側に含まれたらもう片側に含めたくないので）
- $a \leq 14$ となるような $p$ の数 x （ $b \leq 4$ となるような $q$ の数 $-1$ )
- $a \leq 4$ となるような $p$ の数 x （ $b \leq 4$ となるような $q$ の数 $-1$ ） x （ $c \leq 2$ となるような $2$ の数 $-2$ ）を $2$ で割る
$q, r$ で $-1$ , $-2$ するのは、ある数以上あるものとしているので、該当の素数たちのなかから一度選んだものを排除したい。
$[a, b, c] = [4, 4, 2]$ の時2で割るのは、累乗が4以上になる素数が10個ある時に二つ選ぶ選び方なので

コード

# 階乗の素数のカウント用
def factorization_list(n):
    tmp = n
    i = 2
    while i*i <= n:
        if tmp%i == 0:
            cnt = 0
            # 割れる場合は割れなくなるまで同じ数でわる
            while tmp%i == 0:
                cnt += 1
                tmp //= i
            e[i] += cnt
        i += 1
    # 最後1になるか素数が余るので素数ならリストに追加
    if tmp != 1:
        e[tmp] += 1
    # nが1以外の素数だったら
    if e == [0] * (n+1):
        if n != 1:
            e[n] += 1
    return e
# m以上の個数（たとえばeの中に4以上のものがいくつあるかを調べる）    
def e_count(m):
    l = [i for i in e if i >= m]
    return (len(l))
n = int(input())
e = [0] * (n+1)
for i in range(2, n+1):
    factorization_list(i)
    # print(e)
# nが与えられた時に、1-indexでn!の素数の累乗の合計を示す。
# n=6
# 2! [0, 0, 1, 0, 0, 0, 0] 
# 3! [0, 0, 1, 1, 0, 0, 0]
# 4! [0, 0, 3, 1, 0, 0, 0]
# 5! [0, 0, 3, 1, 0, 1, 0]
# 6! [0, 0, 4, 2, 0, 1, 0]

# 重複しないようにうまくカウント、e_countはm以上だから一度選んだものを選ばないようにする
# 同じ値のものを選ぶときは選び方的に割り算する（mが4以上をを２つ選ぶ選び方のこと）
print(e_count(74) + \
    e_count(24) * (e_count(2)-1) + \
    e_count(14) * (e_count(4)-1) + \
    e_count(4)  * (e_count(4)-1) // 2 * (e_count(2)-2))def factorization_list(n):
    tmp = n
    i = 2
    while i*i <= n:
        if tmp%i == 0:
            cnt = 0
            # 割れる場合は割れなくなるまで同じ数でわる
            while tmp%i == 0:
                cnt += 1
                tmp //= i
            e[i] += cnt
        i += 1
    # 最後1になるか素数が余るので素数ならリストに追加
    if tmp != 1:
        e[tmp] += 1
    # nが1以外の素数だったら
    if e == [0] * (n+1):
        if n != 1:
            e[n] += 1
    return e
# m以上の個数（たとえばeの中に4以上のものがいくつあるかを調べる）    
def e_count(m):
    l = [i for i in e if i >= m]
    return (len(l))
n = int(input())
e = [0] * (n+1)
# nが与えられた時に、1-indexでn!の素数の累乗の合計を示す。
# n=6
# 2! [0, 0, 1, 0, 0, 0, 0] 
# 3! [0, 0, 1, 1, 0, 0, 0]
# 4! [0, 0, 3, 1, 0, 0, 0]
# 5! [0, 0, 3, 1, 0, 1, 0]
# 6! [0, 0, 4, 2, 0, 1, 0]
for i in range(2, n+1):
    factorization_list(i)
    print(e)
# 重複しないようにうまくカウント、e_countはm以上だから一度選んだものを選ばないようにする
# 同じ値のものを選ぶときは選び方的に割り算する（mが4以上をを２つ選ぶ選び方のこと）
print(e_count(74) + \
    e_count(24) * (e_count(2)-1) + \
    e_count(14) * (e_count(4)-1) + \
    e_count(4)  * (e_count(4)-1) // 2 * (e_count(2)-2))

参考になる書籍

問題解決力を鍛える!アルゴリズムとデータ構造

問題解決力を鍛える!アルゴリズムとデータ構造 (KS情報科学専門書)

作者:大槻兼資
発売日: 2020/10/02
メディア: 単行本

７章までは別記事に残してある。 blacktanktop.hatenablog.com

経緯

今後

簿記（2020-02）

はてぶ（2020-06~）

AtCoder （2020-05~）

書評 （2020-07~）

移住 (2020-07~)

スタサプ・TOEIC（2020-09-10）

業績まとめ

終わりに

サマリー

AtCoder Beginner Contest

169 C-Multiplication 3 (2020-05-31)

169 D - Div Game (2020-05-31)

170 D - Not Divisible (2020-06-14)

172 C - Tsundoku (2020-06-27)

172 D - Sum of Divisors (2020-06-27)

173 C - H and V (2020-07-05)

174 C - Repsept (2020-08-02)

176 D - Wizard in Maze (2020-08-22)

178 C - Ubiquity (2020-09-13)

180 C - Cream puff (2020-11-01)

181 D - Hachi (2020-10-17)

182 D - Wandering (2020-11-08)

183 D - Water Heater (2020-11-15)

184 D - increment of coins (2020-11-22)

186 D - Sum of difference (2020-12-19)

AtCoder Regular Contest

106 B - Value (2020-10-24)

109 B - log (2020-11-28)

110 B - many (2020-12-05)

最後に

参考書籍

サマリー

環境準備

モジュールの読み込み

Data Blockについて

DataLoadersの準備

DataLoadersの確認

学習（Fine turning）

learnerの設定

モデル構造のチェック

転移学習とFine turning

適切な学習率の探索

fit_one_cycleを使った改善

Discriminative Learning Rates

Mixed Precision

精度解釈

confusion matrix

クラスを間違っているかのチェック

参考になる書籍

目次

概要

解くときに考えた内容

コード

参考になる書籍

内容

結果

どう考えたか + α

A - Brick

B - Blocks on Grid

C - Unlucky 7

D - Sum of difference

おわりに

参考になる書籍

目次

概要

解くときに考えた内容

コード

参考になる書籍

書評（2020-07~）