6月14日のツイート

RT @perla_kvet_ptak: ウーパールーパーの胴体が短い品種をウパルパと呼ぶと聞きつけて、『言語学的に使えそうな事例だ』と思い嬉々として温めてきましたが使い道がありません。

posted at 08:26:51

RT @yukihiko_a: トラッキング技術勉強会 #tratech アーカイブを公開しました。ちょっと編集したので残念ながらライブチャットが見えなくなってしまいました。ごめんなさい。 youtu.be/ySPpJCfAW_Y

posted at 08:26:35

RT @hillbig: 学習済みモデルの予測結果を目標に同じモデルで学習する自己蒸留は新たな情報が加わっていないにも関わらず汎化性能は改善する。これは自己蒸留の度に使用する基底関数が制限されていくためであり、アーリーストッピングと似ているが別の形で表現力を制約するため。arxiv.org/abs/2002.05715

posted at 08:24:14

RT @hillbig: 学習済み教師の予測を目標に生徒が学習する知識蒸留では、教師と生徒が同じクロップを利用し学習に一貫性があること（MixUpを使うと更に良い）、通常の教師あり学習よりずっと多くのepoch数を使って学習することが重要。巨大なNNの汎化能力を通常NNに移すことができる arxiv.org/abs/2106.05237

posted at 08:21:33

RT @mokonuco: 僕は研究者で食ってるけど、日本のメーカーの企業研究者のフィールドは（製薬や化学はわからないけど）機電系では10年ぐらい前から壊滅している。研究所が壊滅する時代は終わり、次の「アウトソーシングしすぎて国産＆国内設計が不可能」という段階まで来てしまった。というお話です。

posted at 07:12:57