RT @hillbig: （続きコメント）分類とかでは高次情報は関係ないのでPicewise Linearでよいが、物理シグナルの陰関数表現の場合は、高次情報が重要となる。sin関数を利用すること自体はDL教科書にも例であげられるぐらい知られていたが、分類タスクにおいては利点がなかった。初期化の工夫も重要にみえる
posted at 12:51:00
RT @hillbig: 多くの物理情報（画像、動画、音声、幾何）は微分方程式の解とみなせ高次情報も構造を持つがNN陰関数表現でReLUを使うとその二次微分が0のため高次情報が失われる。sin関数を活性化関数として使うSIRENは詳細な表現ができ学習に成功する。重要な結果vsitzmann.github.io/siren/ youtu.be/Q2fLWGBeaiI
posted at 12:50:28
RT @tmaehara: SIRENちょっと面白いな．3層NNの普遍性を示す古典テクにsin活性化に対して普遍性を示し（加法定理によってStone-Weierstrassの適用条件が充足される），sigmoidをsinで近似する，というのがあるんだけど，これの前半部分を使ってることになる．
posted at 12:31:15
RT @esXFdfOJxiGBFLx: 結論、分類器は背景を使って判断をしている。 ここは人間と違うのは何故なのかが今後の追加検討。 医療でも同じ傾向は出るのかな？ 結節像なくても検出や良悪性判断できる可能性あるのかな。
posted at 12:30:52
RT @esXFdfOJxiGBFLx: 結果やばい結果だと思う。 画像の背景と物体の関係を評価した研究。かなり詳しく評価されており、また考察も量がすごい。成功している分類器は背景情報を使っている可能性がある。 本当に特定の分野ではいいが、分布外になると性能が悪くなる。 arxiv.org/abs/2006.09994
posted at 12:30:48
RT @AndrewYNg: Our new Natural Language Processing Specialization’s first two courses are now on @Coursera! You’ll build your technical foundations and work on projects ranging from sentiment analysis to language modeling to autocomplete. Check it out: www.coursera.org/specialization… pic.twitter.com/rWf5nusLhp
posted at 11:22:09
RT @icoxfog417: Courseraでdeeplearning.aiの自然言語処理講座が開講。全4回のコースだが内容は盛りだくさん(Naive BayesからReformerでchatbotまでいく) twitter.com/AndrewYNg/stat…
posted at 11:21:37
【西田宗千佳のRandomTracking】「復活の福山雅治」は本気のしるし、当事者が「今年のレグザ」を語り尽くす - AV Watch av.watch.impress.co.jp/docs/series/rt… @avwatchから
posted at 10:39:26
同時に発表された「Surface Pro 7」と「Surface Pro X」どこがどう違うのか検証してみた dime.jp/genre/933582/ @DIME_HACKSから
posted at 10:37:36
RNNに触れてみよう：サイン波の推測 www.atmarkit.co.jp/ait/articles/2…
posted at 10:36:14
RT @nakamura: ヒューマンインタフェース学会誌で連載している「BADUI診療所」のこれまで出版された全33回分のPDFを公開してみた． dl.nkmr-lab.org/?q=BADUI%E8%A8…
posted at 10:35:19
RT @mhagiwara: The Unreasonable Effectiveness of the Transformer Spell Checker www.realworldnlpbook.com/blog/unreasona…
posted at 08:14:03
RT @hmkz_: DeepLの丸々1文落とす問題、経験的には "--" か ";" の後ろの文が落ちるケースが大半なので、事前に ". That is," に置き換えるだけでほぼ対処できる気がしている。
posted at 08:12:37
RT @icoxfog417: Salesforce Researchが新型コロナウィルスの論文を検索するためのサイトを公開。論文をパラグラフに分解し、パラグラフのテキストと引用論文のタイトルペアでSentence-BERTを学習、またQAで回答の特定、抽象要約で代表的な主張を抜くなど工夫が凝らされている。 twitter.com/SFResearch/sta…
posted at 08:11:45
RT @hmkz_: BLM、あらぬ方向に飛び火しそうで心配。 1. プラットフォーマー (PFer) が一斉に差別表現を書き換え始める。←イマココ 2. 終わりなき言葉狩りに発展、PFerの対応コストが膨れ上がる。 3. コスト削減のためPFer達が差別表現を国際標準化する。 4. 基準を満たさない作品があらゆる市場からBanされる。
posted at 08:06:14
RT @Tsoup2: 博物学が好きな海賊(1/6) pic.twitter.com/whLCA3fNlx
posted at 08:05:46
RT @Tsoup2: 6月25日に最新話（15話）が更新されます。 そのあと6月いっぱいで4〜8話は非公開になってしまうため、残り二週間もないですが、楽しんでくださると嬉しいです。 各話リスト tmblr.co/ZBwDGt2jHDirD
posted at 08:05:41
RT @tksakaki: 発想が天才のそれ。凄い発明や。 地名の最後の一文字だけで地図をつくると地形が見える dailyportalz.jp/kiji/saigo-no-… #DPZ
posted at 01:10:10
RT @ichiro_satoh: ここでいうとマスターとスレーブは、主人と奴隷という意味ではないと思うし、スレーブをレプリカと置き換えるのは機能と名称がの不一致を生むのではないか。"「マスター」「スレーブ」といったプログラミング用語の置き換えが加速｜BUSINESS INSIDER" www.businessinsider.jp/post-214738 via @BIJapan
posted at 01:07:15
RT @tak_yamm: CNNは腹側路の良いモデルだが大量の学習による重み更新を必要とする。そこで訓練済みモデルの各層の重み分布の統計量を持つ多変量正規分布による重みの初期化(Weight Compression)を行うと、訓練無しでも訓練モデルの54%のbrain predictivityを達成。 www.biorxiv.org/content/10.110…
posted at 01:06:34
RT @OpenAI: We found that just as a large transformer model trained on language can generate coherent text, the same exact model trained on pixel sequences can generate coherent image completions and samples. openai.com/blog/image-gpt/ pic.twitter.com/6AGsfx26gM
posted at 01:04:01
RT @icoxfog417: GPT-2を利用してピクセル系列を予測した研究。低解像度にした上でピクセルを横に並べ1Dの系列にし、後は普通にTransformerに入れる。自己回帰的に予測を行う損失とBERTのMask予測損失を組み合わせて学習、Average Poolを取った特徴でのクラス予測+中間特徴による予測でFine Tuneする。 twitter.com/OpenAI/status/…
posted at 01:03:15
RT @arxiv_org: Density Deconvolution with Normalizing Flows. arxiv.org/abs/2006.09396 pic.twitter.com/tQP1O3RrW0
posted at 01:02:17
RT @mosko_mule: これまでは自前でホストするtrains github.com/allegroai/trains を使っていたのですが，研究室のサーバーは壁の向こうなので外部の計算サーバーからは使えなくて困っていました．2行追加するだけで全部記録してくれるところはtrainsの方が良さそう． twitter.com/mosko_mule/sta…
posted at 01:01:12
RT @shunk031: 弊研後輩がCVPR2020のbest paperのまとめを書いていた…！自分の知ってる分野と少し違う雰囲気を感じるので助かる / “Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images in the Wild 自分用メモ - ココアのお勉強ブログ” htn.to/bebBy2V4JT
posted at 01:00:30
RT @origamicat: 中高生に学校の勉強苦手でもロボット作れますか？とたまに聞かれる ロボットやプログラミングと学力は全くの別物なので、気にしなくていいよ それより、ダンボールでも牛乳パックでも輪ゴムでも、身の回りにあるもの使って毎日何か作る、夢中で作らずにはいられない事の方が学力より大事 手を動かせ
posted at 01:00:12
RT @DeepMind: Bilingual children learn two languages by associating words to visually similar situations. We show how we use related ideas to train bilingual word translation models with no access to paired training data. #CVPR20 Paper: bit.ly/30VpKEH Blog: bit.ly/2Yb1JYv pic.twitter.com/cmwAK9yCTI
posted at 00:58:08
RT @ytb_at_twt: 1990年代に複雑系な人たちが、シミュレーションの結果が自然現象と似ていたため、自分たちの理論が正しいと主張しましたが、説得力を全く持たず、応用可能性も低いものでした。 中身がブラックボックスなモデルは、特に誤差が出たときその誤差の評価が難しく、他分野への応用が困難でしょう。 twitter.com/insou/status/1…
posted at 00:57:33
RT @ToshihikoOgata: 安倍首相会見。前日まで自民党だった現職国会議員２人が逮捕された日にもかかわらず、質問した官邸クラブの記者からは、事件の質問自体が少なく、首相に鋭く迫る姿勢も全く感じられず、愕然としました。ホワイトハウスなど他の主要国の会見なら、首脳の責任を問う質問で埋め尽くされると思います。
posted at 00:57:20
RT @TJO_datasci: 今のチームには自分の手解きでデータサイエンスを習得した「データサイエンティストという肩書きではない」同僚が何人もいるのだけど、皆さん揃って「データサイエンティストという肩書き」の自分よりも遥かにデータサイエンスを駆使した実務上の成果を沢山叩き出し続けていて、本当に嬉しい限り
posted at 00:56:31
RT @mosko_mule: www.wandb.com この実験結果管理ツール，きれいだし，自前でサーバーを用意しなくてもいいし，使いやすそう pic.twitter.com/B07FBIC2LD
posted at 00:55:29