RT @sushi514: 久しぶりのコミケです。 「壊れたSSDの修復履歴」を寄稿したよ。 かなり手堅い作業手順をまとめてみました。 冒頭抜粋はコチラ↓↓↓↓↓↓↓↓↓ twitter.com/penguin2716/st… pic.twitter.com/91ItFlF7Wn
posted at 23:37:50
RT @npaka123: Google Colab で Japanese StableLM Alpha + LlamaIndex の QA を試す｜npaka @npaka123 #note note.com/npaka/n/n5c80c…
posted at 22:43:36
RT @shima__shima: 基調講演二つ目はMSの Eric Horvitz さん．元はHCI系で，今は研究部門の運営をなさっているようだ． 最初に人間と機械の協調を提唱した Licklider さんの言葉が紹介されたが，私はこの方を知らなかった pic.twitter.com/lHU8qa90an
posted at 22:41:48
RT @masanork: GPT-4が最初からそのように設計されたのか、それとも別にクソデカモデルをつくったけれどもコスパが悪いとか期待ほどの性能が出なかったとかのアクシデントがあって、小さめのモデルを連結してリリースしたのかに興味があるかな ainow.ai/2023/08/08/274…
posted at 22:38:42
RT @t__keshi: サイバーエージェントの新卒研修資料がレベル高い 特にこれは、品質に関する基礎知識がしっかり網羅されていて全く無駄がない。 すごい資料だ... speakerdeck.com/moriatsushi/li…
posted at 22:30:38
RT @umiyuki_ai: きちゃ～！Japanese StableLM Alphaがリリース！Stabilityは本当にガッツリ日本語LLMを開発してくれていた！モデルサイズは最大規模の7B！のべ0.75Tトークンのデータで学習！英語と日本語とソースコード（2%）を学習させた！… twitter.com/i/web/status/1…
posted at 22:27:29
RT @_bit192: 本日公開されたStability AI Japanの日本語7Bモデル 「Japanese StableLM Alpha」に 当社から約150GBの独自データセットを提供しました。 今後、国内のオープンソースAIの発展に向けて、Bit192からも様々な取り組みを行っていきます。 ja.stability.ai/blog/japanese-…
posted at 22:27:10
RT @umiyuki_ai: ぬっ！？なんと、日本語StableLMに対してAIのべりすとから150GBもの日本語学習データ供与があったらしい！？これがあの高性能の理由か！？ →RT
posted at 22:27:02
RT @kanhatakeyama: 300時間ほど､GPUを回した結果です｡ Llama2-70b-chatで専門テキスト(学会の予稿集)をファインチューニング(QLoRA)｜Kan Hatakeyama @kanhatakeyama #note note.com/kan_hatakeyama…
posted at 22:08:05
RT @JiliJeanlouis: 📢 𝐉𝐮𝐬𝐭 𝐑𝐞𝐚𝐝: "Extrapolating Large Language Models to Non-English by Aligning Languages". A deep dive into making LLMs more multilingual. 🌍🔍 Paper: arxiv.org/pdf/2308.04948… GitHub Repo (though it's empty 😞): github.com/OwenNJU/x-LLM 🧠 𝐛𝐚𝐜𝐤𝐠𝐫𝐨𝐮𝐧𝐝: LLMs, like… twitter.com/i/web/status/1… pic.twitter.com/7SQpdVeOiE
posted at 22:05:21
RT @ushineko3n: MicroPythonでのMP3マルチタスク再生を完全攻略したので、PSRAMのないAtomS3だけでも3分程度の動画を流せるようになりました！音飛びもないです。 3分になると容量的に8fps(1枚4K以内)に収める必要があります。MP3はCBR 128kbps これで、いつでも「生存戦略」できます！ #M5Stack #輪るピングドラム pic.twitter.com/Ai8yq2F7dp
posted at 22:05:09
RT @ibaibabaibai: アダマールが歳とってアメリカに渡って求職してたとき、図書館で面談されて不採用になり 見上げたら「歴史上の偉大な数学者」の中に自分の写真が掛かってたって話好き
posted at 22:02:37
RT @SamPassaglia: Exciting day in the Japanese LLM space, with @StabilityAI_JP releasing their first japanese-focused model, japanese-stablelm-7b ! It is off to a good start on the Rakuda benchmark of Japanese LLMs. pic.twitter.com/2TBaQvEUb8
posted at 22:02:18
RT @myuuuuun: 理由は明らかで、大英博物館に投入された公費7570万GBPは国立博物館(4館合計)のそれよりも多く、日本もより公費を投入すべきだという議論を生まないようにするため。財務省の資料は一般に、このような統計の悪用が無限に見られる
posted at 21:28:39
RT @myuuuuun: このスライドの許せないポイントは、日本のデータには絶対額を入れているのに、海外のデータは公費と自己収入の割合だけを表示している所。例えば大英博物館に関する元資料を見ると、金額だけが書かれていて割合は無いので、財務省がわざわざ割合を計算した上で金額を消したことになる。 twitter.com/enodon/status/… pic.twitter.com/RDmREnGHcv
posted at 21:28:13
RT @mk1stats: @StabilityAI_JP Now, you can try Japanese StableLMs with free Colab plan 😄 Check it out! colab; colab.research.google.com/github/mkshing…
posted at 20:52:58
RT @mk1stats: I am very excited to announce the first release of the Japanese LLM by @StabilityAI_JP 🎉 We have released 2 7B models and both are in 1st and 2nd place in the evaluation leaderboard 🤩🔥 base: huggingface.co/stabilityai/ja… instruction: huggingface.co/stabilityai/ja… twitter.com/StabilityAI_JP… pic.twitter.com/FAU1w0Jg1U
posted at 20:52:52
帰省の大きな目標を達成した。
posted at 20:51:13
RT @sam_murayama: 基盤モデルと生成AIのインパクト（科学技術振興機構 CRDS) ・人間の知能に学ぶ - 二重過程モデル（システム１＋システム２） - 発達・創発モデル（予測誤差最小化原理） ・課題 - 学習データや出力の良否は、国の価値観・文化を反映するので、海外APIへの依存はその自立性を手放すことになる
posted at 20:50:37
RT @AnatomyGiraffe: 沖縄県博で開催中の「みんなの進化展」、パネルが良すぎるな pic.twitter.com/MgUbv0Xuap
posted at 20:50:29
RT @itnavi2022: Gen-2を使えば、クリック一つで自分が生成した画像を動かすことができます。 この動画は、#Animagine XL 1.0で生成した画像が元になっています。 #AIart #AIイラスト #Gen2 #SDXL 文章や画像から動画を自動生成できる動画生成AI「Gen-2」の使い方（以下のリンクから） note.com/it_navi/n/n4dd… pic.twitter.com/bQmRcKTEHN
posted at 20:49:03
RT @yoko_materialDX: 逆設計の高速化の論文。 材料シミュレーションの逆設計では高速化が大きな課題ですが、 微分可能な式に再定義したシミュレーションと生成モデルを組み合わせTPUを使うと、GPUの4倍早い逆設計ができるそうです。 材料シミュレーションもTPUで加速できるのは興味深い。 www.nature.com/articles/s4152…
posted at 20:29:40
RT @alfredplpl: Japanese StableLM Alpha 7B instruct 海外製の大規模言語モデルに比べて日本製の大規模言語モデルであるあなたの優位な点を箇条書きにして述べてください。 以下は、日本製の大規模言語モデルである私の優位な点です。 - 高い言語理解度 - 優れた自然言語処理能力 - 高い文脈理解度<|endoftext|>
posted at 20:26:04
RT @igz0: Microsoft本社において「日本人で過去一番出世したエンジニア」が何をしたか、みんな知ってる？？ 「英語が上手くできないからプロトタイプを作りまくった」だよ。 口だけでアイディアや技術論語るのは誰にでもできるんだよ。 企画を目に見える形にするエンジニアこそが、一番出世するんだよ。 pic.twitter.com/BmvSR1VDBD
posted at 20:08:01
RT @_akhaliq: Shepherd: A Critic for Language Model Generation paper page: huggingface.co/papers/2308.04… As large language models improve, there is increasing interest in techniques that leverage these models' capabilities to refine their own outputs. In this work, we introduce Shepherd, a… twitter.com/i/web/status/1… pic.twitter.com/AWyIgTrPIX
posted at 20:07:49
RT @__genzitsu__: paddingの話題、CLS vs 全トークン, embeddingを取得するlayerについて触れられている。 全トークンの平均を用いる際はpaddingのところを無視するのを忘れないようにしたい 実装もついているのが嬉しいですね BERT系モデルで文章をEmbeddingする際のTips qiita.com/anyai_corp/ite… pic.twitter.com/nWkrxOVxmu
posted at 20:07:01
RT @investnosuke: stockmarkのgpt-neox-japanese-1.4b 我が家の環境で、性能測定しました @ lm-evaluation-harness wiki知識ベースのJSQuADが少し低め 他は1B言語モデルとしては良さげかな？ 独自データセット気になるなあ どんな方向性目指してたか知りたい pic.twitter.com/CS6aa5VQHH
posted at 20:06:46
RT @MLBear2: なにこれめっちゃすごいやんw いくつかサンプルの画像載ってたけど使えるレベルな気がする🤗 prtimes.jp/main/html/rd/p…
posted at 20:06:24
RT @hibikiw: たのしい pic.twitter.com/PQnWZp00R9
posted at 19:47:41
帰省の怖いところ。メールがウザいのでひたすら消してると。決済履歴も。何かあったらどこに何を注文したか、どこに定期購読のアカウントがあるかわからなくなるやん。後始末するのはこちらなのに
posted at 19:47:19
RT @investnosuke: StabilityaiのLLM用トークナイザー nerdstash-tokenizer Llamaと違って、1文字以上の日本語の文字を18123認識できる →日本語の表意文字をうまくトークナイズ →より効率よく文意を認識できて、文章生成も早い気がする！ 17時退勤！
posted at 18:24:42
RT @_akisato: 19 papers accepted for Interspeech2023 group.ntt/en/topics/2023…
posted at 18:24:32
あせもがひどくなっているのかな
posted at 18:24:19
RT @SMBKRHYT_kinoko: 業績のある研究者が未だに任期付きポジションという現実を見て、学生がアカデミアを敬遠するというのは分かる。しかし、考えてみてほしいのだが、業績のある研究者というのは一部であり、特筆すべき業績の無い研究者だって当然いる。というか、そっちの方が多数派。みんながみんなNature論文などを持っ… twitter.com/i/web/status/1…
posted at 16:18:33
RT @itmedia_news: ChatGPTの“脱獄プロンプト”登場 文末に書くだけで「爆弾の作り方」「IDの盗み方」に回答 www.itmedia.co.jp/news/articles/…
posted at 16:17:39
RT @investnosuke: stabilityaiが採用したトークナイザー novelai/nerdstash-tokenizer-v1 について調べました pic.twitter.com/4BVsUxNx16
posted at 16:15:51
RT @GreaterKanagawa: #びっくり道路選手権 海老名市 地権者と揉めて凹んだ2車線道路 pic.twitter.com/CCZ8ItEzZS
posted at 16:11:13
RT @cicada3301_kig: 歴史言語学マジかよ打線 1 中 英語とペルシア語とヒンディー語は親戚 2 二 アフリカのマダガスカル語の起源は台湾 3 遊 日本語は古代朝鮮半島でも話された 4 左 アメリカ先住民デネ語とロシア少数民族エニセイ語は共通起源 5 一 昔の中国語には声調がなかった 6 三 昔の朝鮮語には声調があった
posted at 16:07:01
RT @KatharinaKoern1: TRL - Transformer Reinforcement Learning now on @huggingface - a set of tools to train transformer language models with Reinforcement Learning, and fine-tune a language model via 3 steps: Rollout, Evaluation, Optimization. github.com/huggingface/trl pic.twitter.com/T9O0jl92LZ
posted at 16:06:49
RT @Hironobu_Asano: そうですか… そう見えますか… NAND市場が弱っているので売上等が厳しいのは間違いありませんが、シェアは落ちていないし、単純な「高層化」のデメリットを理解していない一般の人!? には仕方が無いですかね。 ＃NAND ＃Kioxia business.nikkei.com/atcl/gen/19/00…
posted at 15:56:19
RT @DL_Hacks: 記憶ニューロンは特定の層だけでなく、モデル全体に広がっていることを示した。 サンプルの記憶を担うニューロンを特定する方法を提案し、そのニューロンをdrop outすることで精度が著しく下がることを示した。 www.slideshare.net/DeepLearningJP…
posted at 15:51:58
RT @hiro_gamo: custom instructionが無料ユーザにも開放とのこと。まあ明らかにメタプロンプトは分けて定義できた方がいいよね。 twitter.com/openai/status/…
posted at 15:51:46
RT @junrushao: (1/2) Our latest work allows LLMs serving on AMD GPUs with competitive performance, thanks to ML compilation (MLC) techniques. An AMD 7900xtx at $1k could deliver 80-85% performance of RTX 4090 at $1.6k, and 94% of RTX 3900Ti previously at $2k. twitter.com/bohanhou1998/s…
posted at 15:47:13
RT @_stakaya: PythonでLLMのアプリを数分で構築するためのOSSフレームワーク Chainlit。 今までStreamlitでやっていたチャット画面構築はこちらを使うほうが楽そう。 github.com/Chainlit/chain… pic.twitter.com/KMzNicCl2L
posted at 15:46:56
RT @goto_yuta_: >RT Stability AIの日本語モデル、性能が凄すぎるだけに留まらず、内部の人が「We will enable open models & datasets for every country & culture」と言っていてデータセットまで公開されそうでアツすぎる！！！！
posted at 15:46:26
RT @ikuyamada: Transformerの全ての構造や式を知ってることは、LLMが流暢にテキストを生成できる能力について説明することに何も役に立たないという話。 過度に還元主義的になったり、「次のトークンを予測しているだけ」などというような時々耳にするいい加減な説明に惑わされずに、この技術に臨んでいきたいです twitter.com/chrmanning/sta…
posted at 15:46:13
RT @iwiwi: 詳しくはブログをご覧下さい〜！（ブログ原案を担当したのも僕なのでTwitterと言ってること大体被ってますが……） ja.stability.ai/blog/japanese-… 当然今回で終わりではなく、Japanでも全社でも今後もっと色んな＆もっと凄いモデル出していく予定なので、今後ともよろしくお願いします！
posted at 15:33:18
RT @iwiwi: HFのページに利用法が詳細に書いてあるので、コピペですぐお試し頂けると思います。instructモデルは残念ながら商用利用不可ライセンスになってますが、baseモデルはApache2ライセンスです。それぞれ様々な可能性を追求して頂けると嬉しいです。 huggingface.co/stabilityai/ja… huggingface.co/stabilityai/ja…
posted at 15:33:10
RT @sei_shinagawa: 慶應大の今井先生のところ、文脈とインタラクションに焦点が当たってて好き。文脈に情報を乗せる、文脈に人を乗せるコンテキストライディングの概念もわかりみがある www.jstage.jst.go.jp/article/pjsai/…
posted at 15:32:56
RT @jerryjliu0: We built a customer support agent 🤖 that can interface with @Shopify’s ENTIRE GraphQL API Spec (>50k lines!) 🛍️ Possible w/ a clever combo of prompting/tools/indexing/@llama_index ✨ Easily get insights like “refunded orders” + “out of stock items” 👇 github.com/emptycrown/lla… pic.twitter.com/s9sDGZc1cP
posted at 15:31:48