RT @itnavi2022: ELYZAの評価用データセットは素晴らしいと思います。一方で、これは日本語運用能力の評価であって、日本に関する知識の評価はほとんど入っていません。 僕も自分で評価用データセットを作ろうとしていたところなので、時間のある方ほテストに使ってみてください。当然ですが、GPT-4は満点が取れます。 twitter.com/elyza_inc/stat… pic.twitter.com/x7DPHgMDVE
posted at 17:50:02
RT @shriver_light: #111論文等共有 1141 aclanthology.org/2023.acl-long.… [ACL'23] 翻訳において文脈が必要な単語の検出方法を相互情報量ベースで提案。14言語解析し検知単語を5種に分類。また文脈翻訳評価用データセットを作成。最近のcontext-aware modelsはcontext-agnostic modelsに比べそんなに改善していない事を発見。 pic.twitter.com/stdcF8XN3A
posted at 17:49:12
RT @sald_ra: Llama2改変の日本語特化モデルが出たぞ！ 「elyza/ELYZA-japanese-Llama-2-7b」 7bだからご家庭PCで動くね 簡単に試したけど普通にめっちゃ良い感触がある huggingface.co/spaces/elyza/E… twitter.com/i/web/status/1… pic.twitter.com/fMuujW4mkJ
posted at 15:21:29
RT @ogawa_yutaro_22: 日本語特化型のLLM？（国産LLM？）は、ファインチューニング次第でかなり化けると想像しています。 ELYZAさんのこちらを使用した次の何かが創られるのが楽しみです。 （ChatGPTやGPT-4はそのままで汎用的に凄すぎるが、内部にあまり手を突っ込めない） twitter.com/ELYZA_inc/stat… pic.twitter.com/Caxyspa6r1
posted at 15:17:56
RT @shriver_light: #111論文等共有 1139 aclanthology.org/2023.tacl-1.7/ [TACL'23] 言語生成時、最大確率単語だと空文字が出たり情報が少なくなる。ランダムサンプリングだと低確率語が出たらその後最悪。無意味な繰返しも問題。高確率語から予測集合に入れるのではなくその文脈での平均予測確率との比で加える手法を提案。 pic.twitter.com/qxurj416RM
posted at 15:16:50
RT @npaka123: Google Colab で ELYZA-japanese-Llama-2-7b を試す｜npaka @npaka123 #note note.com/npaka/n/nbb94b…
posted at 15:16:02
RT @icoxfog417: 今日リリースされたELYZAのモデルはまさにContinuous PretrainingとInstruction Tuning を組み合わせてベースモデルの性能を上げた例だと思う。 note.com/elyza/n/na405a…
posted at 15:11:54
RT @icoxfog417: 厳密にはInstruction Tuning では知識が増えない理解。普通にコーパスを追加して学習すれば(Continuous Pretraing)増えるはず。 twitter.com/imos/status/16…
posted at 15:11:42
RT @npaka123: LLMのファインチューニング で 何ができて 何ができないのか｜npaka @npaka123 #note note.com/npaka/n/nec63c…
posted at 13:51:33
RT @sone_oak: Llama2の日本語化をしたモデル/Post-trainingしたモデルを商用利用可能で公開しました。 また、多様で複雑なタスク群に対する評価用データセットも公開しました。 海外に比べて遅れを取っているLLM開発が少しでも加速する一助になれば嬉しい限りです！ デモも公開したので、ぜひ遊んでくださいませ。 twitter.com/ELYZA_inc/stat…
posted at 13:38:04
RT @h__must__: 弊チームの研究成果として、Llama 2をベースに訓練した70億パラメータのモデルが公開されました！（商用利用も可） かなり良いモデルができたので、是非触ってみてください！！ 論理的推論もできる！ twitter.com/ELYZA_inc/stat… pic.twitter.com/SjafjQA5H4
posted at 13:37:36
RT @imos: LLMがファインチューニングで知識が増やせないの、意外と知られてないので良記事（今後のLLM開発では大きな課題）。表層アライメント仮説（Superficial Alignment Hypothesis）というような言葉もあり、プロンプトの作り込みでできないことは基本的に難しいと思われる。 twitter.com/npaka123/statu…
posted at 12:43:08
RT @madyagi: W&Bが日本初のユーザーカンファレンスを開催します！生成AI/LLMから画像AIモデルまで、最先端のWandBユーザーから開発手法を学べる半日イベント。 @iwiwi @rishigami @naotokui @nejumi_dqx など超豪華なスピーカーの皆様がご登壇予定。W&Bの本社からもPMが来日予定です。 fullyconnected.jp
posted at 12:10:30
RT @ImAI_Eruel: 元のLlama2の性能が日本語でも相当な性能であったことを考えると,最大サイズの700億パラメータのモデルも学習中であると明かされたことはかなり大きいイベントです．… twitter.com/i/web/status/1… twitter.com/ELYZA_inc/stat…
posted at 12:09:27
RT @shota7180: 【必読資料】 デジタル庁が「ChatGPTを業務に組み込むための手引き」を公開 河野太郎デジタル相がツイートで展開していて ・GPT APIの仕組み ・プロンプトの書き方のコツ ・GPT APIの発展と展望 など全46ページにわたり、GPT APIに関する内容が非エンジニアの方向けに詳しく解説されている 続く>> pic.twitter.com/t2Xw1MoKJA
posted at 11:59:47
RT @ImAI_Eruel: ELYZAが商用利用可能なLlama2ベースの日本語LLM「ELYZA-japanese-Llama-2-7b」を公開しました! 更に日本語の評価用データセットも公開しています! note.com/elyza/n/na405a… 既にLlama2の130億,700億パラメータの学習にも着手しているようで,実現すれば日本語の商用利用可LLMで最高性能になりそうです! pic.twitter.com/HJ4FZrHr1F
posted at 11:59:27
RT @ai_database: 「答えるべきでない指示」のみで構成されたデータセット『Do-Not-Answer』で各種LLMを抜き打ちテストした結果、LLaMA-2が最も優等生だった（＝低リスク）と報告されました。 メルボルン大などの研究者らによる発表です。 ○ Yuxia Wang et al. Do-Not-Answer: A Dataset for Evaluating Safeguards in… twitter.com/i/web/status/1… pic.twitter.com/jNzxHRIH5a
posted at 11:59:19
RT @MLBear2: 「RAGって何？なんか革命的な新しい手法？」って思ったけど、単に類似文書をDBから取得してプロンプトに埋め込んであげるだけだった。大した話じゃないのに勿体ぶった凄そうな名前つけるんじゃないよw research.ibm.com/blog/retrieval… pic.twitter.com/gIGURNHKFV
posted at 11:58:53
RT @kazunori_279: やっぱファインチューンとかRAGとかごにょごにょするより、単純にembでベクトル検索して結果を表示するだけで良くね？って思った。 note.com/npaka/n/nec63c…
posted at 11:58:21
RT @ELYZA_inc: ベースモデルに加え、独自のInstruction tuningや日本語語彙追加を施したモデルも性能評価含めて公開しています。すべて研究および商業目的での利用が可能です。（2/3） ＜公開モデル・評価データ一覧＞ huggingface.co/elyza
posted at 11:56:11
RT @ELYZA_inc: 【お知らせ】Llama 2をベースとした商用利用可能な70億パラメータの日本語言語モデルを公開しました。ブログにて特徴や性能について紹介しているほか、推論用コード、性能評価用データセットとその評価結果もすべて公開しています。（1/3） note.com/elyza/n/na405a…
posted at 11:56:03
RT @shriver_light: #111論文等共有 1136 arxiv.org/abs/2304.04494 [CVPR'23] Test-time適応でドメイン汎化させる実用上重要設定。提案モデルは①consistency lossをタスクに合わせるためlearnableにし、分類損失勾配と同じ向きになるよう学習する。②更にtest時additional weightを導入しこの重みだけを学習する。SOTA。 pic.twitter.com/TuLrZZlby2
posted at 11:55:52
RT @MLBear2: 自然言語からSQLを生成して、DBからデータ抽出を行うLangChain製アプリの例。多少の表記揺れならLLMで修正してデータ抽出が行えるのが強みとのこと。 コード見たけどAgent多用しててどう動いてるのか分かりづらい…w 後で詳しく見る👀 App: sql-langchain.streamlit.app Code: github.com/hwchase17/sql-…
posted at 11:55:04
RT @EARL_med_tw: 犬の嗅覚を用いたSARS-CoV-2検査の感度は92.3％の論文で80％を超えており，32.0％の論文では特異度が97％を超えていた．また，84.0％の研究で特異度は90％以上だった．さらに，犬は、呼気，唾液，気管支分泌物，尿，衣類などからSARS-CoV-2を検出でき，訓練を積んだ犬であれば，症状が出る前の患者や無… twitter.com/i/web/status/1… pic.twitter.com/yPbL7AGVg7
posted at 11:54:13
RT @kogure: “筆者はこれまで多様な音声合成ソフトを試してきましたが、音源作成がこれほど簡単だったものはありませんでした。なにせ、必要な音声の長さはわずか3秒。” / “3秒の音声があれば本人そっくりの声で日本語・英語・中国語合成できる「VALL-E X」はやはり脅威。MSが非公開に…” htn.to/dvoM2iauz4
posted at 09:23:00
RT @OpenAI: Introducing ChatGPT Enterprise: enterprise-grade security, unlimited high-speed GPT-4 access, extended context windows, and much more. We’ll be onboarding as many enterprises as possible over the next few weeks. Learn more: openai.com/blog/introduci… pic.twitter.com/lhixa4IXlc
posted at 08:02:46
RT @llama_index: We recently added 3 finetuning projects 🔥 ✅ Finetuning embeddings ✅ @OpenAI finetuning gpt-3.5-turbo to distill GPT-4 ✅ Finetuning Llama 2 for text-to-SQL We now have a brand-new guide ✨showing how to include all these components when building RAG: gpt-index.readthedocs.io/en/latest/end_… pic.twitter.com/7yFB4X1vdo
posted at 07:41:02
RT @younesbelkada: PEFT + Transformers 🤝 With the new release of PEFT we propose an alternative and new way to load and train adapters with PEFT as backend huggingface.co/docs/transform… What does that change in your codebase and what are the differences? 🧵 pic.twitter.com/fjc4IS2sBz
posted at 07:40:32
RT @DrJimFan: ChatGPT Enterprise: the beginning of the end of many B2B thin wrapper startups. Finally addresses the data privacy (“no training” commitment) and security issues. Extra goodies are long context (32k), 2x faster inference, and Code Interpreter. I bet the App Store will be next… twitter.com/i/web/status/1… pic.twitter.com/ZIgChV3iJa
posted at 07:40:16
RT @MLBear2: 【ChatGPT Enterpriseが登場】 OpenAIが企業向けにChatGPT Enterpriseをローンチしました ・セキュリティやプライバシーの確保 ・高速かつ無制限のGPT-4アクセス ・32kの長いコンテキスト ・高度なデータ分析 などが特徴で、既にPwC等が初期ユーザーとして利用中とのこと。 詳細はスレッドに↓ 1/5
posted at 07:40:04
RT @TUT_RC: ロボット、日本に帰国です pic.twitter.com/WrVh1k3nMZ
posted at 00:16:15
RT @kyo_takano: 推論時には、与えられた状態から「最後に適用された手」を逐次予測し、未知のスクランブルを「逆行」します。 逆行経路を1手ずつ分岐し、各候補をその累積確率で評価します。それによって、与えられた状態がその経路によって発生した確率に比例近似し、見込みの高い経路を優先的に探索します。 pic.twitter.com/0QUfR5LHA8
posted at 00:14:25
RT @tyomateee: ウィル・スミスのすべらない話、これは成るべくして有名になってる😂 pic.twitter.com/zdhDsFW8Vt
posted at 00:12:10
RT @8co28: AI animatediffで自分で描いたラフをアニメーションさせる 二枚目のアニメの頭と終わりのラフ指示画を描く 二枚目の絵を三枚目の絵にAIに変換する 三枚目の画像をCNに指定してanimatediffでアニメーションさせる（一枚目gif 四枚目がバラ） twitter.com/i/web/status/1… pic.twitter.com/oC1OEG49qH
posted at 00:10:50
RT @gyazo_ja: Gyazoにアップロードした画像に、代替テキスト（Altテキスト）を入力し、アクセシビリティを向上できるようになりました。さらに、Gyazo ProおよびGyazo Teamsをお使いの皆様へ、生成AIによって代替テキストの執筆を支援する機能の提供も開始しました。 pic.twitter.com/xHy5YMcZhX
posted at 00:05:20
RT @yuiseki_: これ、まず、マルチモーダル生成AIを既存の大規模B2C SaaSプロダクトに融合させてリリースしてやったどー！っていうのと、まだまだ荒削りなので更に使い心地が滑らかに気持ちよくなるように改善していきます、という所存であることを、みんなに伝えてぇ twitter.com/gyazo_ja/statu…
posted at 00:05:01
RT @michio_MWJ: お、、見つけちゃいましたね！😆 ChatGPT を MATLAB から呼び出していろいろやりたいな〜という方向けの MatGPT です（OpenAI API Key は別途必要） twitter.com/MATLAB33761100…
posted at 00:00:18