RT @shriver_light: #111論文等共有 1144 aclanthology.org/2023.acl-long.… [ACL'23] Noiseの多い弱ラベルでnamed entity recognition。既存手法は課題評価されており実際にはclean validationデータに依る所が大きい。実際これを訓練データにすると遥かに精度向上し弱教師学習は無意味に。各クラス数個のclean dataだけでも効果大 pic.twitter.com/9ffa47F7ut
posted at 13:44:48
RT @madyagi: 昨日公開された@ELYZA_incのモデルelyza/ELYZA-japanese-Llama-2-7bがNejumiリーダーボードに加わりました！ベースのLLama2 7Bより確実に向上していますが、Elyzaさん自身がevaluation harnessで評価した結果とは違い、最近リリースされた他の日本語LLMモデルに近いです。 wandb.me/nejumi twitter.com/i/web/status/1…
posted at 13:09:19
こんなのもあるようだ。同様のリスクはあるのだろうな github.com/confident-ai/d…
posted at 13:05:40
RT @llama_index: DeepEval is a cool library for testing your LLM and RAG apps with four main pillars: ✅ Relevance ✅ Factual Consistency ✅ Similarity with actual answer ✅ Bias/Toxicity/etc github.com/confident-ai/d… Check out our @llama_index integration! gpt-index.readthedocs.io/en/latest/comm… pic.twitter.com/oFqkL0dqY3
posted at 13:00:49
RT @umiyuki_ai: StableBeluga-13BのオープンLLMリーダーボードスコア62.91って13Bモデルだと最強クラス。13Bのトップはスコア66.03だけど、疑義が出てる（huggingface.co/spaces/Hugging…）。ベンチマークを丸暗記しただけだろみたいなね。70Bモデルのトップスコアが74.49で、30Bのトップスコアが67.02
posted at 12:59:17
RT @vaiablejp: 本日以下のプレスリリースを行いました！ 「大規模言語モデルを用いた特許評価システム」の研究成果を学術発表 ・「プロンプト最適化エンジンPrompTuner」がデロイトトーマツミック研究所の生成AI市場調査に掲載 prtimes.jp/main/html/rd/p…
posted at 12:58:15
RT @vaiablejp: #YANS2023 での発表は本日30日14時～です。 ご参加の方がいらっしゃいましたら、お気軽にお越しください！ 「大規模言語モデルを用いた特許評価システムの検討」 井上誠一、貞光九月 (VAIABLE) twitter.com/vaiablejp/stat…
posted at 12:58:06
RT @hakuhodo_tech: 本日から2日間 #YANS2023 にて博報堂テクノロジーズも企業ブースを出展しています！ ご参加している方は、是非遊びに来てください😊 広告文自動生成・評価プロダクトである「H-AI SEARCH」のデモも実施しております！ pic.twitter.com/12STxlpdvv
posted at 12:57:52
RT @shi3z: ご家庭用LLMでストリーミングする方法｜shi3z @shi3z #note note.com/shi3zblog/n/n6…
posted at 12:53:03
検索結果だけを返すよう、かなり縛られている？
posted at 12:51:59
RT @umiyuki_ai: おお～、ググるだけでAIが答える →RT pic.twitter.com/vlWAlDFdjL
posted at 12:30:09
RT @ohkura: 生成を使ったGoogle検索(SGE)日本でも使えるようになりました。うちのチームからも少しだけお手伝いしたけど、主にがんばったのは東京のお隣チームです。USの次が日本。 大っぴらに普段の検索に使えるようになってうれしい！ japan.googleblog.com/2023/08/search…
posted at 11:50:32
RT @ai_database: 現役臨床医師グループが作成した電子カルテのデータセットでLLMの臨床性能を評価した結果、GPT-4でも正解率60%にとどまりました。 また指示文の長さが短くなると、精度が低くなるとのこと。 スタンフォードなどによる報告です。 ○ Scott L. Fleming et al. MedAlign: A Clinician-Generated Dataset… twitter.com/i/web/status/1… pic.twitter.com/WPRLqQXGce
posted at 11:33:26
RT @kagglingdieter: The 1st place solution of the fingerspelling competition on @kaggle from @gonedarragh and myself is an encoder-decoder adapted from speech recognition and was trained with heavy augmentations to generalize well to new signers. Details can be found here: www.kaggle.com/competitions/a… twitter.com/i/web/status/1… pic.twitter.com/uSPgPOlT0b
posted at 10:12:19
RT @gclue_akira: ELYZA-japanese-Llama-2-7b-instructをエッジだけで、Agentの動作まで成功。 ELYZA-japanese-Llama-2-7b-instructの所感 - レスポンスが格段に速い - 会話のやり取りもレベルアップ エッジデバイスだけで実現するドラえもんの世界まであと一歩 - Machine: Jetson AGX Orin(32GB) - LLM:… twitter.com/i/web/status/1… pic.twitter.com/zLAlDo8UUC
posted at 09:59:47
RT @kenken26679105: BERTのファインチューニングで、テキスト分類を自分で実装し、精度を出せることが分かったので・・・ 通勤?!中に、本業に活かせないか考えていたら・・・ ありました😅 毎日、海外市場向けのWebサイトから問合せが200件くらいあるのですが、内90%以上はスパムなんです😅 これ、活かせそうですね🤔 pic.twitter.com/YZd0VCavfr
posted at 09:58:26
RT @dev_inada: elyza-7b-instructのload_in_8bitは消費GPU9.5Gで動きました。こちら先ほど4bitの時に回答が惜しかった問題、意図通りのコード書いてきました。しかもちゃんと関数で頭よく汎用的に書いてくる。これがおうちで動くのすごい pic.twitter.com/ITDb46OlUx
posted at 09:57:48
RT @shoshot005: 洋画とかに影響を受けた地球人が描いた 地雷パニックコメディ 「エイリアンｖｓ地雷」（再掲 1/5） #漫画が読めるハッシュタグ pic.twitter.com/pP0q1G0R0v
posted at 09:44:36
RT @utokyo_bunny: YANS2023のチュートリアル「 グラフを用いた近似最近傍探索の理論と応用」の資料です！ speakerdeck.com/matsui_528/gur… #YANS2023
posted at 08:36:43
RT @neubig: 多くの開発者から - LLMとの便利さはすごい！ - しかし、プライバシー、運用費用、コントロールの欠如には問題がある そこでprompt2modelという、プロンプトの手軽さとローカルに展開可能なモデルの利点を組み合わせた新しい研究/OSSを開発しました。🧵 twitter.com/vijaytarian/st… pic.twitter.com/UrT9Wemj0O
posted at 08:24:41
RT @shriver_light: #111論文等共有 1142 openreview.net/forum?id=KRLUv… [ICLR'23Top5%] Vision-language models(VLM)の事前学習は語順、subject-object relation、compositional structureが学習できていないと示した＝VLMはBag-of-words。これらを測る新しいベンチマーク提案。hard negativeを用いた対象学習を提案し改善。 pic.twitter.com/eagdnEZtql
posted at 07:51:37
RT @h__must__: まさに、これが伝えたかったことの1つです。 モデル自体はより高性能なものが出れば陳腐化しますが、この知見自体の価値は残り続けると思ってます。 twitter.com/pppaaaooo/stat…
posted at 00:03:39
RT @KKawaharazuka: RO-MAN2023では共著論文の発表が一件あります. LLM, VLMを利用したロボットによる日記生成の研究です. 適切な場面を選んで感情を付加し日記を生成します. A. Ichikura, K. Kawaharazuka, Y. Obinata, et al. A Method for Selecting Scenes and Emotion-Based Descriptions for a Robot's Diary
posted at 00:02:24