生成AIつくるのむずくねこのスレは古いので、もうすぐ消えます。
… | 125/02/27(木)00:52:26No.1287322464そうだねx2頭が3つも… |
… | 225/02/27(木)00:53:57No.1287322816+でっていう |
… | 325/02/27(木)01:02:28No.1287324868+MHAは多頭の代わりに典型的には次元数減ってるから有効性はタスクにも寄る |
… | 425/02/27(木)01:05:04No.1287325439+>MHAは多頭の代わりに典型的には次元数減ってるから有効性はタスクにも寄る |
… | 525/02/27(木)01:05:59No.1287325656そうだねx1ケルベロス |
… | 625/02/27(木)01:16:51No.1287327909+Transformerは一旦Multihead忘れて考えた方が分かりやすくて入力Embeddingをトークン長x次元数の行列として考えると縦方向の変換と横方向の変換を交互に繰り返す感じだよ |
… | 725/02/27(木)01:18:02No.1287328142+毎日県外から岩手に通ってるのかエミリー… |
… | 825/02/27(木)01:23:20No.1287329138+よくある実装だと頭は8個のことが多い |
… | 925/02/27(木)07:13:58No.1287350814+書き込みをした人によって削除されました |
… | 1025/02/27(木)07:14:02No.1287350817+書き込みをした人によって削除されました |