二次元裏@ふたば

画像ファイル名:1774580848296.jpg-(343941 B)
343941 B26/03/27(金)12:07:28No.1414653292そうだねx4 14:08頃消えます
もしかして時期が良くなる?
このスレは古いので、もうすぐ消えます。
126/03/27(金)12:09:44No.1414653851+
去年TPU発表した時点でGoogleがメモリ不足に本腰入れてるのは分かってたからな…
226/03/27(金)12:11:04No.1414654193そうだねx27
ぐーぐるがんばえー
326/03/27(金)12:12:05No.1414654432そうだねx2
それ以外の要因でどうせまた時期が悪くなるさ
426/03/27(金)12:12:20No.1414654485そうだねx55
メモリ使用量を1/6に圧縮出来るってことはその6倍データセンター作れるってことでは
526/03/27(金)12:15:35No.1414655401+
確かTPUがGPUよりも汎用性落として単純計算しかできない代わりにメモリアクセス減らしたんだっけ
さらに洗練化したのかしら
626/03/27(金)12:15:40No.1414655426そうだねx1
その新型メモリを量産するためにさらにメモリが必要に
726/03/27(金)12:18:43No.1414656308+
pc買うの我慢してきた甲斐があるか
826/03/27(金)12:20:45No.1414656866+
TPUの発表でnvidiaの株価が数兆円落ちたけどnvidiaからするとはした金でしかないって暗黒メガコーポすぎる
926/03/27(金)12:21:21No.1414657057+
6倍の機材と電力をぶち込めば36倍でライバルを殴り殺せるってことか
1026/03/27(金)12:21:23No.1414657073そうだねx9
>その新型メモリを量産するためにさらにメモリが必要に
1126/03/27(金)12:23:36No.1414657772そうだねx1
メモリの技術じゃなくてLLMのメモリ使用量を減らせる技術だぞ
まあ6倍回すようになるだけだ
あとローカルでやりやすくなったらいいな
1226/03/27(金)12:23:41No.1414657802そうだねx2
>pc買うの我慢してきた甲斐があるか
TPUはAIにしか使えないプロセッサユニットなので
人が使うPCには使えんよ
1326/03/27(金)12:24:04No.1414657917+
モデルを圧縮できるわけじゃないからあんまり変わらんのでは
1426/03/27(金)12:24:52No.1414658200+
従来の1/6で済むなら
今のままでは6倍の効果を得られるのでは?
1526/03/27(金)12:25:21No.1414658352+
1/6の値段になってもまだお高いのでは
1626/03/27(金)12:26:30No.1414658716+
書き込みをした人によって削除されました
1726/03/27(金)12:26:51No.1414658820+
>>pc買うの我慢してきた甲斐があるか
>TPUはAIにしか使えないプロセッサユニットなので
>人が使うPCには使えんよ
メモリが安くなるって意味だと思う
1826/03/27(金)12:27:50No.1414659146+
ベクトルを極座標にしたら使用メモリ削減めっちゃできたとかよくわかんねえ
でも量子化の精度を落としにくくできるならモデルも軽くできるのかな
1926/03/27(金)12:32:57No.1414660778+
🤖石油がヤバいらしいしトイレットペーパー買う人増えそうだから発注しときました!
ぐらいのノリで動かしてると思う相場
2026/03/27(金)12:33:33No.1414660928そうだねx3
6倍使えるようになるってことだな!!
ってなるだけだから需要が落ちるわけもなく…
2126/03/27(金)12:34:40No.1414661271+
2030年の需要にこたえるためには今より20倍近く生産量増やさないといけないから…
2226/03/27(金)12:35:05No.1414661404そうだねx3
しかもこれGoogleの技術だからおぺないがこれでやっぱウェハーいらねーってする可能性にもつながらんと思う
2326/03/27(金)12:36:16No.1414661776+
>あとローカルでやりやすくなったらいいな
GPUよりメモリのほうがネックだよなぁ今って
2426/03/27(金)12:37:45No.1414662226+
>2030年の需要にこたえるためには今より20倍近く生産量増やさないといけないから…
それ動かす電力もやばそう
2526/03/27(金)12:38:20No.1414662387+
夏場に電力が足りませんってなったらデータセンターを潰せってバッシングされる時代になるのか
2626/03/27(金)12:39:13No.1414662642+
やっぱりすげぇぜ…Google!
2726/03/27(金)12:41:02No.1414663195そうだねx6
LLMを省エネで動かせるようになるタイプの成果だしいつから使われるのかわからんが一応裏とか考えず喜べる
2826/03/27(金)12:42:34No.1414663670+
>夏場に電力が足りませんってなったらデータセンターを潰せってバッシングされる時代になるのか
逆じゃないかなぁ
AI様のデータセンターの為に人間節電しろって言われる時代
2926/03/27(金)12:42:35No.1414663678そうだねx1
Google公式の技術解説記事がこれね
https://research.google/blog/turboquant-redefining-ai-efficiency-with-extreme-compression/
何も分かってない投資BOTが過剰反応売りしただけでAIの使用するメモリが1/6になったわけじゃないよ
>メモリの技術じゃなくてLLMのメモリ使用量を減らせる技術だぞ
って言ってる「」もいるけどLLMのメモリ使用量も減らす技術ではないよ
KV(キーバリュー)キャッシュという限定的な用途で使われるメモリが削減されるものだよ
再学習が不要になること・会話の内容が長期に渡って記憶させやすくなるなどのメリットが主眼だよ
3026/03/27(金)12:43:04No.1414663812+
>やっぱりすげぇぜ…Google!
実際すごいからモンスター企業なんだ
3126/03/27(金)12:43:04No.1414663816+
未来の人類に馬鹿みたいな技術に資源使いまくってたこと死ぬほど恨まれそう
3226/03/27(金)12:43:42No.1414664013+
>再学習が不要になること・会話の内容が長期に渡って記憶させやすくなるなどのメリットが主眼だよ
思ってたのとは違うにしても普通に有用すぎる
3326/03/27(金)12:44:58No.1414664407+
>未来の人類に馬鹿みたいな技術に資源使いまくってたこと死ぬほど恨まれそう
産業革命どころか製鉄のために森林伐採して洪水起こしたメソポタミア文明からそう
3426/03/27(金)12:46:04No.1414664743そうだねx2
>再学習が不要になること
学習のためにGPUぶん回す必要が薄れるので経済的メリットは恐らくこちらの方がデカい
ホントは暴落しないといけないのは革ジャンとAMD株の方なんだけどいもげ見てれば分かる通り誰も技術解説なんぞ読まないしキャッチーな見出しに釣られるからね…
3526/03/27(金)12:48:26No.1414665483+
書き込みをした人によって削除されました
3626/03/27(金)12:48:49No.1414665611+
>>未来の人類に馬鹿みたいな技術に資源使いまくってたこと死ぬほど恨まれそう
>産業革命どころか製鉄のために森林伐採して洪水起こしたメソポタミア文明からそう
そういう意味ではナイルの洪水との調和を実現したエジプト文明の方が高度っすよね
3726/03/27(金)12:49:10No.1414665690+
革ジャン着てるとAIと相性がいいことのほうが謎な技術だよ
3826/03/27(金)12:51:08No.1414666289+
>再学習が不要になること・会話の内容が長期に渡って記憶させやすくなるなどのメリットが主眼だよ
Geminiは会話の内容すぐに忘れるクソバカだけど本当に良くなるのかな
3926/03/27(金)12:51:35No.1414666416+
投機目的で買い占めた人たちが死滅するといいな
4026/03/27(金)12:52:42No.1414666753+
カロリーハーフなら2倍いける理論
4126/03/27(金)12:53:02No.1414666856+
そんなうまい話がある訳ないだろう!
4226/03/27(金)12:53:30No.1414666990+
投資ボットのせいであほみたいな値動きすること最近多くない?
4326/03/27(金)12:54:01No.1414667149+
世界中現金ジャブだからな
4426/03/27(金)12:55:06No.1414667452そうだねx1
>そんなうまい話がある訳ないだろう!
いやLLMの効率化はまだまだブルーオーシャンだと思うぞ
4526/03/27(金)12:55:59No.1414667691+
何を買うにも時期が悪すぎて1周回って欲しけりゃ買うしかない気がする
4626/03/27(金)12:56:22No.1414667804+
今と同じ計算するコストが1/6になるって事は今の6倍計算させるようになるだけだぞ
物理的なメモリ節約のためなんかではない
4726/03/27(金)12:56:46No.1414667915+
今度は磁気が悪くなるよ
4826/03/27(金)12:57:19No.1414668062+
まあ株価は結構ノリで上げ下げする
4926/03/27(金)12:58:40No.1414668441+
フーリエ変換するとかそんな感じ?
5026/03/27(金)12:58:58No.1414668520+
>いやLLMの効率化はまだまだブルーオーシャンだと思うぞ
ローカル向けのLLMも高効率なものきちんと増えてるし開発そのものはきちんと進められてんだよな
今からメモリいっぱい欲しいんですけおおおPCでローカルAIやりたいんですけおおおおって奴らにはもうお前らの玩具にする計算資源なんて売らねーよエンジニアならとっくに持ってるだろ?ってなってるだけで
5126/03/27(金)13:01:23No.1414669156+
KVキャッシュは簡単に言うとAIのメモ帳
会話の中で出てきた単語やない話の流れをメモっておく記憶容量
これが少ないと話の流れを忘れたりちょっと前の単語の意味も忘れたりする
今回の技術はこれを最適化して記憶容量を6分の1まで圧縮したわけ
これで会話ログの頭から全部覚えてるとかエラーが出たらプログラム全体をチェックするとか出来るようになる
増えた分だけメモリを増やすだろと言うけど
まぁ現状の3万文字の記憶が6倍で18万文字になったら文庫本一冊くらいの容量だから普段使いにはそれで十分ではないかと
5226/03/27(金)13:02:30No.1414669423+
>>>未来の人類に馬鹿みたいな技術に資源使いまくってたこと死ぬほど恨まれそう
>>産業革命どころか製鉄のために森林伐採して洪水起こしたメソポタミア文明からそう
>そういう意味ではナイルの洪水との調和を実現したエジプト文明の方が高度っすよね
別に調和してたんじゃなくて人間の利用可能だった部位が極小だったから大した影響なかっただけだよ
いまのエジプト-エチオピアなんてナイルの水巡ってドンパチいっぽ手前だよ
5326/03/27(金)13:04:38No.1414669941+
AIの記憶方法はベクトル値で縦横高さの三軸で記憶していたのをマップを極座標に変換して角度と勢いだけで記憶する様にしたらしい
5426/03/27(金)13:04:41No.1414669952+
ゴーグルこそ人類の暮らしを豊かにしてるよな
流石だぜ
5526/03/27(金)13:04:54No.1414670012+
>今回の技術はこれを最適化して記憶容量を6分の1まで圧縮したわけ
どうやってそんなすげぇ圧縮成立させたの?教えて「」博士
5626/03/27(金)13:05:53No.1414670231+
やっぱGoogleは正義の会社なんだよな
5726/03/27(金)13:06:04No.1414670271+
はよDRAMのラインあけろ
5826/03/27(金)13:07:21No.1414670584+
概ね80GBHBM前提でっすみたいなモデルを色んなボトルネックはともかくギリVRAM16GBで動かせるようになったのはだいぶすごい
5926/03/27(金)13:13:13No.1414671980+
単にFP8からFP4に精度落としたとかそんな話じゃないの?
6026/03/27(金)13:14:37No.1414672335+
>極座標に変換して角度と勢いだけで記憶する様にしたらしい
また我々の前に立ちはだかってくるのか…オイラーの式!
6126/03/27(金)13:15:34No.1414672589+
ベクトルDBを極座標化したってことかね?
6226/03/27(金)13:18:04No.1414673198そうだねx2
メモリ不足を技術で解決してくるのは流石にお見逸れするわ
6326/03/27(金)13:30:46No.1414675962+
データセンターの数は増やすホモ減らすのも難しいだろうし
そのまま規模が6倍になる感じなんだろうな
6426/03/27(金)13:32:50No.1414676433+
揮発しづらくなるって感じか
めっちゃいいじゃん
6526/03/27(金)13:34:54No.1414676863+
まさよし…Googleまで動かしていたのか
6626/03/27(金)13:37:09No.1414677346+
関係ないけどLLMの技術って新規参入にすぐ模倣されるよね
いや模倣どころか蒸留されたりとかも容易だし
先行して開発してもあんまり儲からん気がしてくる
6726/03/27(金)13:44:58No.1414678913+
グーグルのこの新技術は業界内では公然の秘密でその動きを見越しての動きだったと考えるべきだ
6826/03/27(金)13:44:59No.1414678917+
>関係ないけどLLMの技術って新規参入にすぐ模倣されるよね
>いや模倣どころか蒸留されたりとかも容易だし
>先行して開発してもあんまり儲からん気がしてくる
今回のやつだって技術論文Claudeにぶん投げて実際圧縮できるか試してみました!大体qwen3なら4分の1か5分の1ぐらいになるみたいですいかがでしたか
とかやっとるからなhuggingfaceのやつらが
6926/03/27(金)13:50:42No.1414680027+
なんかここ数日で急に世界的に世間のAI市場への風当たり強くなってない?
7026/03/27(金)13:52:52No.1414680388+
ぶっちゃけコストに見合ったもん出てないしエロに厳しくなってきてるからな
7126/03/27(金)13:53:10No.1414680448+
これはAIにとって追い風だろ
7226/03/27(金)13:54:30No.1414680725+
>ぶっちゃけコストに見合ったもん出てないしエロに厳しくなってきてるからな
エロにしか使ってない奴がコストに見合ったことやってねえだけだから
7326/03/27(金)13:54:38No.1414680760+
ローカルもNAIも行き詰まり動画はSoraが死に規制で中華モデルでググガガ一生垂れ流してるだけ
GPTはアダルトGPTに騙されてやんのお前らとか言い出してgoogleはうんちぐらびてぃがうんちになってる
7426/03/27(金)13:54:51No.1414680809+
極座標ってこういうデータ圧縮にも使えるのか…
7526/03/27(金)13:54:52No.1414680815そうだねx4
コスト下がるんだから投資家以外にはいい話だ
7626/03/27(金)14:01:30No.1414682097+
メモリなんかいくら余裕あってもいいのに使わない分減らしていいやってならなくない?
7726/03/27(金)14:06:08No.1414682927+
今の法人向けAI向けプロセッサて演算部分とメモリ性能でバランスとりつつ二人三脚してるから
メモリ側で圧縮できても演算部分が足りねー昔のMacStudioみたいになるからドカンと性能は上がらんと思う
7826/03/27(金)14:06:17No.1414682961+
TurboQuant!


1774580848296.jpg