26/07/03(金)19:12:10No.1445813243そうだねx3
20:39頃消えます
間抜け話するんぬこのスレは古いので、もうすぐ消えます。
今画像生成界隈で一番hotなモデル「ANIMA 2B」のLoRA作りでインターネットは話題沸騰なんぬ
しかし皆が手こずってるんぬANIMAはすぐ過学習を起こしてLoRAが使い物にならなくなるんぬな
Redditやしびたいを見ていると同じ様な事で悩んでる人が多かったんぬ
ぬは6月いっぱいかけて数十回の試行しある答えにたどり着いたんぬ
LoRAのトレーニングはunet onlyの設定にする(LLMアダプターやテキストエンコーダーをトレーニングしない)
学習率はうんと下げてdim16のalpha8とかにする…ということなんぬ
こうすればLoRAは過学習を起こさず良い感じに仕上がるんぬ
気づいたきっかけはcivitaiに良い感じのLoRA上げてる人のsafetensorみたら階層が小さくファイルサイズがとても小さいからなんぬ
これはunetだけ学習させてるんぬなあ何故そうすると上手くいくのかよくわからないけど
ぬは自分の知見をコミュニティに共有したんぬ同じ様に悩んでいた人たちからどえりゃあ感謝されたんぬ
ところがぬさらなるファインチューニングをしたくclaudeに相談を持ちかけたら
| … | 126/07/03(金)19:13:03No.1445813554そうだねx1「hugging faceのANIMAの公式の説明にLLMアダプタをトレーニングに含めてはいけないことも学習率は2e-5で始めるべきという事も書いてあるよ」ということだったんぬ |
| … | 226/07/03(金)19:16:09No.1445814660そうだねx1こういう事は今度が初めてではないんぬ |
| … | 326/07/03(金)19:16:56No.1445814940+要するにどういうことなんぬ? |
| … | 426/07/03(金)19:17:13No.1445815036そうだねx9「一次情報に当たる」って基本的なことができない人は驚くほど沢山いるんぬ |
| … | 526/07/03(金)19:17:23No.1445815091そうだねx4えっちな画像貼ってくれないとよくわかんないんぬ |
| … | 626/07/03(金)19:17:56No.1445815312そうだねx5>要するにどういうことなんぬ? |
| … | 726/07/03(金)19:18:21No.1445815470そうだねx21>>要するにどういうことなんぬ? |
| … | 826/07/03(金)19:18:52No.1445815656そうだねx2でその成果物はどこなんぬ? |
| … | 926/07/03(金)19:18:57No.1445815678そうだねx1ぬはお金ないんでPixAIでぽちぽち画像生成するんぬ |
| … | 1026/07/03(金)19:18:58No.1445815685そうだねx1>なんなんぬ!なんで皆説明書を読まないんぬ! |
| … | 1126/07/03(金)19:19:19No.1445815825そうだねx1当然ながらANIMAをSDXLとかと同じ設定でLoRA作ると失敗するんぬが当たり前体操なんぬなあ |
| … | 1226/07/03(金)19:21:13No.1445816506+>当然ながらANIMAをSDXLとかと同じ設定でLoRA作ると失敗するんぬが当たり前体操なんぬなあ |
| … | 1326/07/03(金)19:21:51No.1445816749そうだねx1あーうんうんそういうことなんぬなー完全に理解したんぬ |
| … | 1426/07/03(金)19:24:54No.1445817797そうだねx4>あーうんうんそういうことなんぬなー完全に理解したんぬ |
| … | 1526/07/03(金)19:24:55No.1445817803+AIのことよくわからないから過学習の何がいけないのかわかんないんぬ |
| … | 1626/07/03(金)19:25:20No.1445817921+>AIのことよくわからないから過学習の何がいけないのかわかんないんぬ |
| … | 1726/07/03(金)19:26:23No.1445818290+>AIのことよくわからないから過学習の何がいけないのかわかんないんぬ |
| … | 1826/07/03(金)19:26:46No.1445818410+英語はわからんぬ |
| … | 1926/07/03(金)19:27:18No.1445818621+1次情報が何語かわからないけど英語だったら誰か読んどけよ!ってツッコミ入れたくはなるんぬ |
| … | 2026/07/03(金)19:27:28No.1445818686+学習するということは「正しい」という思想に染まることなんぬなー |
| … | 2126/07/03(金)19:28:01No.1445818857+>ちなみにぬは読めないので誰かがまとめた2次情報の日本語で満足してるんぬ |
| … | 2226/07/03(金)19:29:40No.1445819405+つまり性行為というカテゴリーの質問に過学習すると全てアヘ顔ダブルピースで返答してくるってことなんぬ? |
| … | 2326/07/03(金)19:30:05No.1445819558+>>AIのことよくわからないから過学習の何がいけないのかわかんないんぬ |
| … | 2426/07/03(金)19:31:27No.1445820018+>何を聞いても同じことしか言わない頭でっかちカチカチになっちゃうんぬ |
| … | 2526/07/03(金)19:32:23No.1445820317+>つまり性行為というカテゴリーの質問に過学習すると全てアヘ顔ダブルピースで返答してくるってことなんぬ? |
| … | 2626/07/03(金)19:32:42No.1445820427そうだねx1>AIのことよくわからないから過学習の何がいけないのかわかんないんぬ |
| … | 2726/07/03(金)19:34:45No.1445821116+むずかしーんぬ |
| … | 2826/07/03(金)19:37:07No.1445821946+なんかいい感じに学習してほしいんぬ |
| … | 2926/07/03(金)19:40:30No.1445823027+ANIMA公式はLoRAの推奨stepは12,000くらいって言ってるんぬがSDXLとかと同じ設定で学習を始めると1,500stepくらいで過学習が起き始めるんぬ |
| … | 3026/07/03(金)19:41:41No.1445823427+ANIMAをダウンロードしたhuggingfaceのページの説明を読めばいいのに… |
| … | 3126/07/03(金)19:42:49No.1445823806+>ANIMAをダウンロードしたhuggingfaceのページの説明を読めばいいのに… |
| … | 3226/07/03(金)19:43:39No.1445824085+説明書を読んだ猫「俺またなんかやっちゃいました?」 |
| … | 3326/07/03(金)19:43:51No.1445824143そうだねx2AIやってる人ほとんどバカなのでは |
| … | 3426/07/03(金)19:44:02No.1445824199+いい加減AI手を出したいけど使いやすいのはどれなんぬ? |
| … | 3526/07/03(金)19:45:09No.1445824588そうだねx1>いい加減AI手を出したいけど使いやすいのはどれなんぬ? |
| … | 3626/07/03(金)19:48:24No.1445825685+>AIやってる人ほとんどバカなのでは |
| … | 3726/07/03(金)19:52:17No.1445826923+AIに説明書とかマニュアル読み込ませて調べてもらうとかしないんぬ? |
| … | 3826/07/03(金)19:53:50No.1445827414+ぬはKohya GUIで配ってるプリセットをそのまま使ってるだけなんぬがreadmeにだいたい上で言ってること書いてあった気がするんぬ |
| … | 3926/07/03(金)19:57:29No.1445828594+画像生成だけなら調べれば無料のもそこそこ出てくるんぬ |
| … | 4026/07/03(金)20:00:34No.1445829613+ドキュメント読んでその上でいろいろ設定試してる試行錯誤してる人はすごいと思うんぬ |
| … | 4126/07/03(金)20:01:03No.1445829765+なんかこのふんわりして要領を得ない解説はファイアくん思い出す |
| … | 4226/07/03(金)20:02:17No.1445830181+animaのlora学習は最低数時間くらいはかかるからパラメータ細かく変えて検証するのは億劫なんぬ |
| … | 4326/07/03(金)20:10:47No.1445833067+AI古参のとっしーたちがよく言ってるやつなんぬ |
| … | 4426/07/03(金)20:15:58No.1445834823そうだねx3>なんかこのふんわりして要領を得ない解説はファイアくん思い出す |
| … | 4526/07/03(金)20:16:52No.1445835147+>>なんかこのふんわりして要領を得ない解説はファイアくん思い出す |
| … | 4626/07/03(金)20:17:51No.1445835494+readmeを読まないキャッツはなぜ生まれるんぬ |
| … | 4726/07/03(金)20:17:53No.1445835504そうだねx4普通に学習率の話してるだけなんでフワフワしてると思うなら自分が理解できてないだけだと思う |
| … | 4826/07/03(金)20:18:33No.1445835742+>普通に学習率の話してるだけなんでフワフワしてると思うなら自分が理解できてないだけだと思う |
| … | 4926/07/03(金)20:19:06No.1445835941そうだねx2なんか妖怪が召喚されたんぬ… |
| … | 5026/07/03(金)20:19:11No.1445835977そうだねx2前もlora関連でぬーぬーいいながらスレ立てて時点たっぷりなID出されてたけどコイツそれと同一人物だよな… |
| … | 5126/07/03(金)20:19:33No.1445836103+語尾にぬもつけずレスバ仕掛けに来ててダメだったんぬ |
| … | 5226/07/03(金)20:19:40No.1445836148そうだねx3時点たっぷり…? |
| … | 5326/07/03(金)20:19:50No.1445836214+自分が解らない言葉使ってるってだけで要領を得ないとか言っちゃうのは控えめに言って恥ずかしいよ |
| … | 5426/07/03(金)20:19:55No.1445836241そうだねx6なんか化け物きたんぬ… |
| … | 5526/07/03(金)20:20:52No.1445836568+>前もlora関連でぬーぬーいいながらスレ立てて時点たっぷりなID出されてたけどコイツそれと同一人物だよな… |
| … | 5626/07/03(金)20:20:55No.1445836590そうだねx3ぬを付けられないエラー品なんぬ |
| … | 5726/07/03(金)20:21:34No.1445836822そうだねx4そもそもファイアくんが何なのかわかんないところが妖怪感ある |
| … | 5826/07/03(金)20:22:10No.1445837080そうだねx3ファイアくんとかエラー品とか伝わんない造語で話すのやめるんぬ |
| … | 5926/07/03(金)20:24:34No.1445837915+>学習するということは「正しい」という思想に染まることなんぬなー |
| … | 6026/07/03(金)20:32:54No.1445840847+いやーでも分厚いマニュアル読むのダルいし触ればわかるでしょ |
| … | 6126/07/03(金)20:33:30No.1445841117+日本のぬは英語のドキュメントが読めない学力よわよわキャッツが多いんぬ… |
| … | 6226/07/03(金)20:34:20No.1445841436+kohya ss paramのテンプレ設定でよくない? |