Introducing NovelAI Diffusion Anime V3 (2024)

Anlatan

·

Follow

14 min read

·

Nov 15, 2023

--

Introducing NovelAI Diffusion Anime V3 (2)

It has been less than a month since we introduced V2 of our Anime AI image generation model, but today, we are very happy to introduce you to our newest model: NovelAI Diffusion Anime V3

It has better knowledge, better consistency, creativity and better spatial understanding. It is even quite adept at drawing hands (finally!).

Our newest model is based on StabilityAI’s SDXL model, but, as usual, we threw in a good amount of our own secret sauce, pushing it further. For example, you will find it much easier to generate dark scenes than on stock SDXL.

Of course, as you will be able to tell from the model’s name, we have also done our usual in-depth anime-styled training, powered by our high-performance H100 GPU cluster Shoggy hosted by CoreWeave, which allowed us to iterate rapidly since releasing our V2 model.

Stable Diffusion’s SDXL has proven to be a very diligent student, its knowledge far surpassing that of our previous SD1.5 models even in cases where the amount of available training data was very limited, you will notice that in the broader variety of art styles promptable in this version of our AI Image Generator.

We are also working on a proper write-up of our new techniques, so the wider image generation community can benefit from them.

NovelAI Diffusion Anime V3 works with much lower Prompt Guidance values than our previous model. Now the sweet spot can usually be found in the 5–6 range. However, there are cases where being able to use higher Prompt Guidance can help with steering a prompt just so, and for that reason, we have added a new option called Prompt Guidance Rescale. This option allows the use of higher Prompt Guidance values without deep frying the image.

Since it is mainly intended for advanced users, we have moved it to a new “Advanced Settings” section of the user interface. We have also moved the Undesired Content Strength setting to this new section.

Introducing NovelAI Diffusion Anime V3 (3)

After all the good news, we also have to announce that the model is sadly a bit out of control. Due to the modifications we made to Stable Diffusion XL’s model (in order to bend it to our will), we will have to completely rework how ControlTools function with this particular model.
So, NovelAI Diffusion V3 will launch without ControlTool support.

Along with the release of NovelAI Diffusion Anime V3, we have updated the tag suggestions feature that allows you to control your AI Image Generations so well to include various new tags and also include our new quality and aesthetics tags.

We have also readjusted the Tag Knowledge Indicator circles after each tag, which roughly indicate how well the model may understand each tag, to be more in line with the much-improved capabilities of our new V3 model.

Speaking of tags, we have also added a random prompt generator that you can use when you feel like generating images but just can’t think of what you’d like to generate. Let our random prompts take the lead and find inspiration in the quirkiness. You’ll probably find a new favorite tag here and there as well.

Introducing NovelAI Diffusion Anime V3 (4)

Based on our new SDXL-based V3 model, we have also trained a new inpainting model. As before, it will allow you to mask sections of the image you would like to let the model have another go at generating, letting you make changes and adjustments to the content or just having another go at a hand that doesn’t look quite right yet, although you should find that the need for the latter is quite diminished with our latest model.

Introducing NovelAI Diffusion Anime V3 (5)

NovelAI’s currency, Anlas, can now be purchased without an active subscription. Purchasers with an active subscription will be able to do so at the current discounted price as a benefit.

If you are reading this, you should already be able to take the model for a spin yourself.
Getting your hands on the model yourself is always the best way to get a first impression of how well it works after all! But, perhaps, you would like to first see a little sample gallery to gauge just how much progress has been made in the short time since the V2 release, so here are a few side-by-side examples!

Please feel free to share your generations with us and don’t forget to tag them alongside #NovelAI & #NAIDiffusionV3 on social media!

We are absolutely thrilled to see what you will create with novelai.net!

Introducing NovelAI Diffusion Anime V3 (6)

アニメAI画像モデルのV2をご紹介してからまだ1ヶ月も経っていませんが、今日は最新モデル『NovelAI Difuusion Anime V3』をご紹介します。

より優れた知識、より優れた一貫性、より優れた空間理解力を持ち、(ついに!)手を描くことにさえ長けています。

私たちの最新モデルは、StabilityAIのSDXLモデルをベースにしていますが、いつものように、私たち独自の隠し味を大量に投入し、さらに進化させています。例えば、純正のSDXLよりも暗いシーンを生成するのがはるかに簡単です。

もちろん、モデル名からお分かりのように、CoreWeaveがホストする高性能H100 GPUクラスタShoggyを利用した、アニメスタイルの徹底的なトレーニングによって、V2モデルをリリースして以来、迅速に反復することができました。

Stable DiffusionのSDXLは非常に高い学習能力があることが証明されており、利用可能なトレーニングデータの量が非常に限られている場合でも、その知識は以前のSD1.5モデルをはるかに上回っています。このバージョンの画像生成AIでは、より幅広いアートスタイルが可能です。

また、より広い画像生成コミュニティが恩恵を受けられるように、私たちの新しいテクニックの適切な文書化に取り組んでいます。

NovelAI Diffusion Anime V3は、私たちの前のモデルよりもはるかに低いプロンプトガイダンス値(プロンプトを反映する正確度)で動作します。現在の推奨値は5〜6です。しかし、より高いプロンプトガイダンス値を使用することで、プロンプトをより適切な方向に導くことができる場合もあります。そこで、「プロンプトを反映する正確度の再調整」という新しいオプションを追加しました。このオプションは画像の色合いをおかしくせずに高いプロンプトを反映する正確度を使用することができます。

これは主に上級ユーザーを対象としているため、ユーザーインターフェースの新しい「詳細設定」セクションに移動しました。また、「除外したい要素の強さ」の設定もこの新しいセクションに移動しました。

Introducing NovelAI Diffusion Anime V3 (7)

良いニュースの後には、悲しいかな、このモデルが少し制御不能であることも発表しなければなりません。Stable Diffusion XLのモデルを(我々の意のままにするために)修正したため、ControlNetをこのモデルで機能するように完全に作り直さなければなりません。そのため、NovelAI Diffusion V3はControlNetをサポートせずにリリースされます。

NovelAI Diffusion Anime V3のリリースに伴い、AI画像生成をコントロールするタグサジェスト機能を更新し、様々な新しいタグが追加され、新しい品質と美学のタグも含まれています。

また、各タグの後に表示される丸いタグ知識インジケータは、モデルが各タグをどの程度理解しているかを大まかに示すもので、新しいV3モデルの大幅に改善された機能に合わせて再調整しました。

画像を生成したいけど、何を生成したいのか思いつかないときに使えるランダム・プロンプト生成機能を追加しました。ランダムなプロンプトに導かれ、奇抜さの中からインスピレーションを見つけましょう。きっと新しいお気に入りのタグも見つかるはずです。

Introducing NovelAI Diffusion Anime V3 (8)

SDXLベースの新しいV3モデルに基づいて、新しいインペイント(描いて新しいマスクを追加する)モデルもトレーニングしました。以前と同じように、モデルにもう一度生成させたい画像の部分をマスクすることができ、内容を変更したり調整したり、あるいはまだ綺麗ではない手を修正したりすることができます。

Introducing NovelAI Diffusion Anime V3 (9)

NovelAIの通貨Anlasは、サブスクリプションをお持ちでなくてもご購入いただけるようになりました。有効なサブスクリプションをお持ちの方は、特典として現在の割引価格でご購入いただけます。

V2との比較

これを読んでいるあなたなら、すでにこのモデルを自分で試してみることができるはずです。実際にモデルを手にすることは、その出来栄えを第一印象で判断するための最良の方法です!V2リリース後の短期間でどれだけの進歩があったのか、まずはサンプルギャラリーをご覧ください!

また、#NovelAI と #NAIDiffusionV3 のタグをお忘れなく。

私たちは、皆さんがnovelai.netでどんな作品を作ってくれるのか、とても楽しみにしています。

Introducing NovelAI Diffusion Anime V3 (2024)

References

Top Articles
Latest Posts
Recommended Articles
Article information

Author: Moshe Kshlerin

Last Updated:

Views: 5793

Rating: 4.7 / 5 (57 voted)

Reviews: 88% of readers found this page helpful

Author information

Name: Moshe Kshlerin

Birthday: 1994-01-25

Address: Suite 609 315 Lupita Unions, Ronnieburgh, MI 62697

Phone: +2424755286529

Job: District Education Designer

Hobby: Yoga, Gunsmithing, Singing, 3D printing, Nordic skating, Soapmaking, Juggling

Introduction: My name is Moshe Kshlerin, I am a gleaming, attractive, outstanding, pleasant, delightful, outstanding, famous person who loves writing and wants to share my knowledge and understanding with you.