Gemini Omni 1.1 Flash: Meer controle over generatieve video voor ontwikkelaars

Omni biedt nu videoproductie van studiokwaliteit, inclusief de mogelijkheid om scènes te verlengen, interpolatie van het eerste en laatste frame, scherpe 4K-upscaling, sneller prototypen en meer.

Vandaag introduceren we Gemini Omni 1.1 Flash, een nieuwe suite van creatieve controls en generatieve videofuncties ter ondersteuning van ontwikkelaars. Gemini Omni bracht real-world reasoning naar generatieve creatie, en de huidige updates maken Omni 1.1 klaar voor professioneel gebruik via de Gemini API in Google AI Studio.

Of u nu generatieve videoworkflows, creatieve tools of bewerkingssoftware voor media bouwt, deze updates maken generatieve video beter beheersbaar, sneller om op te itereren en gepolijst voor implementatie in de echte wereld. Hieronder volgt een overzicht van wat er nieuw is.

Scènes verlengen voor uitgebreidere storytelling

Met 'scene extension' kunt u een bestaande video nemen en naadloos beelden blijven genereren vanaf het punt waar de video stopte.

Bij Omni 1.1 kan het model nu tot 10 seconden aan voorafgaande context analyseren — een grote sprong voorwaarts ten opzichte van vorige modellen die slechts naar de laatste seconde keken. Het resultaat is een verbeterde visuele consistentie en een betere naleving van het narratief, waardoor u langere verhalen kunt bouwen of nieuwe creatieve richtingen kunt inslaan. U kunt video's verlengen in stappen van 10 seconden, tot een totale cumulatieve lengte van 40 seconden.

Voorbeelden van prompts voor scèneverlenging:

Set 1:

• Prompt 1: De camera pannt lichtjes en we zien nu dat ze praat met een man met krullend haar; we zien de rug van de man, hij zegt "Ik zie het ook", dramatische muziekscore.
• Prompt 2: De camera trekt langzaam uit, vergeten stoffige catacomben, dramatische muziekscore.
• Prompt 3: De camera trekt langzaam uit, een enorme bibliotheek waar planken en boeken gewichtloos zweven in een stoffige leegte, dramatische muziekscore.

Set 2:

• Prompt 1: Ga door met de video. Voer een cinematografische 'optical dolly-zoom' shot uit. De camera beweegt naar voren terwijl hij gelijktijdig uitzoomt, waarbij het bevroren, geschokte gezicht van het personage exact dezelfde grootte behoudt. De lange gang van stenen pilaren op de achtergrond rekt en verdiept zich dramatisch met intense optische perspectiefvervorming. Schone architectuur, ononderbroken shot.
• Prompt 2: Ga door met de video. De camera voert een snelle mechanische 'snap-zoom' uit, direct in de wijd openstaande ogen van het personage. Gestileerde cinematografische camerabesturing.
• Prompt 3: Ga door met de video. De tijd bevriest volledig in een statisch moment: het personage, hun door de wind geblazen jas. De camera maakt een vloeiende, hoge-snelheid 360-graden orbitale rotatie rond het bevroren personage, wat dramatische 3D-diepte en parallax over de colonnade laat zien. Vlekkeloze continuïteit.

Set 3:

• Prompt 1: De man in de blauwe trui antwoordt: "ging je vader ook met de boot uit?"
• Prompt 2: De camera trekt zich in één continue beweging terug terwijl hij zijn verhaal vervolgt: "Hij zei altijd dat deze haven een ziel had. En dat de boten een deel van ons waren." De muziek zwelt aan.

Set 4:

• Prompt 1: De persoon kijkt direct in de camera en vertelt waar het laatste hoofdstuk mee zal eindigen!
• Prompt 2: Hij staat vervolgens op, loopt om het bureau naar de camera en zegt: "wat zou jij kiezen?"

Implementatie via de Gemini API:

from google import genai

client = genai.Client()
interaction = client.interactions.create(
    model="gemini-omni-1.1-flash",
    previous_interaction_id=previous_video_interaction.id,
    input=[
        {"type": "text", "text": "Continue the scene."}
    ],
    response_format={
        "resolution": "360p",
    },
)

Eerste en laatste frames specificeren

Behaal vloeiende overgangen en camerabewegingen door de start- en eindframes van een shot op te geven. Omni 1.1 genereert continue video tussen twee keyframes, wat ideaal is voor complexe camera-orbits, zoom-overgangen of naadloos herhalende clips.

Voorbeelden:

• Prompt 1: Een close-up shot vanuit een lage hoek van een stijlvolle drummer in een beige pak die op een rode drumkit speelt in een grote zaal, gaat over terwijl de camera een 'whip-pan' naar de zijkant maakt, waardoor een oudere saxofonist zichtbaar wordt die samen met een balletdanseres in een wit outfit spint onder zachte paarse podiumverlichting. Eén continu shot, geen jump cuts.
• Prompt 2: De camera zoomt in op het televisiescherm, waar we dezelfde vrouw en dezelfde scène zien als aan het begin. Naadloze video. Eén continu shot, geen jump cuts.

Efficiënter schetsen in 360p

Genereer lichtgewicht previews in 360p resolutie tot 60% sneller* en tegen een derde van de kosten vergeleken met de standaard 720p resolutie van Omni 1.1. Dit is bijzonder nuttig voor snel prototypen, het itereren van storyboards en snelle rendering in ontwikkelaarsplatforms.

\Tot 60% snellere generatie gebaseerd op systeemdoorvoer van 360p versus 720p resolutie.*

Voorbeeld prompt: Een microscopisch beeld van iriserende mariene diatomeeën, die complexe, glasachtige silica-schelpen tonen met adembenemende natuurlijke symmetrie. De kleuren variëren van diep vulkanisch amber en warm koper tot levendig turquoise en violet, wat het rijke palet van aarde en oceaan nabootst. Kleine, delicate structuren gloeien zachtjes tegen een schone, donkere achtergrond. High-fidelity wetenschappelijke beeldvorming, scherpe details, organische texturen, microfotografie. Behoud het microscooplenseffect gedurende de gehele video.

Opschalen naar 4K-resolutie

Met Omni 1.1 kunt u gepolijste, hoge-resolutie 1080p of 4K-outputs genereren die klaar zijn voor professionele productie.

Voorbeelden:

• Prompt 1: Vissen die zwemmen, tracking shot.
• Prompt 2: Een klein chipmunk die vanuit de linkerkant van het scherm uit het bos komt gelopen en nieuwsgierig in de lucht snuffelt voordat hij aan de rechterkant uit beeld verdwijnt.
• Prompt 3: Cinematografische macro close-up van levendige goud-oranje Japanse esdoornbladeren aan een delicate tak, die zachtjes ritselen en zwaaien in een zachte, ritmische herfstbries. Zonlicht filtert door het doorschijnende gebladerte, wat een warm, gloeiend effect creëert. Ondiepe scherptediepte, dromerige bokeh-achtergrond, hyper-gedetailleerde texturen, fotorealistisch, 4k.

Video-referenties toevoegen aan multimodale input

U kunt tot drie seconden aan video refereren bij het ontwerpen van uw scène, waardoor u de visuele context en personage-consistentie kunt behouden op basis van videoreferenties.

Voorbeeld prompt: Gebruik de drie geüploade video's van dansers en vervang hen door de verstrekte personages. Laat hen hun individuele dansen uit de referentievideo's uitvoeren, allemaal samen in de grote, open ruimte van de verstrekte afbeelding. Het hond-personage dog.png moet de klassieke dans uit dance3.mp4 doen. De octopus octo.png moet de hiphopdans uit dance1.mp4 doen, en de beer bear.png moet de breakdance uit dance2.mp4 doen. Het eindresultaat moet één continu shot zijn zonder scènewissels.

Inspirerende concepten voor applicaties

Hier zijn enkele ideeën over hoe ontwikkelaars deze nieuwe mogelijkheden kunnen inzetten in aangepaste tools en creatieve workflows:

• Transitietool: In deze app kunt u een eerste en laatste frame invoegen en de overgang daartussen genereren met presets of een promptbox. Dankzij de full-context reasoning van Omni krijgt u camerabewegingen die echt aanvoelen.
• Vastgoed-visualisatie: Deze app beweegt de camera door kamers via bogen, pushes en pulls. Het toont de woning in een aspirationele staat op het perfecte tijdstip van de dag, zonder meubels of details toe te voegen die niet bestaan.
• The Draft Room: Creators genereren vaak meerdere video's voordat ze de juiste vinden. De 'Draft Room' maakt die exploratie goedkoop en gestructureerd: genereer 3-4 conceptvariaties in 360p, waarbij telkens één ding wordt gevarieerd, en vergelijk deze naast elkaar.

Klantenervaringen met Omni Flash

Onze klanten implementeren Gemini Omni Flash al in productie via de Agent Platform API.

• Adobe: Heeft Gemini Omni Flash geïntegreerd in Adobe Firefly voor geavanceerde videobewerkingsmogelijkheden.
• Figma Weave: "Gemini Omni Flash is een van de sterkste videomodellen beschikbaar in Figma Weave, waar het canvas creatieve teams helpt om op elke generatie voort te bouwen. Met extensies, rijkere referentiematerialen en 4K-resolutie stelt Gemini Omni Flash teams in staat om verder te gaan dan het genereren van video's en ze echt te regisseren." — Itay Schiff, Creative Director, Figma Weave.
• GMI Cloud: "Wat opvalt aan Gemini Omni Flash is de nauwkeurigheid: de details blijven overeind onder kritische blik. Voor klanten die educatieve en verklarende content maken, waar precisie essentieel is, is die betrouwbaarheid belangrijker dan elke enkele feature." — Louisa Guo, VP of Marketing, GMI Cloud.
• Runway: "Omni Flash past natuurlijk in hoe mensen Runway al gebruiken: begin met een prompt, een afbeelding of een video, en genereer of bewerk vanaf daar. Het is een andere manier voor onze gebruikers om snel tussen ideeën te schakelen." — Jamie Umpherson, Chief Creative Officer, Runway.

Start vandaag met bouwen

Omni 1.1 wordt uitgerold over het Google-ecosysteem voor ontwikkelaars:

• Google AI Studio: Probeer Omni 1.1 direct uit in Google AI Studio.
• Gemini Enterprise Agent Platform: Bedrijven kunnen bouwen met Omni 1.1 via de Agent Platform API.
• Developer Documentation: Raadpleeg de officiële documentatie, de cookbook en de prompting-gidsen voor integratie van scèneverlengingen, videoreferenties en upscaling.

Omni 1.1 is vanaf vandaag ook wereldwijd beschikbaar voor alle Google AI Plus, Pro en Ultra-abonnees in Google Flow. Scèneverlenging is beschikbaar voor deze abonnees in de Gemini-app.