API di doppiaggio IA: come doppiare audio e video su larga scala

Qualche decennio fa, doppiare un video significava prenotare uno studio, ingaggiare doppiatori per la lingua di destinazione, registrare (e ri-registrare) ogni battuta e poi aspettare settimane per la consegna finale.

Un'API di doppiaggio IA riduce tutto questo a poche chiamate REST. Invia il tuo audio o video e ricevi un output doppiato in nuove lingue, mantenendo tempistiche ed espressività originali.

Questa guida spiega come funziona un'API di doppiaggio IA e cosa distingue una soluzione professionale da una pipeline improvvisata. Vedremo anche come integrare la nuova API di doppiaggio di ElevenLabs, che ora offre Dubbing v2, il nostro modello di doppiaggio più recente, in qualsiasi workflow.

Riepilogo

• Un'API di doppiaggio IA prende un audio o video sorgente e restituisce un output doppiato in nuove lingue.
• Dubbing v2 è un modello audio-to-audio che si basa sulla performance originale, quindi emozione, tono e interpretazione vengono trasferiti in ogni doppiaggio.
• La Dubbing API di ElevenLabs copre oltre 90 lingue con traduzione sincronizzata.
• Gli sviluppatori creano un progetto di doppiaggio, aggiungono le lingue di destinazione e scaricano i doppiaggi finali con poche chiamate REST.
• I clienti enterprise possono modificare le trascrizioni e le traduzioni sorgente, poi rigenerare solo i segmenti modificati.

Cos'è un'API di doppiaggio IA?

Un'API di doppiaggio IA è un'interfaccia programmabile che accetta audio o video in una lingua e restituisce audio doppiato nelle lingue di destinazione. Automatizza tutta la catena di localizzazione: trascrive la sorgente, traduce i dialoghi, clona la voce di ogni speaker, genera il parlato nella lingua target e allinea l'output alle tempistiche originali.

Anche se molti sviluppatori hanno collegato Speech to Text, traduzione automatica e Text to Speech per creare pipeline di doppiaggio improvvisate, queste soluzioni non sono affidabili su grandi volumi.

L'identità degli speaker si perde tra le fasi, le tempistiche possono sfasarsi e un copione ricco di emozioni rischia di diventare monotono.

Un'API di doppiaggio progettata appositamente include una serie di funzionalità aggiuntive che risolvono questi problemi. Dalla separazione degli speaker alla conservazione della voce, dalla sincronizzazione interna alla clonazione vocale, una buona API di doppiaggio IA fa sì che il risultato suoni come l'originale, non come una semplice traduzione piatta.

Come funziona il doppiaggio IA: audio-to-audio vs pipeline a cascata

La maggior parte dei sistemi di doppiaggio automatico sono pipeline a cascata. Traducono l'audio sorgente, traducono la trascrizione e sintetizzano il nuovo parlato da quel testo. Tutto ciò che va oltre la trascrizione, come esitazioni, tensione, sarcasmo o sussurri, si perde prima ancora della sintesi.

ElevenLabs Dubbing v2 adotta un approccio diverso.

Dubbing v2 offre un modello audio-to-audio che genera l'output direttamente dalla registrazione originale, invece che da una sua trascrizione. Tono, emozione e intensità vengono trasferiti nel doppiaggio perché il modello ascolta la performance, non una sua descrizione.

Stimiamo che Dubbing v2 produca doppiaggi all'80-90% della qualità umana, il che significa che il doppiaggio IA ora funziona anche su contenuti cinematografici.

Altre tre funzionalità fondamentali completano Dubbing v2:

• Traduzione sincronizzata: Il modello traduce tenendo conto delle tempistiche, così inizio e fine dell'audio doppiato coincidono subito con l'originale. Non serve manipolare il video o fare lip sync. L'audio si posiziona esattamente dove era il dialogo originale.
• Clonazione vocale automatica: Ogni traduzione viene resa con una voce clonata dello speaker originale, senza passaggi manuali. Identità, timbro e tonalità vengono mantenuti in tutte le lingue supportate, anche con più speaker.
• Precisione a livello di variante locale: Dubbing v2 distingue le varianti regionali, come spagnolo latinoamericano o castigliano, con controlli tramite codici lingua come pt-BR per il portoghese brasiliano.

Cosa valutare in un'API di doppiaggio IA

Quando valuti un'API di doppiaggio IA per il tuo workflow di sviluppo, ci sono alcuni criteri fondamentali da considerare.

Ecco le principali funzionalità delle migliori API di doppiaggio IA:

• Ampia copertura di lingue e varianti: cerca ampiezza (oltre 90 lingue) e la possibilità di gestire varianti regionali in modo dettagliato.
• Conservazione della performance: chiedi se il sistema si basa sull'audio sorgente o sulla trascrizione. L'architettura audio-to-audio determina se l'emozione verrà mantenuta nel doppiaggio.
• Sincronizzazione perfetta: Un audio doppiato che non rispetta le tempistiche originali richiede ore di correzione manuale. La sincronizzazione deve funzionare di default per evitare lavoro extra dopo la produzione.
• Gestione multi-speaker e background: un'API di doppiaggio IA deve gestire facilmente speaker sovrapposti o effetti sonori. L'API dovrebbe anche preservare la musica o i mix di sottofondo all'interno di una clip.
• Modifica e rigenerazione: un'API di doppiaggio che ti permette di correggere una trascrizione, migliorare una traduzione e rigenerare solo i segmenti interessati ti evita di dover ridoppiare interi file.
• Conformità normativa: i carichi di lavoro enterprise richiedono conformità SOC 2, GDPR e ISO 27001 prima che i contenuti passino nel sistema.

Il resto di questa guida ti accompagna nell'uso della Dubbing API di ElevenLabs, che include tutte le funzionalità elencate sopra.

Come doppiare audio e video con la Dubbing API di ElevenLabs

La Dubbing API è organizzata per progetti. Ogni progetto contiene un file sorgente e la sua trascrizione. Puoi poi aggiungere una lingua di destinazione per ogni lingua in cui vuoi doppiare, e ogni lingua avrà la sua traduzione e il suo output.

Il workflow base di creazione e recupero qui sotto è disponibile per tutti gli utenti sulla piattaforma ElevenAPI.

1) Crea un progetto di doppiaggio

Invia il tuo file sorgente tramite upload o URL pubblico. L'autenticazione usa la tua API key nell'header xi-api-key. Puoi aggiungere un'etichetta di riferimento opzionale per identificare il progetto e dei keyterms per orientare trascrizione e traduzione verso nomi di prodotto o brand.

Crea da URL

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "source_url=https://example.com/promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

Crea da file upload

curl -X POST https://api.elevenlabs.io/v1/dubbing/project \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -F "file=@promo.mp4" \
  -F "source_language=en" \
  -F "reference=Q3 marketing video"

La risposta restituisce un project_id con stato queued. Se ometti source_language, il modello lo rileva automaticamente durante la trascrizione.

2) Fai polling finché il progetto non è pronto

Le sorgenti vengono trascritte in modo asincrono, quindi fai polling sul progetto finché lo stato non diventa ready.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Un progetto pronto ha la trascrizione sorgente preparata ed è in attesa che tu aggiunga le lingue di destinazione. L'avanzamento per lingua si trova sulle singole lingue, quindi il progetto resta pronto da questo momento in poi.

3) Aggiungi le lingue di destinazione

Aggiungi una lingua per ogni target. L'impostazione cloning_strength (da 0 a 10, default 7) regola il bilanciamento tra somiglianza con la voce originale e naturalezza nella lingua di destinazione.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"target_language": "es", "voice_settings": {"cloning_strength": 7}}'

Ogni lingua passa da queued a processing fino a completed.

Per doppiare in cinque lingue, fai cinque chiamate sullo stesso progetto. La sorgente viene trascritta una sola volta e ogni lingua parte da quella.

4) Scarica l'output doppiato

Recupera la lingua quando lo stato è completed. La risposta include un URL firmato per scaricare l'audio doppiato.

curl https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Ricorda che gli URL di download hanno una durata limitata, quindi recupera la lingua ogni volta che ti serve un nuovo link.

Con questi quattro passaggi hai un ciclo di doppiaggio completamente automatizzato: crea, fai polling, aggiungi lingue, scarica.

Modifica e rigenerazione dei doppiaggi via API

Anche se l'automazione copre la maggior parte dei casi d'uso, per una localizzazione di qualità spesso serve una revisione umana delle parole per renderle perfette. La Dubbing API offre ai clienti enterprise il controllo sui segmenti di entrambe le parti della traduzione.

La trascrizione sorgente è la base da cui partono tutte le lingue e può essere modificata completamente. Puoi correggere una battuta fraintesa, assegnare uno speaker o regolare il timing di qualsiasi segmento:

curl -X PATCH https://api.elevenlabs.io/v1/dubbing/project/{project_id}/transcript/segment/{segment_id} \
  -H "xi-api-key: $ELEVENLABS_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"text": "Welcome to our latest product demo."}'

Ogni lingua di destinazione ha la sua trascrizione, che abbina ogni segmento sorgente alla sua traduzione. Anche queste traduzioni sono modificabili allo stesso modo.

Puoi anche fornire la tua trascrizione e traduzione sorgente, così il tuo workflow di localizzazione gestisce le parole mentre il modello si occupa delle voci.

Quando una trascrizione viene modificata dopo il doppiaggio, la lingua viene segnata come obsoleta e una sola chiamata la rigenera dal testo aggiornato.

curl -X POST https://api.elevenlabs.io/v1/dubbing/project/{project_id}/language/{language_id}/transcript/regenerate \
  -H "xi-api-key: $ELEVENLABS_API_KEY"

Le rigenerazioni sono gratuite fino a 1x la durata del media sorgente, quindi puoi iterare sulla traduzione senza aumentare i costi di doppiaggio. Oltre la quota 1x, la rigenerazione viene fatturata secondo la tariffa standard.

Casi d'uso dell'API di doppiaggio IA

Un'API di doppiaggio video è utile ogni volta che devi localizzare audio su larga scala. Il doppiaggio manuale richiede tempo e fatica, mentre un'API di doppiaggio IA ti permette di accelerare notevolmente il processo.

Ecco alcuni casi d'uso delle API di doppiaggio IA:

• Piattaforme di creazione media: integra il doppiaggio direttamente nei workflow di produzione dei creator, così gli utenti possono sperimentare senza uscire dalla tua app.
• Contenuti di formazione e supporto: le aziende con team globali possono localizzare i contenuti in più lingue, supportando onboarding e video formativi per tutti gli utenti.
• Streaming e media: le pipeline di localizzazione possono doppiare automaticamente serie lunghe o altri media per la distribuzione in più territori.
• Materiali di marketing: lancia campagne video multilingue senza dover ri-registrare le battute dei doppiatori in decine di lingue.
• Edtech: le piattaforme di corsi doppiano i video degli insegnanti per ogni mercato, mantenendo la voce originale dell'insegnante.

In tutti i settori, le API di doppiaggio rendono accessibile la produzione di contenuti localizzati di alta qualità su larga scala.

Dubbing v2 è ora disponibile su ElevenAPI

La Dubbing API è attiva sia per sviluppatori self-serve che enterprise, con Dubbing v2 disponibile per tutti e endpoint di editing per i workspace enterprise.

Esplora la Dubbing API per vedere tutte le funzionalità, oppure registrati e crea una API key per avviare il tuo primo doppiaggio in pochi minuti.

FAQ sulle API di doppiaggio