KEPLIN Docs

Bilder und Audio

Bilder mit ai.image erzeugen, Aufnahmen mit ai.transcribe transkribieren und Sprache mit ai.speak erzeugen.

Jede Operation nutzt einen Alias der passenden Verwendung: Bilder für ai.image, Transkription für ai.transcribe und Sprache für ai.speak. Ohne model= gilt der Standard-Alias dieser Verwendung. Nicht jeder Anbieter bietet diese Operationen: siehe Was jeder Anbieter kann.

Bilder erzeugen

from api_manager import ai


def main(input):
    r = ai.image(
        "Fotografia de produto de uma cadeira de madeira, fundo branco",
        size="1024x1024",
        filename="cadeira",
    )
    return {"ficheiro": r["file"]}  # {"token", "filename", "mime", "size"}
  • Die Bilder landen direkt im Speicher der App. Jedes kommt als die Datei, die files.store zurückgibt (token, filename, mime und size), bereit zum Speichern in einem Feld eines Datensatzes. Für die Bytes nutzen Sie files.read(r["file"]).
  • size ist Breite x Höhe, zum Beispiel 1024x1024. Bei Google wird die Größe zum nächstgelegenen Seitenverhältnis (1:1, 3:4, 4:3, 9:16 oder 16:9).
  • n erzeugt bis zu 4 Bilder auf einmal. r["files"] enthält alle; r["file"] ist das erste.
  • filename ist der Dateiname ohne Endung; ohne ihn heißt die Datei imagem. Die Endung ergibt sich aus dem Bildtyp.
  • Blockieren die Sicherheitsfilter des Anbieters die Anfrage, löst ai.image ai.Error mit dem Code invalid_output aus.

Audio transkribieren

from api_manager import ai


def main(input):
    gravacao = input["args"]["gravacao"]  # ein Argument vom Typ Upload einer API
    t = ai.transcribe(gravacao, language="pt", prompt="Keplin, Gestão de Clientes")
    return {"texto": t["text"]}
  • Die Datei ist ein Argument vom Typ Upload, sein Token oder das, was files.store zurückgibt.
  • Akzeptiert MP3, MP4, M4A, WAV, WEBM, OGG und FLAC, bis 25 MB (15 MB bei Google).
  • language ist die gesprochene Sprache, mit zwei Buchstaben (pt, en). Ohne sie erkennt das Modell die Sprache selbst.
  • prompt hilft bei Eigennamen, Abkürzungen und Fachbegriffen, die in der Aufnahme vorkommen.

Sprache erzeugen

from api_manager import ai


def main(input):
    voz = ai.speak("A sua encomenda já saiu do armazém.", voice="alloy", filename="aviso")
    return {"ficheiro": voz["file"]}
  • Das Audio landet im Speicher der App, und voz["file"] ist die Datei, wie bei ai.image. Ohne filename heißt die Datei voz.
  • voice ist der Name einer Stimme des Anbieters, zum Beispiel alloy oder nova bei OpenAI und Kore oder Puck bei Google. Ohne sie gilt alloy im OpenAI-Format und Kore bei Google.
  • format ist mp3 (Standard), wav, opus, aac oder flac. Google gibt immer WAV zurück.
  • instructions sagt, wie gesprochen werden soll (Ton, Tempo, Emotion), bei den Modellen, die das unterstützen.

Häufige Fragen

Kann ich ein vorhandenes Bild bearbeiten? Nein: ai.image erzeugt neue Bilder aus Text. Um ein Bild zu beschreiben oder zu analysieren, nutzen Sie ai.chat mit files=.

Kann ich eine Aufnahme übersetzen? Transkribieren Sie sie mit ai.transcribe und übersetzen Sie den Text mit ai.chat.