KEPLIN Docs

Svar i sanntid på skjermen

Vise svaret fra en AI-modell på skjermen mens modellen skriver det, med et AI-trinn i et API eller med et skript, og en Markdown-widget.

Et langt svar fra en modell kan ta flere titalls sekunder. Med svar i sanntid vises teksten på skjermen mens modellen skriver den, som i en chat, i stedet for at alt vises på slutten.

Du trenger to deler med samme navn:

  • Det som ber om svaret: trinnet AI i et API, med navnet under Svar i sanntid, eller et skript, med stream="navn".
  • Det som viser det: en Markdown-widget med kilden AI-svar i sanntid og det samme navnet under Navn på svaret.

Før du begynner

  • Varsler i sanntid må være slått på i Innstillinger for plattformen. Teksten når skjermen gjennom den samme kanalen som varslene.
  • Den som bruker skjermen, må ha en økt i appen. Svaret går bare til personen som sendte forespørselen: andre brukere ser det ikke.
  • Appen trenger en AI-modell for tekst (se Appens AI-modeller).

Vise svaret fra et API

  1. Opprett et API av typen mutation med et trinn AI (se API-builderen). Skriv forespørselen og, under Svar i sanntid, navnet resumo.

  2. Legg til en Markdown-widget på skjermen. Velg AI-svar i sanntid under Kilde, og skriv resumo under Navn på svaret.

  3. Valgfritt: skriv i innholdet i widgeten teksten som vises før det første svaret, for eksempel Klikk på Oppsummer.

  4. Legg til en knapp Oppsummer og kall API-et i hendelsen onClick:

    await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
    

Når personen klikker på knappen, viser widgeten teksten mens den kommer, med en blinkende markør til slutten. API-et returnerer hele svaret på slutten, som alltid.

Vise svaret fra et skript

I et skript sender du navnet i stream=:

from api_manager import ai


def main(input):
    r = ai.chat(
        "Escreve uma proposta comercial para: " + input["args"]["pedido"],
        stream="resumo",
    )
    return {"texto": r["text"]}

Også ai.json og ai.run godtar stream=. Med ai.run begynner teksten på nytt for hver forespørsel til modellen, og skjermen beholder teksten i det endelige svaret.

Hva personen ser

Tidspunkt Widgeten viser
Før den første forespørselen Innholdet som står i widgeten.
Mens modellen skriver Teksten som allerede har kommet, med en blinkende markør.
På slutten Hele svaret.
Hvis kallet mislykkes Teksten som allerede hadde kommet, og feilmeldingen.
Ved en ny forespørsel Teksten begynner på nytt.

Vanlige spørsmål

Får to åpne vinduer det samme svaret? Ja, hvis de tilhører den samme personen og har en widget med det samme navnet. Svaret går til alle åpne vinduer hos den som sendte forespørselen.

Fungerer det i KeplinGo? Ja. Mobilappen bruker den samme sanntidskanalen.

Og i en planlegging, eller i et API som kalles med en API-nøkkel? Ingen med en økt venter, så teksten går ikke til noen skjerm. Kallet fungerer som alltid.

Viser trinnet AI i arbeidsflyter også svaret i sanntid? Nei. En prosess kjører uten at noen venter: trinnet lagrer svaret i en variabel.