Svar i sanntid på skjermen
Vise svaret fra en AI-modell på skjermen mens modellen skriver det, med et AI-trinn i et API eller med et skript, og en Markdown-widget.
Et langt svar fra en modell kan ta flere titalls sekunder. Med svar i sanntid vises teksten på skjermen mens modellen skriver den, som i en chat, i stedet for at alt vises på slutten.
Du trenger to deler med samme navn:
- Det som ber om svaret: trinnet AI i et API, med navnet under
Svar i sanntid, eller et skript, med
stream="navn". - Det som viser det: en Markdown-widget med kilden AI-svar i sanntid og det samme navnet under Navn på svaret.
Før du begynner
- Varsler i sanntid må være slått på i Innstillinger for plattformen. Teksten når skjermen gjennom den samme kanalen som varslene.
- Den som bruker skjermen, må ha en økt i appen. Svaret går bare til personen som sendte forespørselen: andre brukere ser det ikke.
- Appen trenger en AI-modell for tekst (se Appens AI-modeller).
Vise svaret fra et API
Opprett et API av typen mutation med et trinn AI (se API-builderen). Skriv forespørselen og, under Svar i sanntid, navnet
resumo.Legg til en Markdown-widget på skjermen. Velg AI-svar i sanntid under Kilde, og skriv
resumounder Navn på svaret.Valgfritt: skriv i innholdet i widgeten teksten som vises før det første svaret, for eksempel
Klikk på Oppsummer.Legg til en knapp Oppsummer og kall API-et i hendelsen onClick:
await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
Når personen klikker på knappen, viser widgeten teksten mens den kommer, med en blinkende markør til slutten. API-et returnerer hele svaret på slutten, som alltid.
Vise svaret fra et skript
I et skript sender du navnet i stream=:
from api_manager import ai
def main(input):
r = ai.chat(
"Escreve uma proposta comercial para: " + input["args"]["pedido"],
stream="resumo",
)
return {"texto": r["text"]}
Også ai.json og ai.run godtar stream=. Med ai.run begynner teksten på
nytt for hver forespørsel til modellen, og skjermen beholder teksten i det
endelige svaret.
Hva personen ser
| Tidspunkt | Widgeten viser |
|---|---|
| Før den første forespørselen | Innholdet som står i widgeten. |
| Mens modellen skriver | Teksten som allerede har kommet, med en blinkende markør. |
| På slutten | Hele svaret. |
| Hvis kallet mislykkes | Teksten som allerede hadde kommet, og feilmeldingen. |
| Ved en ny forespørsel | Teksten begynner på nytt. |
Vanlige spørsmål
Får to åpne vinduer det samme svaret? Ja, hvis de tilhører den samme personen og har en widget med det samme navnet. Svaret går til alle åpne vinduer hos den som sendte forespørselen.
Fungerer det i KeplinGo? Ja. Mobilappen bruker den samme sanntidskanalen.
Og i en planlegging, eller i et API som kalles med en API-nøkkel? Ingen med en økt venter, så teksten går ikke til noen skjerm. Kallet fungerer som alltid.
Viser trinnet AI i arbeidsflyter også svaret i sanntid? Nei. En prosess kjører uten at noen venter: trinnet lagrer svaret i en variabel.