Svar i realtid på skärmen
Visa svaret från en AI-modell på skärmen medan modellen skriver det, med ett AI-steg i ett API eller med ett skript, och en Markdown-widget.
Ett långt svar från en modell kan ta tiotals sekunder. Med svar i realtid visas texten på skärmen medan modellen skriver den, som i en chatt, i stället för att allt visas i slutet.
Det behövs två delar med samma namn:
- Det som ber om svaret: steget AI i ett API, med namnet under
Svar i realtid, eller ett skript, med
stream="namn". - Det som visar det: en Markdown-widget med källan AI-svar i realtid och samma namn under Svarets namn.
Innan du börjar
- Aviseringar i realtid måste vara påslaget i Plattformens inställningar. Texten når skärmen via samma kanal som aviseringarna.
- Den som använder skärmen måste ha en session i appen. Svaret går bara till personen som gjorde förfrågan: andra användare ser det inte.
- Appen behöver en AI-modell för text (se Appens AI-modeller).
Visa svaret från ett API
Skapa ett API av typen mutation med ett steg AI (se API-byggaren). Skriv förfrågan och, under Svar i realtid, namnet
resumo.Lägg till en Markdown-widget på skärmen. Välj AI-svar i realtid under Källa och skriv
resumounder Svarets namn.Valfritt: skriv i widgetens innehåll texten som visas före det första svaret, till exempel
Klicka på Sammanfatta.Lägg till en knapp Sammanfatta och anropa API:t i händelsen onClick:
await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
När personen klickar på knappen visar widgeten texten medan den kommer, med en blinkande markör fram till slutet. API:t returnerar hela svaret i slutet, som vanligt.
Visa svaret från ett skript
I ett skript skickar du namnet i stream=:
from api_manager import ai
def main(input):
r = ai.chat(
"Escreve uma proposta comercial para: " + input["args"]["pedido"],
stream="resumo",
)
return {"texto": r["text"]}
Även ai.json och ai.run accepterar stream=. Med ai.run börjar texten
om vid varje förfrågan till modellen, och skärmen behåller texten i det
slutliga svaret.
Vad personen ser
| Tillfälle | Widgeten visar |
|---|---|
| Före den första förfrågan | Innehållet som står i widgeten. |
| Medan modellen skriver | Texten som redan har kommit, med en blinkande markör. |
| I slutet | Hela svaret. |
| Om anropet misslyckas | Texten som redan hade kommit och felmeddelandet. |
| Vid en ny förfrågan | Texten börjar om. |
Vanliga frågor
Får två öppna fönster samma svar? Ja, om de tillhör samma person och har en widget med samma namn. Svaret går till alla öppna fönster hos den som gjorde förfrågan.
Fungerar det i KeplinGo? Ja. Mobilappen använder samma realtidskanal.
Och i ett schema, eller i ett API som anropas med en API-nyckel? Ingen med en session väntar, så texten går inte till någon skärm. Anropet fungerar som vanligt.
Visar steget AI i arbetsflöden också svaret i realtid? Nej. En process körs utan att någon väntar: steget sparar svaret i en variabel.