Vastaukset reaaliajassa näytöllä
Tekoälymallin vastauksen näyttäminen näytöllä sitä mukaa kuin malli kirjoittaa sitä, API:n tekoälyvaiheella tai skriptillä ja Markdown-widgetillä.
Mallin pitkä vastaus voi kestää kymmeniä sekunteja. Reaaliaikaisella vastauksella teksti ilmestyy näytölle sitä mukaa kuin malli kirjoittaa sitä, kuten chatissa, sen sijaan että se ilmestyisi kokonaan vasta lopussa.
Tarvitset kaksi osaa, joilla on sama nimi:
- Vastausta pyytävä osa: API:n Tekoäly-vaihe, jonka nimi on kohdassa
Vastaus reaaliajassa, tai skripti, jossa on
stream="nimi". - Vastauksen näyttävä osa: Markdown-widget, jonka lähde on Tekoälyn vastaus reaaliajassa ja jonka kohdassa Vastauksen nimi on sama nimi.
Ennen kuin aloitat
- Reaaliaikaiset ilmoitukset on oltava päällä Alustan asetuksissa. Teksti tulee näytölle samaa kanavaa kuin ilmoitukset.
- Näytön käyttäjällä on oltava istunto sovelluksessa. Vastaus menee vain pyynnön tehneelle henkilölle: muut käyttäjät eivät näe sitä.
- Sovellus tarvitsee tekstin tekoälymallin (ks. Sovelluksen tekoälymallit).
API:n vastauksen näyttäminen
Luo mutation-tyyppinen API, jossa on Tekoäly-vaihe (ks. API-rakennin). Kirjoita pyyntö ja kohtaan Vastaus reaaliajassa nimi
resumo.Lisää näytölle Markdown-widget. Valitse kohdassa Lähde Tekoälyn vastaus reaaliajassa ja kirjoita kohtaan Vastauksen nimi
resumo.Valinnainen: kirjoita widgetin sisältöön teksti, joka näkyy ennen ensimmäistä vastausta, esimerkiksi
Napsauta Tiivistä.Lisää painike Tiivistä ja kutsu API:a tapahtumassa onClick:
await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
Kun henkilö napsauttaa painiketta, widget näyttää tekstin sitä mukaa kuin se saapuu, ja vilkkuva kohdistin näkyy loppuun asti. API palauttaa lopussa koko vastauksen, kuten aina.
Skriptin vastauksen näyttäminen
Anna skriptissä nimi parametrissa stream=:
from api_manager import ai
def main(input):
r = ai.chat(
"Escreve uma proposta comercial para: " + input["args"]["pedido"],
stream="resumo",
)
return {"texto": r["text"]}
Myös ai.json ja ai.run hyväksyvät stream=-parametrin. ai.run-kutsussa
teksti alkaa alusta jokaisella mallille tehdyllä pyynnöllä, ja näytölle jää
lopullisen vastauksen teksti.
Mitä henkilö näkee
| Hetki | Widget näyttää |
|---|---|
| Ennen ensimmäistä pyyntöä | Widgettiin kirjoitetun sisällön. |
| Kun malli kirjoittaa | Jo saapuneen tekstin ja vilkkuvan kohdistimen. |
| Lopussa | Koko vastauksen. |
| Jos kutsu epäonnistuu | Jo saapuneen tekstin ja virheilmoituksen. |
| Uudessa pyynnössä | Teksti alkaa alusta. |
Usein kysytyt kysymykset
Saavatko kaksi avointa ikkunaa saman vastauksen? Kyllä, jos ne kuuluvat samalle henkilölle ja niissä on widget, jolla on sama nimi. Vastaus menee kaikkiin pyynnön tehneen henkilön avoimiin ikkunoihin.
Toimiiko tämä KeplinGossa? Toimii. Mobiilisovellus käyttää samaa reaaliaikaista kanavaa.
Entä ajastuksessa, tai API:ssa, jota kutsutaan API-avaimella? Kukaan ei odota istunnolla, joten teksti ei mene millekään näytölle. Kutsu toimii kuten aina.
Näyttääkö työnkulkujen Tekoäly-vaihe myös vastauksen reaaliajassa? Ei. Prosessi suoritetaan ilman, että kukaan odottaa: vaihe tallentaa vastauksen muuttujaan.