KEPLIN Docs

Vastaukset reaaliajassa näytöllä

Tekoälymallin vastauksen näyttäminen näytöllä sitä mukaa kuin malli kirjoittaa sitä, API:n tekoälyvaiheella tai skriptillä ja Markdown-widgetillä.

Mallin pitkä vastaus voi kestää kymmeniä sekunteja. Reaaliaikaisella vastauksella teksti ilmestyy näytölle sitä mukaa kuin malli kirjoittaa sitä, kuten chatissa, sen sijaan että se ilmestyisi kokonaan vasta lopussa.

Tarvitset kaksi osaa, joilla on sama nimi:

  • Vastausta pyytävä osa: API:n Tekoäly-vaihe, jonka nimi on kohdassa Vastaus reaaliajassa, tai skripti, jossa on stream="nimi".
  • Vastauksen näyttävä osa: Markdown-widget, jonka lähde on Tekoälyn vastaus reaaliajassa ja jonka kohdassa Vastauksen nimi on sama nimi.

Ennen kuin aloitat

  • Reaaliaikaiset ilmoitukset on oltava päällä Alustan asetuksissa. Teksti tulee näytölle samaa kanavaa kuin ilmoitukset.
  • Näytön käyttäjällä on oltava istunto sovelluksessa. Vastaus menee vain pyynnön tehneelle henkilölle: muut käyttäjät eivät näe sitä.
  • Sovellus tarvitsee tekstin tekoälymallin (ks. Sovelluksen tekoälymallit).

API:n vastauksen näyttäminen

  1. Luo mutation-tyyppinen API, jossa on Tekoäly-vaihe (ks. API-rakennin). Kirjoita pyyntö ja kohtaan Vastaus reaaliajassa nimi resumo.

  2. Lisää näytölle Markdown-widget. Valitse kohdassa Lähde Tekoälyn vastaus reaaliajassa ja kirjoita kohtaan Vastauksen nimi resumo.

  3. Valinnainen: kirjoita widgetin sisältöön teksti, joka näkyy ennen ensimmäistä vastausta, esimerkiksi Napsauta Tiivistä.

  4. Lisää painike Tiivistä ja kutsu API:a tapahtumassa onClick:

    await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
    

Kun henkilö napsauttaa painiketta, widget näyttää tekstin sitä mukaa kuin se saapuu, ja vilkkuva kohdistin näkyy loppuun asti. API palauttaa lopussa koko vastauksen, kuten aina.

Skriptin vastauksen näyttäminen

Anna skriptissä nimi parametrissa stream=:

from api_manager import ai


def main(input):
    r = ai.chat(
        "Escreve uma proposta comercial para: " + input["args"]["pedido"],
        stream="resumo",
    )
    return {"texto": r["text"]}

Myös ai.json ja ai.run hyväksyvät stream=-parametrin. ai.run-kutsussa teksti alkaa alusta jokaisella mallille tehdyllä pyynnöllä, ja näytölle jää lopullisen vastauksen teksti.

Mitä henkilö näkee

Hetki Widget näyttää
Ennen ensimmäistä pyyntöä Widgettiin kirjoitetun sisällön.
Kun malli kirjoittaa Jo saapuneen tekstin ja vilkkuvan kohdistimen.
Lopussa Koko vastauksen.
Jos kutsu epäonnistuu Jo saapuneen tekstin ja virheilmoituksen.
Uudessa pyynnössä Teksti alkaa alusta.

Usein kysytyt kysymykset

Saavatko kaksi avointa ikkunaa saman vastauksen? Kyllä, jos ne kuuluvat samalle henkilölle ja niissä on widget, jolla on sama nimi. Vastaus menee kaikkiin pyynnön tehneen henkilön avoimiin ikkunoihin.

Toimiiko tämä KeplinGossa? Toimii. Mobiilisovellus käyttää samaa reaaliaikaista kanavaa.

Entä ajastuksessa, tai API:ssa, jota kutsutaan API-avaimella? Kukaan ei odota istunnolla, joten teksti ei mene millekään näytölle. Kutsu toimii kuten aina.

Näyttääkö työnkulkujen Tekoäly-vaihe myös vastauksen reaaliajassa? Ei. Prosessi suoritetaan ilman, että kukaan odottaa: vaihe tallentaa vastauksen muuttujaan.