KEPLIN Docs

Risposte in diretta sullo schermo

Mostrare sullo schermo la risposta di un modello di IA mentre la scrive, con un passaggio IA in un'API o con uno script, e un widget Markdown.

Una risposta lunga di un modello può richiedere decine di secondi. Con la risposta in diretta, il testo appare sullo schermo man mano che il modello lo scrive, come in una chat, invece di apparire tutto alla fine.

Servono due elementi con lo stesso nome:

  • Chi chiede la risposta: il passaggio IA di un'API, con il nome in Risposta in diretta, o uno script, con stream="nome".
  • Chi la mostra: un widget Markdown con l'origine Risposta dell'IA in diretta e lo stesso nome in Nome della risposta.

Prima di iniziare

  • Le Notifiche in tempo reale devono essere attive nelle Impostazioni della piattaforma. Il testo arriva sullo schermo per lo stesso canale delle notifiche.
  • Chi usa lo schermo deve avere una sessione nell'app. La risposta va solo alla persona che ha fatto la richiesta: gli altri utenti non la vedono.
  • L'app ha bisogno di un modello di IA di testo (vedi Modelli di IA dell'app).

Mostrare la risposta di un'API

  1. Crea un'API del tipo mutation con un passaggio IA (vedi Il costruttore di API). Scrivi la richiesta e, in Risposta in diretta, il nome resumo.

  2. Sullo schermo, aggiungi un widget Markdown. In Origine, scegli Risposta dell'IA in diretta e, in Nome della risposta, scrivi resumo.

  3. Facoltativo: scrivi nel contenuto del widget il testo che appare prima della prima risposta, per esempio Premi Riassumi.

  4. Aggiungi un pulsante Riassumi e, nell'evento onClick, chiama l'API:

    await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
    

Quando la persona preme il pulsante, il widget mostra il testo man mano che arriva, con un cursore lampeggiante fino alla fine. L'API restituisce la risposta intera alla fine, come sempre.

Mostrare la risposta di uno script

In uno script, passa il nome in stream=:

from api_manager import ai


def main(input):
    r = ai.chat(
        "Escreve uma proposta comercial para: " + input["args"]["pedido"],
        stream="resumo",
    )
    return {"texto": r["text"]}

Anche ai.json e ai.run accettano stream=. Con ai.run, il testo ricomincia a ogni richiesta al modello, e lo schermo resta con quello della risposta finale.

Cosa vede la persona

Momento Il widget mostra
Prima della prima richiesta Il contenuto scritto nel widget.
Mentre il modello scrive Il testo già arrivato, con un cursore lampeggiante.
Alla fine La risposta intera.
Se la chiamata fallisce Il testo già arrivato e il messaggio dell'errore.
A una nuova richiesta Il testo ricomincia.

Domande frequenti

Due finestre aperte ricevono la stessa risposta? Sì, se sono della stessa persona e hanno un widget con lo stesso nome. La risposta va a tutte le finestre aperte di chi ha fatto la richiesta.

Funziona in KeplinGo? Sì. L'app mobile usa lo stesso canale in tempo reale.

E in una pianificazione, o in un'API chiamata con una chiave API? Non c'è nessuno con una sessione in attesa, per questo il testo non va a nessuno schermo. La chiamata funziona come sempre.

Il passaggio IA dei workflow mostra anche la risposta in diretta? No. Un processo gira senza nessuno in attesa: il passaggio salva la risposta in una variabile.