KEPLIN Docs

Respostas em directo no ecrã

Mostrar no ecrã a resposta de um modelo de IA enquanto ele a escreve, com um passo IA numa API ou com um script, e um widget Markdown.

Uma resposta longa de um modelo pode demorar dezenas de segundos. Com a resposta em directo, o texto aparece no ecrã à medida que o modelo o escreve, como num chat, em vez de aparecer todo no fim.

São precisas duas peças com o mesmo nome:

  • Quem pede a resposta: o passo IA de uma API, com o nome em Resposta em directo, ou um script, com stream="nome".
  • Quem a mostra: um widget Markdown com a origem Resposta da IA em directo e o mesmo nome em Nome da resposta.

Antes de começar

  • As Notificações em tempo real têm de estar ligadas nas Definições da plataforma. O texto chega ao ecrã pelo mesmo canal das notificações.
  • Quem usa o ecrã tem de ter sessão na app. A resposta vai só para a pessoa que fez o pedido: os outros utilizadores não a vêem.
  • A app precisa de um modelo de IA de texto (ver Modelos de IA da app).

Mostrar a resposta de uma API

  1. Cria uma API do tipo mutation com um passo IA (ver O construtor de APIs). Escreve o pedido e, em Resposta em directo, o nome resumo.

  2. No ecrã, acrescenta um widget Markdown. Em Origem, escolhe Resposta da IA em directo e, em Nome da resposta, escreve resumo.

  3. Opcional: escreve no conteúdo do widget o texto que aparece antes da primeira resposta, por exemplo Carrega em Resumir.

  4. Acrescenta um botão Resumir e, no evento onClick, chama a API:

    await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
    

Quando a pessoa carrega no botão, o widget mostra o texto à medida que chega, com um cursor a piscar até ao fim. A API devolve a resposta inteira no fim, como sempre.

Mostrar a resposta de um script

Num script, passa o nome em stream=:

from api_manager import ai


def main(input):
    r = ai.chat(
        "Escreve uma proposta comercial para: " + input["args"]["pedido"],
        stream="resumo",
    )
    return {"texto": r["text"]}

ai.json e ai.run também aceitam stream=. Com ai.run, o texto recomeça em cada pedido ao modelo, e o ecrã fica com o da resposta final.

O que a pessoa vê

Momento O widget mostra
Antes do primeiro pedido O conteúdo escrito no widget.
Enquanto o modelo escreve O texto que já chegou, com um cursor a piscar.
No fim A resposta inteira.
Se a chamada falhar O texto que já tinha chegado e a mensagem do erro.
Num pedido novo O texto recomeça.

Perguntas frequentes

Duas janelas abertas recebem a mesma resposta? Sim, se forem da mesma pessoa e tiverem um widget com o mesmo nome. A resposta vai para todas as janelas abertas de quem fez o pedido.

Funciona no KeplinGo? Funciona. A app móvel usa o mesmo canal em tempo real.

E num agendamento, ou numa API chamada com uma chave de API? Não há ninguém com sessão à espera, por isso o texto não segue para nenhum ecrã. A chamada funciona como sempre.

O passo IA dos workflows também mostra a resposta em directo? Não. Um processo corre sem ninguém à espera: o passo guarda a resposta numa variável.