Respostas em directo no ecrã
Mostrar no ecrã a resposta de um modelo de IA enquanto ele a escreve, com um passo IA numa API ou com um script, e um widget Markdown.
Uma resposta longa de um modelo pode demorar dezenas de segundos. Com a resposta em directo, o texto aparece no ecrã à medida que o modelo o escreve, como num chat, em vez de aparecer todo no fim.
São precisas duas peças com o mesmo nome:
- Quem pede a resposta: o passo IA de uma API, com o nome em
Resposta em directo, ou um script, com
stream="nome". - Quem a mostra: um widget Markdown com a origem Resposta da IA em directo e o mesmo nome em Nome da resposta.
Antes de começar
- As Notificações em tempo real têm de estar ligadas nas Definições da plataforma. O texto chega ao ecrã pelo mesmo canal das notificações.
- Quem usa o ecrã tem de ter sessão na app. A resposta vai só para a pessoa que fez o pedido: os outros utilizadores não a vêem.
- A app precisa de um modelo de IA de texto (ver Modelos de IA da app).
Mostrar a resposta de uma API
Cria uma API do tipo mutation com um passo IA (ver O construtor de APIs). Escreve o pedido e, em Resposta em directo, o nome
resumo.No ecrã, acrescenta um widget Markdown. Em Origem, escolhe Resposta da IA em directo e, em Nome da resposta, escreve
resumo.Opcional: escreve no conteúdo do widget o texto que aparece antes da primeira resposta, por exemplo
Carrega em Resumir.Acrescenta um botão Resumir e, no evento onClick, chama a API:
await keplin.api.mutate("resumirPedido", { id: keplin.nav.params.id });
Quando a pessoa carrega no botão, o widget mostra o texto à medida que chega, com um cursor a piscar até ao fim. A API devolve a resposta inteira no fim, como sempre.
Mostrar a resposta de um script
Num script, passa o nome em stream=:
from api_manager import ai
def main(input):
r = ai.chat(
"Escreve uma proposta comercial para: " + input["args"]["pedido"],
stream="resumo",
)
return {"texto": r["text"]}
ai.json e ai.run também aceitam stream=. Com ai.run, o texto recomeça
em cada pedido ao modelo, e o ecrã fica com o da resposta final.
O que a pessoa vê
| Momento | O widget mostra |
|---|---|
| Antes do primeiro pedido | O conteúdo escrito no widget. |
| Enquanto o modelo escreve | O texto que já chegou, com um cursor a piscar. |
| No fim | A resposta inteira. |
| Se a chamada falhar | O texto que já tinha chegado e a mensagem do erro. |
| Num pedido novo | O texto recomeça. |
Perguntas frequentes
Duas janelas abertas recebem a mesma resposta? Sim, se forem da mesma pessoa e tiverem um widget com o mesmo nome. A resposta vai para todas as janelas abertas de quem fez o pedido.
Funciona no KeplinGo? Funciona. A app móvel usa o mesmo canal em tempo real.
E num agendamento, ou numa API chamada com uma chave de API? Não há ninguém com sessão à espera, por isso o texto não segue para nenhum ecrã. A chamada funciona como sempre.
O passo IA dos workflows também mostra a resposta em directo? Não. Um processo corre sem ninguém à espera: o passo guarda a resposta numa variável.