最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

.NET實現(xiàn)ChatGPT的Stream傳輸?shù)倪^程

 更新時間:2023年07月27日 08:41:24   作者:tokengo  
這篇文章主要介紹了.NET如何實現(xiàn)ChatGPT的Stream傳輸,本文通過實例代碼給大家介紹的非常詳細,對大家的學習或工作具有一定的參考借鑒價值,需要的朋友可以參考下

ChatGPT是如何實現(xiàn)不適用websocket進行一個一個字返回到前端的?

下面我們會介紹一下EventSource

EventSource

EventSource 接口是 web 內容與服務器發(fā)送事件通信的接口。

一個 EventSource 實例會對 HTTP 服務器開啟一個持久化的連接,以 text/event-stream 格式發(fā)送事件,此連接會一直保持開啟直到通過調用 EventSource.close() 關閉。

EventTarget <= EventSource

一旦連接開啟,來自服務端傳入的消息會以事件的形式分發(fā)至你代碼中。如果接收消息中有一個 event 字段,觸發(fā)的事件與 event 字段的值相同。如果不存在 event 字段,則將觸發(fā)通用的 message 事件。

與 WebSocket 不同的是,服務器發(fā)送事件是單向的。數(shù)據消息只能從服務端到發(fā)送到客戶端(如用戶的瀏覽器)。這使其成為不需要從客戶端往服務器發(fā)送消息的情況下的最佳選擇。例如,對于處理如社交媒體狀態(tài)更新、消息來源(news feed)或將數(shù)據傳遞到客戶端存儲機制(如 IndexedDB 或 web 存儲)之類的,EventSource 無疑是一個有效方案。

使用場景

  • ChatGPT的Stream式對話,可以一個字一個字相應,增加用戶體驗
  • 簡單的大數(shù)據量的數(shù)據進行推送到客戶端
  • 耗時并且持續(xù)化的數(shù)據傳輸

ASP.NET Core 實現(xiàn)

創(chuàng)建WebApi項目

Controllers中新建一個StreamController.cs文件,并且提供一個IAsyncEnumerable<out T>的Demo

  • IAsyncEnumerable<out T>
    • 公開對指定類型的值提供異步迭代的枚舉器。

StreamController.cs

using Microsoft.AspNetCore.Mvc;

namespace WebApplication1.Controllers;

[ApiController]
[Route("[controller]")]
public class StreamController : ControllerBase
{
    [HttpPost]
    public async IAsyncEnumerable&lt;char&gt; Test()
    {
        const string value = "這是一個完整的測試數(shù)據;為了測試IAsyncEnumerable&lt;T&gt;的使用";

        foreach (var v in value)
        {
            await Task.Delay(500);
            yield return v;
        }

        await Task.CompletedTask;
    }
}

上面案例的接口使用了IAsyncEnumerable<char>,作為返回值,將value字符串一個一個字符返回到前端。

每次返回等待500,這是服務端的實現(xiàn),下面寫客戶端的實現(xiàn),客戶端也是用.NET

使用js實現(xiàn)調用

首先啟動api服務,然后在打開的swagger的瀏覽器界面中打開開發(fā)者工具使用F12打開開發(fā)者工具

在控制臺中添加fetchAsStream方法用于調用IAsyncEnumerable<char>的接口服務,代碼如下

async function fetchAsStream(url,data) {
    const response = await fetch(url, {
      method: "POST",
      headers: {
        "Content-Type": "application/json"
      },
      body: JSON.stringify(data),
    });
    if (!response.ok) {
      const reader = response.body?.getReader();
      const { done, value } = await reader.read();
      throw new Error(
        `Failed to fetch `
      );
    }
    if (!response.body) {
      throw new Error("ReadableStream not supported in this browser.");
    }

    const reader = response.body.getReader();
    return {
      [Symbol.asyncIterator]() {
        return {
          async next() {
            const { done, value } = await reader.read();
            if (done) {
              return { done: true, value: null };
            }
            return {
              done: false,
              value: new TextDecoder("utf-8").decode(value),
            };
          },
        };
      },
    };

  }

輸入完成按回車鍵會顯示一個undefined

然后下一步就調用這個方法,當執(zhí)行下面這個代碼會發(fā)現(xiàn)控制臺會一個一個字顯示內容。

var stream =  await fetchAsStream("http://localhost:5255/stream");

for await(var c of stream){
    console.log(c);
}

看效果控制臺的字在一個一個輸出,請注意不要使用axios,默認是不支持的。

到此這篇關于.NET 如何實現(xiàn)ChatGPT的Stream傳輸?shù)奈恼戮徒榻B到這了,更多相關.NET  Stream傳輸內容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家!

相關文章

最新評論

建昌县| 华坪县| 巴南区| 辛集市| 绥阳县| 汉阴县| 云霄县| 阿城市| 苍南县| 福建省| 新竹县| 韶山市| 石景山区| 寿宁县| 富宁县| 钦州市| 乌审旗| 浪卡子县| 黄浦区| 抚远县| 洛浦县| 肃南| 青田县| 皋兰县| 咸丰县| 黄龙县| 泰州市| 安泽县| 天峨县| 兴和县| 富川| 五原县| 定边县| 焦作市| 石景山区| 彭州市| 赤城县| 麻城市| 长乐市| 来宾市| 武乡县|