3,选择[原始端口]

发布时间:2025-06-24 20:17:53  作者:北方职教升学中心  阅读量:870


7,打开浏览器󿀌输入本地访问地址󿀌就能看到 llama 的web ui 界面,

2,下载后,需要解压文件,解压后可以看到llamafile.exe文件,不需要单击此文件。

.\llamafile-0.6.2.exe -m .\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --host 0.0.0.0。

5,创建后,你可以看到映射公网地址,右键单击鼠标[复制地址]。

6,执行输入以下命令运行llamafile。

4,在内网端口填写默认端口 8080 点击[创建]按钮,如下图。

3,选择[原始端口]。

1,下载安装完成后༌打开路由侠界面󿀌点击【内网映射】。

5,llamafile目录,点击左上角的文件,直接打开powershell命令窗口。

4,下载后,下载的大语言模型和我们上面下载的llamafile.把exe文件放在一起。

 。这意味着启动成功。实现外网访问本地llamafile 。

第一步,下载 llamafile。

第二步,如何在外网访问本地局域网的llamafile?

路由侠࿰安装在内网电脑上c;点此下载。

2,点击[添加映射]。

本文将详细介绍如何在这篇文章中 Windows 下载运行llamafilele ,并结合路由侠内网穿透,

llamafile AI大模型部署(或者说运行)方案,它的特点是可以将模型和操作环境打包成独立的可执行文件,这简化了部署过程。

 。

1,先下载llamafile#xff0c;下载包:https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master&FilePath=llamafile-0.6.2.win.zip。

6,将复制的外网地址输入到外网浏览器的地址栏中,

.\llamafile-0.6.2.exe 表示运行llamafile;

.\Qwen-7B-Chat-q4_0.llamafile表示运行自己下载的大语言模型;

-ngl 999 表示调用GPU显卡运行;

8080 是web 界面访问端口󿀌可自行修改;

后面-host 默认即可。即可访问llamafile。

3,进入此链接:魔法社区󿀌下载相应的大语言模型,以下载的第一个模型为例。用户只需下载并执行文件,不需要安装运行环境或依赖库,这大大提高了使用大型语言模型的便利性。