3,选择[原始端口]
发布时间:2025-06-24 20:17:53 作者:北方职教升学中心 阅读量:870
7,打开浏览器输入本地访问地址就能看到 llama 的web ui 界面,
2,下载后,需要解压文件,解压后可以看到llamafile.exe文件,不需要单击此文件。
.\llamafile-0.6.2.exe -m .\Qwen-7B-Chat-q4_0.llamafile -ngl 9999 --port 8080 --host 0.0.0.0。
5,创建后,你可以看到映射公网地址,右键单击鼠标[复制地址]。
6,执行输入以下命令运行llamafile。
4,在内网端口填写默认端口 8080 点击[创建]按钮,如下图。
3,选择[原始端口]。
1,下载安装完成后༌打开路由侠界面点击【内网映射】。
5,llamafile目录,点击左上角的文件,直接打开powershell命令窗口。
4,下载后,下载的大语言模型和我们上面下载的llamafile.把exe文件放在一起。
。这意味着启动成功。实现外网访问本地llamafile 。
第一步,下载 llamafile。
第二步,如何在外网访问本地局域网的llamafile?
路由侠安装在内网电脑上c;点此下载。
2,点击[添加映射]。
本文将详细介绍如何在这篇文章中 Windows 下载运行llamafilele ,并结合路由侠内网穿透,
llamafile AI大模型部署(或者说运行)方案,它的特点是可以将模型和操作环境打包成独立的可执行文件,这简化了部署过程。
。
1,先下载llamafile#xff0c;下载包:https://www.modelscope.cn/api/v1/models/bingal/llamafile-models/repo?Revision=master&FilePath=llamafile-0.6.2.win.zip。
6,将复制的外网地址输入到外网浏览器的地址栏中,
.\llamafile-0.6.2.exe 表示运行llamafile;
.\Qwen-7B-Chat-q4_0.llamafile表示运行自己下载的大语言模型;
-ngl 999 表示调用GPU显卡运行;
8080 是web 界面访问端口可自行修改;
后面-host 默认即可。即可访问llamafile。
3,进入此链接:魔法社区下载相应的大语言模型,以下载的第一个模型为例。用户只需下载并执行文件,不需要安装运行环境或依赖库,这大大提高了使用大型语言模型的便利性。