python -m fastchat.serve.controller

发布时间：2025-06-24 19:48:21  作者：北方职教升学中心  阅读量：644

python -m fastchat.serve.controller。
3. 安装 transformers。

2. 安装 fschat。

7. 启动 mistralai/Mistral-Nemo-Instruct-2407。

python -m fastchat.serve.model_worker --num-gpus 2 --model-names "mistral-7b,gpt-3.5-turbo,gpt-3.5-turbo-16k,gpt-4,text-davinci-003" --model-path mistralai/Mistral-Nemo-Instruct-2407 --controller http://localhost:21001 --port 31000 --worker-address http://localhost:31000 --max-gpu-memory 16Gib。
1. 创造虚拟环境。

3. 安装 transformers。

python -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000。

9. 访问 mistralai/Mistral-Nemo-Instruct-2407。

9. 访问 mistralai/Mistral-Nemo-Instruct-2407。

8. 启动 api。

6. 启动 controller。

pip install torch==2.3.1 torchvision==0.18.1 torchaudio==2.3.1 --index-url https://download.pytorch.org/whl/cu121。
本地部署 mistralai/Mistral-Nemo-Instruct-2407。
5. 安装 pytorch。
conda create -n fastchat python=3.10 -yconda activate fastchat。
5. 安装 pytorch。
6. 启动 controller。
1. 创建虚拟环境。
pip install packagingpip uninstall -y ninja && pip install ninjapip install flash-attn --no-build-isolation。
# Until a new release has been made, you need to install transformers from sourcepip install git+https://github.com/huggingface/transformers.git。
git clone https://github.com/lm-sys/FastChat.git; cd FastChatpip install --upgrade pip  # enable PEP 660 supportpip install -e .。
4. 安装 flash-attn。
7. 启动 mistralai/Mistral-Nemo-Instruct-2407。
4. 安装 flash-attn。
2. 安装 fschat。
8. 启动 api。
使用 chatbox 配置访问信息，

问问题，
完成！
8. 启动 api。