DeepSeek作為強(qiáng)大的開源大語言模型，將其部署在AWS云服務(wù)器上，可以為您提供一個私有、可控且高性能的AI推理環(huán)境。恒訊科技將一步步指導(dǎo)您完成從創(chuàng)建服務(wù)器到最終運行模型的全部過程。

第一步：選擇并啟動合適的AWS EC2實例

DeepSeek模型對計算和內(nèi)存有較高要求，因此實例選擇至關(guān)重要。

登錄AWS管理控制臺：進(jìn)入EC2服務(wù)頁面，點擊“啟動實例”。

為實例命名：例如 deepseek-server。

選擇Amazon Machine Image (AMI)：

推薦選擇 Ubuntu Server 22.04 LTS。它擁有良好的兼容性和廣泛的社區(qū)支持，非常適合運行AI應(yīng)用。

選擇實例類型（關(guān)鍵步驟）：

CPU部署（適用于較小模型或測試）：如果只想運行較小的模型（如DeepSeek-Coder 1.3B），可以選擇通用實例如 m6i.xlarge（4vCPU, 16GiB內(nèi)存）或 m6i.2xlarge。

GPU部署（推薦用于高效推理）：要流暢運行更大的模型（如DeepSeek-LLM 67B），必須使用GPU實例。

性價比之選：g5.xlarge（1 x A10G GPU，24GiB顯存）

高性能選擇：p4d.24xlarge（8 x A100 GPU）或 g5.48xlarge（8 x A10G GPU）

提示：對于初次嘗試，g5.xlarge 是一個平衡了成本與性能的絕佳起點。

創(chuàng)建或選擇密鑰對：

這是您安全連接至EC2實例的“鑰匙”。創(chuàng)建一個新密鑰對（如 deepseek-key）并妥善保管下載的 .pem 文件。

配置網(wǎng)絡(luò)設(shè)置：

確?！霸试SSSH流量”和“允許HTTP流量”來自您的IP或任意位置（0.0.0.0/0）。為了后續(xù)通過瀏覽器訪問，我們還需要添加一個自定義規(guī)則：

類型： 自定義TCP

端口范圍： 7860 （這是Gradio庫的默認(rèn)端口）

來源： 0.0.0.0/0 （或您的特定IP地址以增強(qiáng)安全性）

配置存儲：

DeepSeek模型文件很大（數(shù)十GB）。建議將根卷大小調(diào)整為 至少100 GB，卷類型選擇更快的 gp3。

啟動實例：檢查所有配置無誤后，點擊“啟動實例”。等待幾分鐘使其進(jìn)入“運行中”狀態(tài)。

第二步：連接到您的EC2實例

通過SSH連接到您的服務(wù)器。

在Mac/Linux終端或Windows（WSL/Git Bash）中執(zhí)行：

bash

ssh -i /path/to/your/deepseek-key.pem ubuntu@<你的EC2實例公有IP>

將 /path/to/your/deepseek-key.pem 替換為您的密鑰文件實際路徑。

將 <你的EC2實例公有IP> 替換為控制臺中顯示的IPv4地址。

第三步：在服務(wù)器上進(jìn)行環(huán)境配置

連接成功后，在Ubuntu系統(tǒng)上執(zhí)行以下命令。

更新系統(tǒng)包：

bash

sudo apt update && sudo apt upgrade -y

安裝必要的系統(tǒng)工具：

bash

sudo apt install -y python3-pip python3-venv git

安裝NVIDIA GPU驅(qū)動（僅GPU實例需要）：

最簡單的方法：使用AWS提供的預(yù)裝驅(qū)動的AMI。在第一步選擇AMI時，可以篩選并選擇 “NVIDIA GPU-optimized” 版本的Ubuntu AMI。

手動安裝：如果未使用預(yù)裝驅(qū)動的AMI，可以運行：

bash

sudo apt install -y nvidia-driver-535

安裝完成后，重啟實例 sudo reboot。重新連接后，運行 nvidia-smi 命令驗證驅(qū)動和GPU是否被正確識別。

第四步：安裝并配置Python環(huán)境

創(chuàng)建獨立的Python虛擬環(huán)境：

bash

python3 -m venv deepseek-env

source deepseek-env/bin/activate

（您的命令行提示符前會出現(xiàn) (deepseek-env)，表示已激活該環(huán)境。）

安裝PyTorch及其依賴：

訪問 PyTorch官方網(wǎng)站 獲取最適合您CUDA版本的安裝命令。

對于最新的CUDA 12.x，命令通常如下：

bash

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

安裝Transformer和加速庫：

bash

pip install transformers accelerate

安裝Gradio（用于創(chuàng)建Web界面）：

bash

pip install gradio

第五步：下載并運行DeepSeek模型

我們將使用Hugging Face的 transformers 庫來加載模型。

創(chuàng)建一個Python腳本：

bash

nano run_deepseek.py

將以下代碼復(fù)制到文件中：

python

from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline

import gradio as gr

# 指定模型名稱

model_name = "deepseek-ai/DeepSeek-LLM-7B-Chat" # 您可以替換為其他模型，如 "deepseek-ai/DeepSeek-Coder-1.3B"

# 加載tokenizer和模型

print("正在加載tokenizer...")

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)

print("正在加載模型...（這可能需要幾分鐘，請耐心等待）")

model = AutoModelForCausalLM.from_pretrained(

    model_name,

    device_map="auto", # 自動分配到GPU

    trust_remote_code=True

)

# 創(chuàng)建文本生成管道

pipe = pipeline(

    "text-generation",

    model=model,

    tokenizer=tokenizer,

    max_new_tokens=512

)

# 定義處理函數(shù)

def chat_with_deepseek(message, history):

    # 構(gòu)建對話提示

    prompt = f"<|im_start|>user\n{message}<|im_end|>\n<|im_start|>assistant\n"

    # 生成回復(fù)

    outputs = pipe(prompt, do_sample=True, temperature=0.7)

    response = outputs[0]['generated_text'][len(prompt):].strip()

    return response

# 創(chuàng)建Gradio界面

demo = gr.ChatInterface(

    fn=chat_with_deepseek,

    title="DeepSeek Chat on AWS",

    description="與部署在AWS EC2上的DeepSeek模型對話。"

)

# 啟動服務(wù)，監(jiān)聽所有網(wǎng)絡(luò)接口

demo.launch(server_name="0.0.0.0", server_port=7860)

重要提示：

腳本中的 model_name 可以根據(jù)需要更換，例如 "deepseek-ai/DeepSeek-Coder-6.7B" 或 "deepseek-ai/DeepSeek-LLM-67B-Chat"。請確保您的實例資源（尤其是顯存）足以承載所選模型。

device_map="auto" 讓Transformers庫自動管理模型在GPU和CPU上的分布。

保存并退出：按 Ctrl+X，然后按 Y，再按 Enter。

運行腳本：

bash

python run_deepseek.py

首次運行會下載模型，這可能需要很長時間（取決于模型大小和網(wǎng)絡(luò)速度）。模型會被緩存到 ~/.cache/huggingface/hub。

下載完成后，模型會被加載到GPU/CPU，之后您會看到類似 Running on local URL: http://0.0.0.0:7860 的輸出。

第六步：訪問您的DeepSeek聊天界面

在您的本地電腦瀏覽器中，打開以下地址：

text

http://<你的EC2實例公有IP>:7860

您現(xiàn)在應(yīng)該能看到一個清晰的聊天界面，并可以開始與您自己部署的DeepSeek模型對話了！

后續(xù)優(yōu)化與提示

保持連接：如果您關(guān)閉了SSH會話，Python腳本也會停止。可以使用 tmux 或 screen 等工具來保持進(jìn)程在后臺運行。

安全考慮：生產(chǎn)環(huán)境中，您應(yīng)該配置域名、SSL證書（HTTPS）并使用防火墻嚴(yán)格限制訪問IP，而不是向全世界開放 7860 端口。

成本管理：完成測試后，請記得停止或終止您的EC2實例，以避免產(chǎn)生不必要的費用。