Как мы запустили собственную модель чат-бота с дешевым сервером Hetzner

Введение

این روزها راه‌اندازی یک Chatbot اختصاصی روی سرور شخصی، هم به دلایل اقتصادی و هم به‌خاطر مسائل امنیتی، جذاب‌تر از همیشه است. سرویس‌های ابری بزرگ مثل AWS یا Google Cloud عالی هستند، اما هزینه‌شان به‌خصوص برای پروژه‌های کوچک یا تستی، می‌تواند بسیار بالا باشد.
ما تصمیم گرفتیم روی یک سرور ارزان از Хетцнер تجربه راه‌اندازی یک Chatbot را انجام دهیم. در این مقاله، به‌صورت کامل توضیح می‌دهیم که از انتخاب سرور تا اجرای نهایی چه مراحلی طی شد، چه مشکلاتی سر راهمان قرار گرفت و چطور حلشان کردیم.

چرا Hetzner را انتخاب کردیم؟

۱. هزینه مقرون‌به‌صرفه

Hetzner از نظر قیمت یکی از ارزان‌ترین ارائه‌دهندگان اروپایی است. برای مثال، یک سرور با ۴ هسته CPU و ۸ گیگ RAM در حدود ۶ یورو در ماه هزینه دارد.

۲. کیفیت و پایداری

دیتاسنترهای آلمان و فنلاند Hetzner بسیار پایدار و سریع هستند و حتی برای ترافیک کاربران ایرانی هم تاخیر قابل قبولی دارند.

۳. تنوع سخت‌افزاری

از VPS کوچک گرفته تا سرورهای اختصاصی با GPU قوی موجود است. همین باعث می‌شود متناسب با نیاز و بودجه انتخاب کنید.

مراحل راه‌اندازی Chatbot روی Hetzner

گام اول: انتخاب سیستم‌عامل

ما Ubuntu 22.04 LTS را نصب کردیم. این نسخه هم سبک است و هم بیشترین پشتیبانی را برای ابزارهای مرتبط با هوش مصنوعی دارد.

گام دوم: نصب ابزارهای پایه

بعد از ورود به سرور، باید Python و ابزارهای موردنیاز را نصب کنید:

sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip git -y
pip install transformers accelerate fastapi uvicorn

from transformers import AutoModelForCausalLM, AutoTokenizer
from fastapi import FastAPI

app = FastAPI()

tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium")
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")

@app.get("/chat")
def chat(msg: str):
inputs = tokenizer.encode(msg + tokenizer.eos_token, return_tensors="pt")
outputs = model.generate(inputs, max_length=1000, pad_token_id=tokenizer.eos_token_id)
reply = tokenizer.decode(outputs[:, inputs.shape[-1]:][0], skip_special_tokens=True)
return {"reply": reply}

uvicorn main:app --host 0.0.0.0 --port 8000

curl "http://your-server-ip:8000/chat?msg=سلام"