Как мы запустили собственную модель чат-бота с дешевым сервером Hetzner

Введение

В эти дни, запуск Специализированный чат-бот Использование частного сервера сейчас как никогда привлекательно, как по экономическим причинам, так и по соображениям безопасности. Крупные облачные сервисы, такие как AWS или Google Cloud, хороши, но их стоимость может быть непомерно высокой, особенно для небольших или тестовых проектов.
Мы остановили свой выбор на дешевом сервере от Хетцнер Давайте рассмотрим опыт создания чат-бота. В этой статье мы подробно расскажем, какие этапы мы прошли от выбора сервера до финальной реализации, с какими проблемами столкнулись и как их решили.

Почему мы выбрали Hetzner?

1. Доступная стоимость

Hetzner — один из самых доступных европейских провайдеров. Например, сервер с 4 ядрами процессора и 8 ГБ оперативной памяти стоит около 6 евро в месяц Это стоит денег.

2. Качество и устойчивость

Немецкие и финские центры обработки данных Hetzner очень стабильны и быстры, а также имеют приемлемую задержку даже для трафика иранских пользователей.

3. Разнообразие оборудования

От небольших VPS до выделенных серверов с мощными графическими процессорами — вы можете сделать выбор в соответствии со своими потребностями и бюджетом.

Шаги по настройке чат-бота в Hetzner

Шаг 1: Выберите операционную систему

Мы установили Ubuntu 22.04 LTS. Эта версия отличается лёгкостью и максимальной поддержкой инструментов, связанных с ИИ.

Шаг 2: Установка основных инструментов

После входа на сервер вам необходимо установить Python и необходимые инструменты:

sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip git -y
pip install transformers accelerate fastapi uvicorn

from transformers import AutoModelForCausalLM, AutoTokenizer
from fastapi import FastAPI

app = FastAPI()

tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium")
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")

@app.get("/chat")
def chat(msg: str):
inputs = tokenizer.encode(msg + tokenizer.eos_token, return_tensors="pt")
outputs = model.generate(inputs, max_length=1000, pad_token_id=tokenizer.eos_token_id)
reply = tokenizer.decode(outputs[:, inputs.shape[-1]:][0], skip_special_tokens=True)
return {"reply": reply}

uvicorn main:app --host 0.0.0.0 --port 8000

curl "http://your-server-ip:8000/chat?msg=سلام"