Wie wir unser eigenes Chatbot-Modell mit einem günstigen Hetzner-Server gestartet haben

Einführung

Heutzutage ist die Einrichtung eines Spezieller Chatbot Ein eigener Server ist attraktiver denn je, sowohl aus wirtschaftlichen Gründen als auch aufgrund von Sicherheitsbedenken. Große Cloud-Dienste wie AWS oder Google Cloud sind zwar hervorragend, aber ihre Kosten können insbesondere für kleine Projekte oder Testprojekte sehr hoch sein.
Wir haben uns für einen günstigen Server von Hetzner Werfen wir einen Blick auf unsere Erfahrungen bei der Einrichtung eines Chatbots. In diesem Artikel erklären wir detailliert, welche Schritte wir von der Serverauswahl bis zur finalen Implementierung unternommen haben, welche Probleme aufgetreten sind und wie wir diese gelöst haben.

Warum haben wir uns für Hetzner entschieden?

1. Erschwingliche Kosten

Hetzner zählt preislich zu den günstigsten europäischen Anbietern. Beispielsweise kostet ein Server mit 4 CPU-Kernen und 8 GB RAM etwa [Betrag fehlt]. 6 Euro pro Monat Es kostet Geld.

2. Qualität und Nachhaltigkeit

Die deutschen und finnischen Rechenzentren von Hetzner sind sehr stabil und schnell und weisen selbst für den Datenverkehr iranischer Nutzer akzeptable Latenzzeiten auf.

3. Hardwarevielfalt

Von kleinen VPS bis hin zu dedizierten Servern mit leistungsstarken GPUs können Sie je nach Ihren Bedürfnissen und Ihrem Budget wählen.

Schritte zum Einrichten eines Chatbots auf Hetzner

Schritt 1: Wählen Sie ein Betriebssystem

Wir haben Ubuntu 22.04 LTS installiert. Diese Version ist sowohl ressourcenschonend als auch besonders ressourcenschonend und bietet die beste Unterstützung für KI-bezogene Tools.

Schritt 2: Installation der grundlegenden Tools

Nach dem Einloggen auf dem Server müssen Sie Python und die erforderlichen Tools installieren:

sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip git -y
pip install transformers accelerate fastapi uvicorn

from transformers import AutoModelForCausalLM, AutoTokenizer
from fastapi import FastAPI

app = FastAPI()

tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium")
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")

@app.get("/chat")
def chat(msg: str):
inputs = tokenizer.encode(msg + tokenizer.eos_token, return_tensors="pt")
outputs = model.generate(inputs, max_length=1000, pad_token_id=tokenizer.eos_token_id)
reply = tokenizer.decode(outputs[:, inputs.shape[-1]:][0], skip_special_tokens=True)
return {"reply": reply}

uvicorn main:app --host 0.0.0.0 --port 8000

curl "http://your-server-ip:8000/chat?msg=سلام"