Ucuz bir Hetzner sunucusuyla kendi Chatbot modelimizi nasıl başlattık

giriiş

Günümüzde bir şirket kurmak Özel Sohbet Robotu Özel bir sunucuda çalışmak, hem ekonomik nedenlerle hem de güvenlik endişeleriyle her zamankinden daha cazip. AWS veya Google Cloud gibi büyük bulut hizmetleri harika, ancak maliyetleri, özellikle küçük veya test projeleri için çok yüksek olabiliyor.
Ucuz bir sunucuya karar verdik Hetzner Bir Chatbot kurma deneyimine bir göz atalım. Bu yazıda, sunucu seçiminden son uygulamaya kadar hangi adımları attığımızı, hangi sorunlarla karşılaştığımızı ve bunları nasıl çözdüğümüzü ayrıntılı olarak açıklayacağız.

Neden Hetzner’ı seçtik?

1. Uygun maliyet

Hetzner, fiyat açısından en uygun fiyatlı Avrupa sağlayıcılarından biridir. Örneğin, 4 çekirdekli CPU ve 8 GB RAM'e sahip bir sunucunun maliyeti yaklaşık olarak şu kadardır: Aylık 6 avro Parası var.

2. Kalite ve sürdürülebilirlik

Hetzner'in Almanya ve Finlandiya'daki veri merkezleri oldukça kararlı ve hızlı olup, İranlı kullanıcı trafiği için bile kabul edilebilir gecikme sürelerine sahiptir.

3. Donanım çeşitliliği

Küçük VPS'lerden güçlü GPU'lara sahip özel sunuculara kadar ihtiyaçlarınıza ve bütçenize göre seçim yapabilirsiniz.

Hetzner'da Chatbot kurma adımları

Adım 1: Bir işletim sistemi seçin

Ubuntu 22.04 LTS'yi kurduk. Bu sürüm hem hafif hem de yapay zeka ile ilgili araçlara en fazla desteği sağlayan sürüm.

Adım 2: Temel araçları yükleyin

Sunucuya giriş yaptıktan sonra Python'u ve gerekli araçları kurmanız gerekiyor:

sudo apt update && sudo apt upgrade -y
sudo apt install python3-pip git -y
pip install transformers accelerate fastapi uvicorn

from transformers import AutoModelForCausalLM, AutoTokenizer
from fastapi import FastAPI

app = FastAPI()

tokenizer = AutoTokenizer.from_pretrained("microsoft/DialoGPT-medium")
model = AutoModelForCausalLM.from_pretrained("microsoft/DialoGPT-medium")

@app.get("/chat")
def chat(msg: str):
inputs = tokenizer.encode(msg + tokenizer.eos_token, return_tensors="pt")
outputs = model.generate(inputs, max_length=1000, pad_token_id=tokenizer.eos_token_id)
reply = tokenizer.decode(outputs[:, inputs.shape[-1]:][0], skip_special_tokens=True)
return {"reply": reply}

uvicorn main:app --host 0.0.0.0 --port 8000

curl "http://your-server-ip:8000/chat?msg=سلام"