AWS Amplify ile yapay zeka özelliklerine sahip sunucusuz bir web uygulaması oluşturmak

Genel mimari

Bu kılavuz, bir web uygulaması oluşturmak için önerilen bir mimari sunmaktadır. Sunucusuz Bu, *Üretken Yapay Zeka* yeteneklerinden yararlanır. Amaç, ölçeklenebilir, güvenli ve bakımı kolay bir çözüm oluşturmak için ön uç ve CI/CD için AWS Amplify'ı, arka uç için ise AWS sunucusuz hizmetlerini birleştirmektir.

• Başlangıç aşaması: React veya Next.js'in barındırıldığı platform AWS Amplify Hosting + CDN (CloudFront).
• Kimlik doğrulama: Amazon Cognito (Kayıt Ol/Giriş Yap + federasyon).
• API: İstekleri Lambda'ya yönlendiren API Gateway (REST/HTTP) veya AppSync (GraphQL).
• Üretken mantık: Üretken modele istek gönderen Lambda (Node/Python) fonksiyonu; model, Yönetilen (OpenAI/Hugging Face/Bedrock) veya Triton/TorchServe ile bir GPU sunucusunda kendi kendine barındırılan bir model olabilir.
• Depolamak: Dosyalar için S3, meta veriler/oturumlar için DynamoDB veya RDS.
• Güvenlik ve Ağ: WAF, Shield Advanced, IAM en az ayrıcalıklı, Secrets Manager.
• CDN ve önbellekleme: CloudFront + Lambda@Edge veya önbelleğe alınmış başlıklar, gecikmeyi azaltmak ve maliyeti düşürmek için kullanılabilir.

Uygulama oluşturmak için pratik adımlar (adım adım)

1. Geliştirme ortamının hazırlanması

Öncelikle ihtiyacınız olan temel araçları kurun: Node.js, npm ve AWS Amplify CLI. Ardından proje deposunu klonlayın ve bağımlılıkları yükleyin.

curl -sL https://deb.nodesource.com/setup_18.x | sudo -E bash -
sudo apt-get install -y nodejs
npm install -g @aws-amplify/cli
git clone <repo>
cd <repo>
npm install

AWS CLI ve Amplify'ı yapılandırın ve Amplify projesini başlatın:

aws configure
amplify configure
amplify init

2. Cognito ile kimlik doğrulama ekleyin.

Amplify ile hızlıca kimlik doğrulama ekleyebilirsiniz. Seçenekler arasında varsayılan ayarlar veya manuel özelleştirme bulunur. Gerekirse Google/Facebook ile federasyon kullanın ve parola kurallarını, çok faktörlü kimlik doğrulamayı (MFA) ve e-posta doğrulamasını etkinleştirin.

amplify add auth
# choose default or manual configuration
amplify push

3. Sunucusuz bir API oluşturun (REST veya GraphQL)

Amplify ile API ekleyin; Lambda ile REST veya AppSync + DynamoDB ile GraphQL'i seçebilirsiniz.

amplify add api
# choose REST and Lambda function template
amplify push

Veya GraphQL için:

amplify add api
# choose GraphQL + DynamoDB
amplify push

4. Üretken Yapay Zeka modeliyle etkileşim kuran bir Lambda fonksiyonu yazmak

Lambda, ön uç ile üretken model arasında bir arayüz görevi görür. OpenAI gibi harici bir hizmet kullanıyorsanız, API anahtarını güvenli bir şekilde saklayın ve isteği Lambda üzerinden gönderin.

const fetch = require('node-fetch');
exports.handler = async (event) => {
  const prompt = JSON.parse(event.body).prompt;
  const apiKey = process.env.OPENAI_API_KEY;
  const res = await fetch('https://api.openai.com/v1/chat/completions', {
    method: 'POST',
    headers: { 'Authorization': `Bearer ${apiKey}`, 'Content-Type': 'application/json' },
    body: JSON.stringify({
      model: 'gpt-4o-mini',
      messages: [{ role: 'user', content: prompt }]
    })
  });
  const data = await res.json();
  return { statusCode: 200, body: JSON.stringify(data) };
};

Modeli GPU sunucunuzda barındırırsanız, Lambda veya arka uç servis isteği ilgili uç noktaya gönderecektir:

const res = await fetch('https://gpu.example.com/inference', {
  method: 'POST',
  headers: { 'Authorization': `Bearer ${process.env.MODEL_TOKEN}`, 'Content-Type': 'application/json' },
  body: JSON.stringify({ inputs: prompt })
});

5. Akış/Gerçek Zamanlı uygulama (isteğe bağlı)

Uzun yanıtlar veya akış belirteçleri için WebSocket veya Sunucu Tarafından Gönderilen Olayları kullanın. AWS'de API Gateway WebSocket veya AppSync Aboneliklerini kullanabilirsiniz.

6. Amplify Hosting ve CI/CD ile Ön Uç Barındırma

Amplify Hosting, Git deposundan CI/CD başlatmanıza olanak tanır; belirli bir dala yapılan her push işlemi otomatik bir derleme ve dağıtımı tetikler.

amplify hosting add
amplify publish

Güvenlik, anahtar yönetimi ve kimlik ve erişim yönetimi politikaları

Sırların yönetimi

İtibaren AWS Secrets Manager API anahtarlarını ve gizli bilgileri saklamak için kullanılır. Lambda için IAM rolü, belirtilen gizli bilgiye yalnızca okuma erişimi içermelidir.

Örnek IAM politikaları

Lambda'nın belirli bir gizli bilgiyi okumasına olanak tanıyan minimal bir politika örneği:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": "secretsmanager:GetSecretValue",
      "Resource": "arn:aws:secretsmanager:region:acct-id:secret:myOpenAIKey"
    }
  ]
}

Saldırılara karşı koruma ve içerik güvenliği

Uygulamayı korumak için:

• Aktivasyon AWS WAF Kötü amaçlı istekleri engellemek için.
• Kullanımı AWS Kalkanı (Varsayılan olarak standarttır, Shield Advanced'den daha fazla koruma sağlar).
• API düzeyinde, API Gateway'deki hız sınırlama ve kullanım planlarından yararlanın.
• İçerik denetimi Verimli sonuçlar için: Yanıtları moderasyon modelleriyle (OpenAI/HuggingFace) inceleyin ve filtreleyin.

Veri merkezi konumunu seçmek ve gecikme süresi ile uyumluluk açısından karşılaştırmak.

Kullanıcı dağılımı ve yasal gereklilikler göz önünde bulundurularak doğru bölgeyi seçmek önemlidir. Genel ipuçları:

• us-east-1: Kuzey Amerika'ya hızlı ulaşım ve temel hizmetler için daha düşük maliyetler.
• AB-batı-1: Gizlilik yasalarının daha sıkı olduğu Avrupa ülkeleri için uygundur.
• ap-güneydoğu-1 / ap-kuzeydoğu-1: Asya kıtasındaki kullanıcılar için Asya bölgeleri.

Dağıtılmış kullanıcılar için CDN (CloudFront) kullanın ve modeli birden fazla bölgeye veya uç nokta çıkarımına dağıtın.

Gerekirse Çok düşük gecikme süresi Veya, veriler üzerinde tam kontrolünüz varsa, modeli şirketin 85'ten fazla lokasyondaki GPU sunucusunda barındırabilirsiniz; bu da düşük gecikme süresi, veri kontrolü ve donanım tabanlı DDoS saldırılarına karşı koruma gibi avantajlar sağlar.

Model Barındırma — Bulut GPU ve Yönetilen API Karşılaştırması (Avantajları ve Dezavantajları)

GPU üzerinde yönetilen ve kendi kendine barındırılan hizmetler arasında genel karşılaştırma:

• Yönetilen (OpenAI/Bedrock/Hugging Face):
  • Avantajları: Sıfır bakım, basit model güncellemeleri, hızlı erişim.
  • Dezavantajları: Talep başına maliyet, gizlilik endişeleri.
• GPU üzerinde kendi sunucunuzda barındırılıyor:
  • Avantajları: Sabit sunucu maliyeti, tam kontrol, özel ayarlar, render ve yapay zeka için grafik sunucularımızın kullanımı.
  • Dezavantajları: Yönetim ve izleme ihtiyacı, manuel ölçeklenebilirlik.

Tavsiye: Kanıt niteliğindeki çalışmalar için Yönetilen sunucuyu kullanın; yüksek hacimli ve düşük gecikme süreli ihtiyaçlar için GPU sunucusuna geçin.

Performans ve maliyet optimizasyonu

• Esnetme: Hassas olmayan çıktıları CloudFront veya Redis/ElastiCache'te önbelleğe alın.
• Model seçimi: Gerçek ihtiyaçlar için mümkün olan en küçük modeli kullanın (özetlenmiş veya nicelleştirilmiş).
• Lambda Sınırı: Uzun süreli çıkarım işlemleri için ECS/EKS veya GPU sunucusu kullanın, çünkü Lambda'nın zaman/işlemci sınırlamaları vardır.
• İzleme: CloudWatch günlük kayıtları ve ölçümler için, X-Ray ise izleme için kullanılıyor.
• Maliyet tasarrufu: Uzun süreli çıkarım işlemleri için ayrılmış örnekler veya özel GPU sunucuları kullanın veya bunları ayırın.

GPU üzerinde Triton'a Nginx ters proxy'si yapılandırma örneği

Model bir GPU sunucusunda çalışıyorsa, Nginx ile ters proxy kurabilirsiniz:

server {
    listen 443 ssl;
    server_name ai.example.com;
    location / {
      proxy_pass http://127.0.0.1:8000;
      proxy_set_header Host $host;
      proxy_set_header X-Real-IP $remote_addr;
    }
  }

Son güvenlik ve gizlilik ipuçları

Verilerinizi korumak ve yasalara uymak için bazı pratik tavsiyeler:

• Hassas kayıt tutma: Hassas bilgileri doğrudan depolamaktan kaçının veya şifreleyin.
• Veri saklama: GDPR/PDPA gerekliliklerini gözden geçirin; gerekirse belirli konumları (veri yerleşimi) kullanın.
• Giriş/Çıkış: Veri enjeksiyonunu ve veri sızdırılmasını önlemek için doğrulama ve temizleme işlemlerini kullanın.

Örnek uygulamalar ve senaryolar

• Öneri ve özetleme özelliklerine sahip içerik oluşturma ve metin düzenleme uygulaması.
• Oturum bağlamı DynamoDB'de saklanan akıllı sohbet robotu.
• Geliştiriciler için otomatik tamamlama ve yeniden düzenleme önerileri sunan akıllı kodlama aracı.
• Görüntü ve videoları işlemek için GPU sunucusunu kullanan yapay zeka hibrit işleme araçları.

Şirketimizde (85'ten fazla lokasyonda) yerleşmenize yardımcı olacak pratik ipuçları

Küresel düzeyde gecikmeyi azaltmak ve kullanıcı deneyimini optimize etmek için pratik ipuçları:

• Avrupa, Asya veya Latin Amerika'daki kullanıcılar için, p99 gecikmesini azaltmak amacıyla yakındaki konumları kullanın.
• Alım satım ve oyun işlemleri için, ping ve paket kaybını azaltmak amacıyla DDoS koruması ve BGP Anycast özellikli özel bir alım satım VPS'si ve oyun VPS'si kullanın.
• Maliyet ve gecikmeyi optimize etmek için büyük modellerin eğitiminde ve çıkarımında GPU Cloud'u kullanın.
• İçeriği dağıtmak ve yükleme sürelerini azaltmak için ağdan ve CDN'den yararlanın.

Lansman öncesi kısa özet ve kontrol listesi

• Amplify Hosting ve CI aktif durumda.
• Cognito kimlik doğrulama için yapılandırılmıştır ve gerekirse çok faktörlü kimlik doğrulama (MFA) etkinleştirilmiştir.
• Minimum erişim izni ve yapılandırılmış Secrets Manager ile güvenli Lambda.
• API'ye WAF ve hız sınırlaması uygulanmaktadır.
• Tüketimi ve gecikmeyi azaltmak için CDN ve önbellekleme etkinleştirilmelidir.
• Uygun konum, hedef kullanıcılar ve yasal gereklilikler doğrultusunda seçilir.
• Bir izleme ve uyarı programı (CloudWatch + Slack/E-posta) kuruldu.
• Halka açık lansmandan önce yük ve sızma testleri yapılmalıdır.

Teknik destek ve danışmanlık seçenekleri

Bölge, GPU ve ağ için en uygun kombinasyonu seçmenize yardımcı olmak amacıyla, 85'ten fazla lokasyondaki barındırma planlarından ve grafik sunucularından yararlanabilirsiniz. Teknik ekip, model geçişi ve CI/CD kurulumu konusunda rehberlik sağlayabilir.

Sıkça Sorulan Sorular