<\/p>\n
\u062f\u0631 \u0627\u06cc\u0646 \u0631\u0627\u0647\u0646\u0645\u0627\u06cc \u0639\u0645\u0644\u06cc \u0648 \u062a\u062e\u0635\u0635\u06cc \u0628\u0647 \u06af\u0627\u0645\u200c\u0647\u0627\u06cc \u0644\u0627\u0632\u0645 \u0628\u0631\u0627\u06cc \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc\u060c \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0648 \u0627\u0633\u062a\u0642\u0631\u0627\u0631 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc TTS \u0645\u0627\u0646\u0646\u062f Maya1 Ai<\/strong> \u0645\u06cc\u200c\u067e\u0631\u062f\u0627\u0632\u06cc\u0645. \u0647\u062f\u0641 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0627\u0631\u0627\u0626\u0647\u0654 \u062f\u0633\u062a\u0648\u0631\u0627\u0644\u0639\u0645\u0644\u200c\u0647\u0627\u06cc \u0639\u0645\u0644\u06cc \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u0627\u0646 \u0633\u0627\u06cc\u062a\u060c \u062a\u06cc\u0645\u200c\u0647\u0627\u06cc DevOps\u060c \u0645\u062a\u062e\u0635\u0635\u0627\u0646 AI \u0648 \u062a\u06cc\u0645\u200c\u0647\u0627\u06cc \u0645\u0647\u0646\u062f\u0633\u06cc \u0635\u0648\u062a \u0627\u0633\u062a \u062a\u0627 \u0628\u062a\u0648\u0627\u0646\u0646\u062f \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u06cc \u062a\u0648\u0644\u06cc\u062f \u0635\u062f\u0627 \u0628\u0627 \u062a\u0623\u062e\u06cc\u0631 \u067e\u0627\u06cc\u06cc\u0646<\/em> \u0648 \u0639\u0645\u0644\u06a9\u0631\u062f \u0628\u0627\u0644\u0627<\/em> \u0631\u0627 \u062f\u0631 \u0632\u06cc\u0631\u0633\u0627\u062e\u062a\u200c\u0647\u0627\u06cc GPU \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u06a9\u0646\u0646\u062f.<\/p>\n <\/p>\n \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc \u0645\u0646\u0627\u0633\u0628 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc TTS \u0627\u0632 \u062c\u0645\u0644\u0647 Maya1 Ai<\/strong> \u0628\u0627\u06cc\u062f \u0628\u0647 \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631\u060c \u062f\u0631\u0627\u06cc\u0648\u0631\u0647\u0627\u060c \u0634\u0628\u06a9\u0647 \u0648 \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc \u062a\u0648\u062c\u0647 \u0648\u06cc\u0698\u0647\u200c\u0627\u06cc \u062f\u0627\u0634\u062a.<\/p>\n \u06a9\u0627\u0631\u062a \u06af\u0631\u0627\u0641\u06cc\u06a9:<\/strong> NVIDIA (RTX 3090\/4080\/4090\u060c A10\u060c A100 \u06cc\u0627 V100 \u0628\u0633\u062a\u0647 \u0628\u0647 \u062d\u062c\u0645 \u0628\u0627\u0631). \u0628\u0631\u0627\u06cc inference<\/em> \u0628\u0627 \u062a\u0623\u062e\u06cc\u0631 \u06a9\u0645\u060c A10 \u06cc\u0627 4090 \u0645\u0646\u0627\u0633\u0628 \u0647\u0633\u062a\u0646\u062f\u061b \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0645\u062c\u062f\u062f \u0648 \u0641\u0627\u06cc\u0646\u200c\u062a\u06cc\u0648\u0646\u06cc\u0646\u06af A100 \u06cc\u0627 V100 \u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n \u062f\u0631\u0627\u06cc\u0648\u0631 \u0648 CUDA:<\/strong> NVIDIA driver\u060c CUDA 11\/12 \u0648 cuDNN \u0645\u062a\u0646\u0627\u0633\u0628 \u0628\u0627 \u0646\u0633\u062e\u0647\u0654 \u0641\u0631\u06cc\u0645\u200c\u0648\u0631\u06a9 (PyTorch \u06cc\u0627 TensorFlow).<\/p>\n \u062d\u0627\u0641\u0638\u0647 GPU:<\/strong> \u062d\u062f\u0627\u0642\u0644 16GB \u0628\u0631\u0627\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u061b \u0628\u0631\u0627\u06cc \u0686\u0646\u062f \u06a9\u0627\u0631\u0628\u0631 \u0647\u0645\u0632\u0645\u0627\u0646 \u0648 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0686\u0646\u062f\u0632\u0628\u0627\u0646\u0647 24\u201380GB \u0628\u0647\u062a\u0631 \u0627\u0633\u062a.<\/p>\n \u0634\u0628\u06a9\u0647:<\/strong> \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u0628\u0627\u0644\u0627 \u0648 \u067e\u06cc\u0646\u06af \u067e\u0627\u06cc\u06cc\u0646\u061b \u0628\u0631\u0627\u06cc \u0627\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af (IVR\u060c \u062a\u0631\u06cc\u062f \u0635\u0648\u062a\u06cc) \u0644\u0648\u06a9\u06cc\u0634\u0646 \u0646\u0632\u062f\u06cc\u06a9 \u0628\u0647 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0646\u0647\u0627\u06cc\u06cc \u0636\u0631\u0648\u0631\u06cc \u0627\u0633\u062a.<\/p>\n \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc:<\/strong> NVMe SSD \u0628\u0631\u0627\u06cc \u0633\u0631\u0639\u062a \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0645\u062f\u0644 \u0648 I\/O \u0633\u0631\u06cc\u0639.<\/p>\n \u0633\u06cc\u0633\u062a\u0645 \u0639\u0627\u0645\u0644:<\/strong> Ubuntu 20.04\/22.04 \u06cc\u0627 Debian \u0645\u062f\u0631\u0646.<\/p>\n \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0641\u0627\u0631\u0633\u06cc\u200c\u0632\u0628\u0627\u0646 \u06cc\u0627 \u0645\u0646\u0637\u0642\u0647\u200c\u0627\u06cc\u060c \u0627\u0646\u062a\u062e\u0627\u0628 \u062f\u06cc\u062a\u0627\u0633\u0646\u062a\u0631 \u0646\u0632\u062f\u06cc\u06a9 (\u0644\u0648\u06a9\u06cc\u0634\u0646\u200c\u0647\u0627\u06cc \u0627\u0631\u0648\u067e\u0627 \u06cc\u0627 \u062e\u0627\u0648\u0631\u0645\u06cc\u0627\u0646\u0647) \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f RTT \u0631\u0627 \u06a9\u0627\u0647\u0634 \u062f\u0647\u062f. \u0633\u0631\u0648\u06cc\u0633 \u0627\u0631\u0627\u0626\u0647\u200c\u0634\u062f\u0647 \u062f\u0631 \u0645\u062a\u0646 \u062f\u0627\u0631\u0627\u06cc 85+ \u0644\u0648\u06a9\u06cc\u0634\u0646 \u062c\u0647\u0627\u0646\u06cc<\/strong> \u0627\u0633\u062a \u062a\u0627 \u0646\u0632\u062f\u06cc\u06a9\u200c\u062a\u0631\u06cc\u0646 \u0645\u0646\u0637\u0642\u0647 \u0628\u0647 \u06a9\u0627\u0631\u0628\u0631 \u0646\u0647\u0627\u06cc\u06cc \u0627\u0646\u062a\u062e\u0627\u0628 \u0634\u0648\u062f \u0648 \u0628\u0631\u0627\u06cc \u0627\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646\u200c\u0647\u0627\u06cc \u0628\u0644\u0627\u062f\u0631\u0646\u06af \u062d\u06cc\u0627\u062a\u06cc \u0628\u0627\u0634\u062f.<\/p>\n \u0628\u0631\u0627\u06cc \u06a9\u0627\u0647\u0634 jitter \u0648 \u0627\u0641\u0632\u0627\u06cc\u0634 \u067e\u0627\u06cc\u062f\u0627\u0631\u06cc \u062a\u0648\u0635\u06cc\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f \u0627\u0632 CDN \u0635\u0648\u062a\u06cc<\/em> \u0648 BGP Anycast<\/em> \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f.<\/p>\n <\/p>\n \u0645\u0639\u0645\u0627\u0631\u06cc \u062a\u0648\u0644\u06cc\u062f\u06cc \u0645\u0639\u0645\u0648\u0644 \u0628\u0631\u0627\u06cc \u0633\u0631\u0648\u06cc\u0633 TTS \u0628\u0627\u06cc\u062f \u0644\u0627\u06cc\u0647\u200c\u0627\u06cc\u060c \u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631 \u0648 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u200c\u0634\u062f\u0646\u06cc \u0628\u0627\u0634\u062f.<\/p>\n <\/p>\n \u0646\u0645\u0648\u0646\u0647\u0654 \u0633\u0627\u062f\u0647\u200c\u0627\u06cc \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u062f\u0627\u062e\u0644 \u06a9\u0627\u0646\u062a\u06cc\u0646\u0631 \u0628\u0627 NVIDIA runtime \u0627\u0631\u0627\u0626\u0647 \u0634\u062f\u0647 \u0627\u0633\u062a. \u062a\u0648\u062c\u0647 \u06a9\u0646\u06cc\u062f \u0647\u0645\u0647\u0654 \u06a9\u062f\u0647\u0627 \u0648 \u062f\u0633\u062a\u0648\u0631\u0627\u062a \u062f\u0631 \u0642\u0627\u0644\u0628 \u0628\u0644\u0627\u06a9\u200c\u0647\u0627\u06cc \u06a9\u062f \u0627\u0633\u062a\u0627\u0646\u062f\u0627\u0631\u062f \u0642\u0631\u0627\u0631 \u06af\u0631\u0641\u062a\u0647\u200c\u0627\u0646\u062f.<\/p>\n <\/p>\n \u0628\u0631\u0627\u06cc \u06a9\u0627\u0647\u0634 \u062a\u0623\u062e\u06cc\u0631 \u0648 \u0645\u0635\u0631\u0641 \u062d\u0627\u0641\u0638\u0647 \u0686\u0646\u062f \u062a\u06a9\u0646\u06cc\u06a9 \u06a9\u0644\u06cc\u062f\u06cc \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f \u06a9\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u0639\u0645\u0644\u06a9\u0631\u062f \u0631\u0627 \u0628\u0647\u200c\u0637\u0648\u0631 \u0686\u0634\u0645\u06af\u06cc\u0631\u06cc \u0628\u0647\u0628\u0648\u062f \u062f\u0647\u062f.<\/p>\n \u0646\u0645\u0648\u0646\u0647 \u062a\u0628\u062f\u06cc\u0644 \u0645\u062f\u0644 \u0628\u0647 ONNX \u0628\u0627 PyTorch:<\/p>\n \u0646\u0645\u0648\u0646\u0647\u0654 \u0633\u0627\u062e\u062a Engine \u0628\u0627 trtexec:<\/p>\n <\/p>\n \u0644\u0648\u06a9\u06cc\u0634\u0646 \u062f\u06cc\u062a\u0627\u0633\u0646\u062a\u0631 \u0645\u0633\u062a\u0642\u06cc\u0645\u0627\u064b \u0628\u0631 RTT \u0648 \u062a\u062c\u0631\u0628\u0647\u0654 \u0635\u0648\u062a\u06cc \u062a\u0623\u062b\u06cc\u0631 \u0645\u06cc\u200c\u06af\u0630\u0627\u0631\u062f. \u0628\u0631\u0627\u06cc \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0627\u06cc\u0631\u0627\u0646\u060c \u0644\u0648\u06a9\u06cc\u0634\u0646\u200c\u0647\u0627\u06cc \u0627\u0631\u0648\u067e\u0627 \u0634\u0631\u0642\u06cc \u06cc\u0627 \u062e\u0627\u0648\u0631\u0645\u06cc\u0627\u0646\u0647 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u0646\u062f \u067e\u06cc\u0646\u06af \u0645\u0646\u0627\u0633\u0628\u200c\u062a\u0631\u06cc \u0627\u0631\u0627\u0626\u0647 \u062f\u0647\u0646\u062f.<\/p>\n \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 CDN \u0628\u0631\u0627\u06cc \u0641\u0627\u06cc\u0644\u200c\u0647\u0627\u06cc \u0635\u0648\u062a\u06cc \u062b\u0627\u0628\u062a \u0648 BGP Anycast \u0628\u0631\u0627\u06cc API Gateway \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f jitter \u0631\u0627 \u06a9\u0627\u0647\u0634 \u062f\u0647\u062f \u0648 \u067e\u0627\u06cc\u062f\u0627\u0631\u06cc \u0631\u0627 \u0627\u0641\u0632\u0627\u06cc\u0634 \u062f\u0647\u062f.<\/p>\n <\/p>\n <\/p>\n \u062d\u0641\u0638 \u0627\u0645\u0646\u06cc\u062a \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u06cc TTS \u0648 \u062d\u0641\u0627\u0638\u062a \u0627\u0632 \u0645\u062f\u0644\u200c\u0647\u0627 \u0648 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0628\u0627\u06cc\u062f \u062f\u0631 \u0627\u0648\u0644\u0648\u06cc\u062a \u0628\u0627\u0634\u062f.<\/p>\n <\/p>\n \u062a\u0639\u0631\u06cc\u0641 \u0645\u0639\u06cc\u0627\u0631\u0647\u0627 \u0648 \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0633\u06cc\u0633\u062a\u0645 \u0647\u0634\u062f\u0627\u0631 \u0628\u0631\u0627\u06cc \u062d\u0641\u0638 \u06a9\u06cc\u0641\u06cc\u062a \u0633\u0631\u0648\u06cc\u0633 \u062d\u06cc\u0627\u062a\u06cc \u0627\u0633\u062a.<\/p>\n <\/p>\n \u0628\u0631\u0627\u06cc \u0645\u062f\u06cc\u0631\u06cc\u062a \u0628\u0627\u0631\u0647\u0627\u06cc \u0645\u062a\u063a\u06cc\u0631 \u0627\u0632 \u062a\u0631\u06a9\u06cc\u0628 Horizontal \u0648 Vertical scaling \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0646\u06cc\u062f \u0648 \u0627\u0644\u06af\u0648\u0647\u0627\u06cc \u0635\u0641 \u0628\u0631\u0627\u06cc job\u0647\u0627\u06cc batch \u0628\u0647 \u06a9\u0627\u0631 \u0628\u06af\u06cc\u0631\u06cc\u062f.<\/p>\n <\/p>\n \u0628\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u0635\u062d\u06cc\u062d GPU \u0648 \u062a\u06a9\u0646\u06cc\u06a9\u200c\u0647\u0627\u06cc \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u0647\u0632\u06cc\u0646\u0647\u200c\u0647\u0627\u06cc \u0632\u06cc\u0631\u0633\u0627\u062e\u062a \u0631\u0627 \u06a9\u0645\u06cc\u0646\u0647 \u06a9\u0631\u062f.<\/p>\n <\/p>\n \u0646\u0645\u0648\u0646\u0647\u0654 \u062e\u0644\u0627\u0635\u0647\u0654 app\/main.py \u0628\u0631\u0627\u06cc \u0627\u0631\u0627\u0626\u0647\u0654 \u0633\u0631\u0648\u06cc\u0633 TTS \u0628\u0627 FastAPI.<\/p>\n \u0646\u06a9\u0627\u062a \u0639\u0645\u0644\u06cc: \u0645\u0633\u06cc\u0631\u0647\u0627 \u0628\u0627\u06cc\u062f \u0628\u0627 JWT \u0645\u062d\u0627\u0641\u0638\u062a \u0634\u062f\u0647 \u0648 rate limiting \u0627\u0639\u0645\u0627\u0644 \u0634\u0648\u062f. \u062a\u0648\u0644\u06cc\u062f\u0627\u062a \u0635\u0648\u062a\u06cc \u0631\u0627 \u0645\u06cc\u200c\u062a\u0648\u0627\u0646 \u062f\u0631 S3 \u06cc\u0627 MinIO \u0628\u0627 lifecycle \u0645\u062f\u06cc\u0631\u06cc\u062a \u0630\u062e\u06cc\u0631\u0647 \u06a9\u0631\u062f.<\/p>\n <\/p>\n Voice Generation \u0628\u0627 Maya1 Ai<\/strong> \u0627\u0645\u06a9\u0627\u0646 \u062a\u0648\u0644\u06cc\u062f \u062e\u0631\u0648\u062c\u06cc \u0635\u0648\u062a\u06cc \u0637\u0628\u06cc\u0639\u06cc \u0648 \u0628\u0627 \u06a9\u06cc\u0641\u06cc\u062a \u0631\u0627 \u0641\u0631\u0627\u0647\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u0627\u0645\u0627 \u0646\u06cc\u0627\u0632\u0645\u0646\u062f \u0627\u0646\u062a\u062e\u0627\u0628 \u0635\u062d\u06cc\u062d GPU\u060c \u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u0634\u0628\u06a9\u0647 \u0648 \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u0644 \u0627\u0633\u062a.<\/p>\n \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 \u062a\u06a9\u0646\u06cc\u06a9\u200c\u0647\u0627\u06cc FP16\/INT8\u060c TensorRT\u060c \u062a\u0628\u062f\u06cc\u0644 ONNX \u0648 \u06a9\u0634\u06cc\u0646\u06af \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u062f \u062a\u0623\u062e\u06cc\u0631 \u0631\u0627 \u0628\u0647\u200c\u0634\u062f\u062a \u06a9\u0627\u0647\u0634 \u062f\u0647\u062f. \u0627\u0646\u062a\u062e\u0627\u0628 \u0644\u0648\u06a9\u06cc\u0634\u0646 \u0645\u0646\u0627\u0633\u0628 \u0627\u0632 \u0645\u06cc\u0627\u0646 85+ \u0644\u0648\u06a9\u06cc\u0634\u0646 \u062c\u0647\u0627\u0646\u06cc<\/strong> \u0628\u0631\u0627\u06cc \u062f\u0633\u062a\u06cc\u0627\u0628\u06cc \u0628\u0647 \u067e\u06cc\u0646\u06af \u067e\u0627\u06cc\u06cc\u0646 \u0648 \u062a\u062c\u0631\u0628\u0647\u0654 \u06a9\u0627\u0631\u0628\u0631\u06cc \u0628\u0647\u062a\u0631 \u062d\u06cc\u0627\u062a\u06cc \u0627\u0633\u062a.<\/p>\n <\/p>\n \u0628\u0631\u0627\u06cc \u062a\u0639\u06cc\u06cc\u0646 \u06a9\u0627\u0646\u0641\u06cc\u06af \u0628\u0647\u06cc\u0646\u0647 \u0628\u0631\u0627\u0633\u0627\u0633 \u0646\u06cc\u0627\u0632 \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631 (real-time vs batch vs training) \u0628\u0647\u062a\u0631 \u0627\u0633\u062a \u06cc\u06a9 \u0628\u0631\u0631\u0633\u06cc \u0641\u0646\u06cc \u0627\u0632 \u062a\u0631\u0627\u0641\u06cc\u06a9\u060c \u0646\u06cc\u0627\u0632 \u062a\u0627\u062e\u06cc\u0631 \u0648 \u0628\u0648\u062f\u062c\u0647 \u0627\u0646\u062c\u0627\u0645 \u0634\u0648\u062f \u062a\u0627 \u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u0646\u0627\u0628\u0639 \u0648 \u0644\u0648\u06a9\u06cc\u0634\u0646 \u0645\u0646\u0627\u0633\u0628 \u0627\u0631\u0627\u0626\u0647 \u06af\u0631\u062f\u062f.<\/p>\n \u0628\u0631\u0627\u06cc \u0627\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646\u200c\u0647\u0627\u06cc \u062d\u0633\u0627\u0633 \u0628\u0647 \u062a\u0623\u062e\u06cc\u0631 \u0645\u0627\u0646\u0646\u062f \u06af\u06cc\u0645\u06cc\u0646\u06af \u0635\u0648\u062a\u06cc \u06cc\u0627 IVR \u062a\u0631\u06cc\u062f\u060c \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0627\u0632 VPS \u0645\u062e\u0635\u0648\u0635 \u0628\u0627 Anti-DDoS \u0648 \u0634\u0628\u06a9\u0647\u0654 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc \u062a\u0648\u0635\u06cc\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/p>\n\u0646\u06cc\u0627\u0632\u0645\u0646\u062f\u06cc\u200c\u0647\u0627 \u0648 \u0627\u0646\u062a\u062e\u0627\u0628 \u0644\u0648\u06a9\u06cc\u0634\u0646 \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc Maya1 Ai<\/span><\/h2>\n
\u0646\u06cc\u0627\u0632\u0645\u0646\u062f\u06cc\u200c\u0647\u0627\u06cc \u067e\u0627\u06cc\u0647<\/span><\/h3>\n
\u0627\u0646\u062a\u062e\u0627\u0628 \u0644\u0648\u06a9\u06cc\u0634\u0646<\/span><\/h3>\n
\u0637\u0631\u0627\u062d\u06cc \u0645\u0639\u0645\u0627\u0631\u06cc \u067e\u06cc\u0634\u0646\u0647\u0627\u062f\u06cc \u0628\u0631\u0627\u06cc Voice Generation \u0628\u0627 Maya1 Ai<\/span><\/h2>\n
\u0644\u0627\u06cc\u0647\u200c\u0647\u0627 \u0648 \u0627\u062c\u0632\u0627<\/span><\/h3>\n
\n
\u0646\u0645\u0648\u0646\u0647 \u06af\u0631\u062f\u0634 \u06a9\u0627\u0631<\/span><\/h3>\n
\n
\u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0633\u0631\u06cc\u0639: \u0646\u0645\u0648\u0646\u0647 Docker + FastAPI \u0628\u0631\u0627\u06cc Maya1 Ai<\/span><\/h2>\n
FROM pytorch\/pytorch:2.0.1-cuda11.8-cudnn8-runtime\r\nWORKDIR \/app\r\nCOPY requirements.txt .\r\nRUN pip install -r requirements.txt\r\nCOPY app \/app\r\nCMD [\"uvicorn\", \"app.main:app\", \"--host\", \"0.0.0.0\", \"--port\", \"8000\", \"--workers\", \"1\"]<\/code><\/pre>\n<\/div>\nversion: '3.8'\r\nservices:\r\n tts:\r\n build: .\r\n runtime: nvidia\r\n environment:\r\n - NVIDIA_VISIBLE_DEVICES=all\r\n deploy:\r\n resources:\r\n reservations:\r\n devices:\r\n - driver: nvidia\r\n count: all\r\n capabilities: [gpu]\r\n ports:\r\n - \"8000:8000\"\r\n volumes:\r\n - .\/models:\/models<\/code><\/pre>\n<\/div>\nsudo apt update && sudo apt upgrade -y\r\n# install NVIDIA driver (example)\r\nsudo apt install -y nvidia-driver-535\r\nreboot\r\n# install Docker and nvidia-docker2\r\ncurl -fsSL https:\/\/get.docker.com | sh\r\ndistribution=$(. \/etc\/os-release;echo $ID$VERSION_ID)\r\ncurl -s -L https:\/\/nvidia.github.io\/nvidia-docker\/gpgkey | sudo apt-key add -\r\ncurl -s -L https:\/\/nvidia.github.io\/nvidia-docker\/$distribution\/nvidia-docker.list | sudo tee \/etc\/apt\/sources.list.d\/nvidia-docker.list\r\nsudo apt update && sudo apt install -y nvidia-docker2\r\nsudo systemctl restart docker\r\n# test GPU inside container\r\ndocker run --gpus all --rm nvidia\/cuda:12.1.1-base-ubuntu22.04 nvidia-smi<\/code><\/pre>\n<\/div>\n\u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0645\u062f\u0644 Maya1 Ai \u0628\u0631\u0627\u06cc inference<\/span><\/h2>\n
\n
import torch\r\nmodel.eval()\r\ndummy_input = torch.randn(1, seq_len).to('cuda')\r\ntorch.onnx.export(model, dummy_input, \"maya1.onnx\",\r\n input_names=[\"input\"], output_names=[\"output\"],\r\n dynamic_axes={\"input\": {0: \"batch\", 1: \"seq\"}, \"output\": {0: \"batch\"}})<\/code><\/pre>\n<\/div>\ntrtexec --onnx=maya1.onnx --saveEngine=maya1.trt --fp16 --workspace=8192 --minShapes=input:1x1 --optShapes=input:1x256 --maxShapes=input:8x1024<\/code><\/pre>\n<\/div>\n
\n<\/div>\n\u0645\u0642\u0627\u06cc\u0633\u0647 \u0644\u0648\u06a9\u06cc\u0634\u0646\u200c\u0647\u0627 \u0648 \u062a\u0623\u062b\u06cc\u0631 \u0628\u0631 latency<\/span><\/h2>\n
\u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u0646\u0647\u0627\u062f\u06cc \u0628\u0631 \u0627\u0633\u0627\u0633 \u06a9\u0627\u0631\u0628\u0631\u062f<\/span><\/h2>\n
Low-latency real-time (IVR\u060c \u0627\u0633\u062a\u0631\u06cc\u0645)<\/span><\/h3>\n
\n
High-throughput batch inference<\/span><\/h3>\n
\n
\u0622\u0645\u0648\u0632\u0634 \u0648 Fine-tuning<\/span><\/h3>\n
\n
\u0627\u0645\u0646\u06cc\u062a \u0648 \u062f\u0633\u062a\u0631\u0633\u06cc<\/span><\/h2>\n
\n<\/div>\n\n
\u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af\u060c SLO \u0648 \u062e\u0648\u062f\u0628\u0647\u0628\u0648\u062f\u06cc<\/span><\/h2>\n
\n
\u0645\u0642\u06cc\u0627\u0633\u200c\u067e\u0630\u06cc\u0631\u06cc \u0648 \u0627\u0633\u062a\u0631\u0627\u062a\u0698\u06cc\u200c\u0647\u0627\u06cc Autoscaling<\/span><\/h2>\n
\n
\u0646\u06a9\u0627\u062a \u0647\u0632\u06cc\u0646\u0647\u200c\u0627\u06cc \u0648 \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u06cc \u0647\u0632\u06cc\u0646\u0647<\/span><\/h2>\n
\n
\u0645\u062b\u0627\u0644 \u0639\u0645\u0644\u06cc: \u062a\u0646\u0638\u06cc\u0645 \u06cc\u06a9 API \u0633\u0627\u062f\u0647 \u0628\u0631\u0627\u06cc Maya1 Ai (FastAPI)<\/span><\/h2>\n
from fastapi import FastAPI\r\nimport torch\r\nfrom fastapi.responses import StreamingResponse\r\nimport io\r\n\r\napp = FastAPI()\r\n\r\n# assume model and vocoder are loaded and moved to GPU\r\n@app.post(\"\/tts\")\r\nasync def tts(text: str):\r\n mel = text2mel(text)\r\n wav = vocoder.infer(mel)\r\n return StreamingResponse(io.BytesIO(wav), media_type=\"audio\/wav\")<\/code><\/pre>\n<\/div>\n\u062c\u0645\u0639\u200c\u0628\u0646\u062f\u06cc \u0648 \u062a\u0648\u0635\u06cc\u0647\u200c\u0647\u0627\u06cc \u0646\u0647\u0627\u06cc\u06cc<\/span><\/h2>\n
\u0627\u0631\u0632\u06cc\u0627\u0628\u06cc \u0648 \u0645\u0634\u0627\u0648\u0631\u0647 \u0641\u0646\u06cc \u0628\u0631\u0627\u06cc \u067e\u06cc\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc<\/span><\/h2>\n
\u0646\u06a9\u0627\u062a \u067e\u0627\u06cc\u0627\u0646\u06cc<\/span><\/h3>\n
\u0633\u0624\u0627\u0644\u0627\u062a \u0645\u062a\u062f\u0627\u0648\u0644<\/span><\/h2>\n
\n\t\t\t\t\t\n\t\t\t\t\t\t\u06f1. \u0628\u0647\u062a\u0631\u06cc\u0646 \u0644\u0648\u06a9\u06cc\u0634\u0646 \u0633\u0631\u0648\u0631 \u0628\u0631\u0627\u06cc \u06a9\u0627\u0647\u0634 \u067e\u06cc\u0646\u06af \u0686\u06cc\u0633\u062a\u061f\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/h6>\n\t\t\t<\/div>\n\n\t\t\t
\n\n\t\t\t\t<\/div>\n\t\t\t<\/div>\n\t\t<\/div>\n\t\t\n\n\t\t\t\t\t\n\t\t\t\t\t\t\u06f2. \u06a9\u062f\u0627\u0645 GPU \u0628\u0631\u0627\u06cc inference \u06a9\u0645\u200c\u062a\u0627\u062e\u06cc\u0631 \u0645\u0646\u0627\u0633\u0628\u200c\u062a\u0631 \u0627\u0633\u062a\u061f\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/h6>\n\t\t\t<\/div>\n\n\t\t\t
\n\n\t\t\t\t<\/div>\n\t\t\t<\/div>\n\t\t<\/div>\n\t\t\n\n\t\t\t\t\t\n\t\t\t\t\t\t\u06f3. \u0622\u06cc\u0627 \u062a\u0628\u062f\u06cc\u0644 \u0645\u062f\u0644 \u0628\u0647 ONNX \u0648 TensorRT \u0645\u0641\u06cc\u062f \u0627\u0633\u062a\u061f\n\t\t\t\t\t<\/a>\n\t\t\t\t<\/h6>\n\t\t\t<\/div>\n\n\t\t\t
\n\n\t\t\t\t<\/div>\n\t\t\t<\/div>\n\t\t<\/div>\n\t\t\n