Trabajamos con permisos, que es nuestro sustento. Los LLM no lo son. Sin embargo, \u00faltimamente hemos estado reflexionando sobre c\u00f3mo crear chatbots LLM seguros, teniendo en cuenta las consideraciones de permisos. Esta publicaci\u00f3n no profundizar\u00e1 en c\u00f3mo crear uno usando Oso Cloud ni filtrando la lista, sino que se presenta como una introducci\u00f3n a los chatbots LLM, su funcionamiento y las mejores pr\u00e1cticas para su creaci\u00f3n.<\/p>\n
Los LLM, o grandes modelos ling\u00fc\u00edsticos, son modelos avanzados de IA entrenados con grandes cantidades de datos para comprender y producir un lenguaje similar al humano mediante la predicci\u00f3n de las secuencias de palabras m\u00e1s probables a partir del texto. Estos modelos son compatibles con una amplia gama de aplicaciones, como la creaci\u00f3n de contenido, la finalizaci\u00f3n de textos, la traducci\u00f3n, el an\u00e1lisis de sentimientos y la generaci\u00f3n de c\u00f3digo.<\/p>\n
Uno de los usos m\u00e1s comunes de los LLM es en los chatbots, herramientas basadas en inteligencia artificial que simulan conversaciones humanas. Los chatbots se utilizan ampliamente para la atenci\u00f3n al cliente, la recuperaci\u00f3n de informaci\u00f3n y la automatizaci\u00f3n de tareas, e interact\u00faan con los usuarios mediante texto o voz.<\/p>\n
Los LLM y los chatbots est\u00e1n intr\u00ednsecamente interconectados, ya que los LLM act\u00faan como la tecnolog\u00eda subyacente \u2014capacidades de comprensi\u00f3n y generaci\u00f3n de lenguaje natural (NLU)\u2014 que impulsa a muchos chatbots modernos (como ChatGPT, Claude, Gemini, etc.). Cuando un usuario introduce una consulta, el chatbot la env\u00eda al LLM, que procesa el texto, considera el contexto mediante mecanismos de atenci\u00f3n, recupera informaci\u00f3n relevante (potencialmente aumentada mediante generaci\u00f3n aumentada por recuperaci\u00f3n (RAG) o API externas) y genera una respuesta adecuada.<\/p>\n
Esta arquitectura permite a los chatbots mantener el historial y el contexto de las conversaciones en m\u00faltiples intercambios. Esto les permite comprender consultas complejas y matices ling\u00fc\u00edsticos, y proporcionar respuestas precisas o realizar tareas.<\/p>\n
Al aprovechar los LLM, los chatbots modernos logran mayor fluidez, coherencia y conocimiento contextual, lo que los hace muy efectivos para aplicaciones como asistentes virtuales, atenci\u00f3n al cliente interactiva y generaci\u00f3n de contenido personalizado.<\/p>\n
Los modelos LLM utilizan t\u00e9cnicas de aprendizaje profundo, con especial \u00e9nfasis en la arquitectura de transformadores, para procesar y generar texto. Estos modelos se entrenan con una amplia variedad de conjuntos de datos, como libros, sitios web y otras fuentes, lo que les permite aprender patrones, gram\u00e1tica, relaciones contextuales y estructuras sem\u00e1nticas dentro del lenguaje. Su funcionalidad se basa en un mecanismo de atenci\u00f3n que permite al modelo centrarse en las partes relevantes del texto de entrada y comprender las dependencias a largo plazo y los matices contextuales. Este mecanismo, combinado con otras t\u00e9cnicas avanzadas como la Generaci\u00f3n Aumentativa de Recuperaci\u00f3n (RAG), permite a los modelos LLM generar respuestas altamente coherentes y contextuales al prestar atenci\u00f3n din\u00e1micamente a la informaci\u00f3n relevante, tanto de la entrada como de fuentes de conocimiento externas.<\/p>\n
En el n\u00facleo de los convertidores se encuentra un mecanismo llamado atenci\u00f3n, que permite al modelo ponderar la importancia relativa de las diferentes palabras de una oraci\u00f3n. Esto permite al modelo capturar dependencias a largo plazo y comprender el contexto de las palabras m\u00e1s all\u00e1 de sus vecinas inmediatas. En lugar de procesar las palabras individualmente, la atenci\u00f3n ayuda al modelo a comprender c\u00f3mo interact\u00faa cada palabra con otras en la estructura general de la oraci\u00f3n.<\/p>\n
El entrenamiento de un LLM implica procesar miles de millones de par\u00e1metros (pesos) que se ajustan con el tiempo para minimizar los errores de predicci\u00f3n. El modelo se entrena con grandes conjuntos de datos de texto y aprende a predecir la siguiente palabra de una secuencia, mejorando as\u00ed su capacidad para producir texto coherente y contextualmente relevante a medida que procesa m\u00e1s datos.<\/p>\n
Al generar texto, el modelo utiliza los patrones aprendidos para predecir la continuaci\u00f3n m\u00e1s probable de una frase. Cada posible palabra siguiente se punt\u00faa seg\u00fan su relaci\u00f3n con las palabras anteriores, y el modelo selecciona la palabra m\u00e1s probable seg\u00fan el contexto aprendido.<\/p>\n
Por ejemplo, en la oraci\u00f3n \u00abEl gato se sent\u00f3 en\u2026\u00bb, el mecanismo de atenci\u00f3n ayuda al modelo a priorizar \u00abalfombrilla\u00bb por sobre palabras menos importantes como \u00abautob\u00fas\u00bb o \u00abcomputadora\u00bb porque reconoce que \u00abalfombrilla\u00bb coincide con el contexto y completa la oraci\u00f3n de manera significativa.<\/p>\n
De este modo, los LLM procesan el texto codificando la entrada a trav\u00e9s de capas de mecanismos de atenci\u00f3n, refinando las predicciones mediante entrenamiento y generando respuestas seleccionando las siguientes palabras m\u00e1s probables en funci\u00f3n del texto que han aprendido.<\/p>\n
RAG (Generaci\u00f3n Aumentada Recuperable) es una t\u00e9cnica que combina la recuperaci\u00f3n de informaci\u00f3n con modelos generativos. En un sistema RAG, cuando el modelo recibe una solicitud, primero recupera la informaci\u00f3n relevante de una fuente externa (como un documento o una base de datos) mediante un mecanismo de b\u00fasqueda. A continuaci\u00f3n, utiliza un modelo generativo (generalmente basado en una arquitectura de transformador) para generar una respuesta que incorpora tanto la entrada original como la informaci\u00f3n recuperada.<\/p>\n
En RAG:<\/p>\n
Si bien la arquitectura del transformador alimenta la parte generativa de RAG, RAG en s\u00ed se refiere al proceso de aumentar la salida con conocimiento externo recuperado. Esto mejora la capacidad del modelo para generar respuestas m\u00e1s informadas, contextualmente precisas y actualizadas, lo que le permite utilizar una gama m\u00e1s amplia de informaci\u00f3n m\u00e1s all\u00e1 de su conocimiento preentrenado.<\/p>\n
Por ejemplo, imaginemos que un usuario pregunta a un asistente con IA: "\u00bfCu\u00e1les son los \u00faltimos avances en computaci\u00f3n cu\u00e1ntica?". Sin acceso a internet en tiempo real, un modelo generativo por s\u00ed solo podr\u00eda tener dificultades para proporcionar una respuesta actualizada. Sin embargo, en un sistema RAG, el modelo puede buscar primero en una base de datos relevante de art\u00edculos de investigaci\u00f3n o noticias recientes sobre computaci\u00f3n cu\u00e1ntica. A continuaci\u00f3n, genera una respuesta que incluye los \u00faltimos hallazgos de estas fuentes, lo que garantiza una respuesta m\u00e1s informada y precisa.<\/p>\n
Por lo tanto, al aumentar su proceso generativo con conocimiento externo en tiempo real, RAG mejora la capacidad del modelo, haci\u00e9ndolo m\u00e1s efectivo para responder preguntas espec\u00edficas o din\u00e1micas.<\/p>\n
Los LLM aprenden mediante aprendizaje no supervisado, donde se entrenan con grandes cantidades de datos de texto para predecir la siguiente palabra de una secuencia. Este proceso de entrenamiento implica alimentar al modelo con grandes conjuntos de datos sin etiquetar. Al no haber anotaci\u00f3n humana expl\u00edcita, el modelo aprende patrones, gram\u00e1tica, contexto y relaciones entre palabras simplemente reconociendo patrones y estructuras en el texto.<\/p>\n
En el centro del proceso de aprendizaje se encuentra el descenso de gradiente, un algoritmo de optimizaci\u00f3n que ajusta los par\u00e1metros del modelo (ponderaciones) a lo largo del tiempo para minimizar los errores de predicci\u00f3n. El modelo comienza con ponderaciones aleatorias y, a medida que procesa cada entrada de texto, predice la siguiente palabra bas\u00e1ndose en el texto. Si la predicci\u00f3n es incorrecta, el modelo actualiza sus ponderaciones para reducir futuros errores. Este proceso iterativo se repite miles de millones de veces en grandes conjuntos de datos, lo que permite al modelo producir texto consistente y adecuado al texto.<\/p>\n
Durante el entrenamiento, el modelo aprende:<\/p>\n
Un ejemplo pr\u00e1ctico de aprendizaje no supervisado es la segmentaci\u00f3n de clientes en marketing. Supongamos que una empresa cuenta con un amplio conjunto de datos sobre el comportamiento de sus clientes, pero no tiene categor\u00edas predefinidas como "clientes de alto valor" o "compradores habituales". Mediante la agrupaci\u00f3n en cl\u00fasteres de k-medias, un algoritmo no supervisado, el modelo puede agrupar autom\u00e1ticamente a los clientes seg\u00fan su comportamiento de compra (p. ej., consumidores de alto gasto, compradores ocasionales). Estos segmentos pueden ser la base de estrategias de marketing m\u00e1s espec\u00edficas.<\/p>\n
Aunque los LLM se entrenan inicialmente mediante aprendizaje no supervisado, suelen perfeccionarse mediante aprendizaje supervisado para mejorar su rendimiento en tareas espec\u00edficas. En este paso, el modelo se entrena con un conjunto de datos etiquetado m\u00e1s peque\u00f1o que proporciona el resultado correcto (por ejemplo, una etiqueta de clasificaci\u00f3n o la respuesta a una pregunta). Esto permite al modelo aprender patrones m\u00e1s espec\u00edficos de la tarea y mejorar su precisi\u00f3n para aplicaciones espec\u00edficas, como la traducci\u00f3n o la respuesta a preguntas.<\/p>\n
Por ejemplo, tras realizar una segmentaci\u00f3n de clientes sin supervisi\u00f3n, una empresa de comercio electr\u00f3nico podr\u00eda querer clasificar las rese\u00f1as de los clientes como positivas, negativas o neutrales para optimizar sus campa\u00f1as de correo electr\u00f3nico. La empresa podr\u00eda perfeccionar un modelo preentrenado utilizando un conjunto de datos etiquetado de rese\u00f1as de clientes con etiquetas de sentimiento. Este ajuste permite al modelo especializarse en la comprensi\u00f3n del sentimiento y mejorar su capacidad para clasificar futuras rese\u00f1as espec\u00edficas de los productos de la empresa.<\/p>\n
Los LLM tambi\u00e9n utilizan el aprendizaje por transferencia, donde el conocimiento adquirido en una tarea se aplica a otras, a menudo no relacionadas. Esto permite que los modelos sean eficaces en diferentes escenarios sin necesidad de entrenamiento espec\u00edfico para cada tarea.<\/p>\n
Partiendo del ejemplo del an\u00e1lisis de sentimientos, supongamos que una empresa desea ampliar las capacidades de su modelo para gestionar una gama m\u00e1s amplia de preguntas de los clientes, incluidas las de atenci\u00f3n al cliente. En lugar de empezar desde cero, la empresa puede usar el aprendizaje por transferencia para aplicar la comprensi\u00f3n del modelo de an\u00e1lisis de sentimientos sobre el sentimiento del cliente a una nueva tarea, como responder a sus preguntas.<\/p>\n
Por ejemplo, una empresa podr\u00eda adaptar el modelo de sentimiento optimizado para un chatbot de atenci\u00f3n al cliente. El chatbot ahora puede comprender las emociones de los comentarios de los clientes y responder de forma inteligente en funci\u00f3n de ellas. Si un cliente expresa su frustraci\u00f3n por una entrega tard\u00eda, el modelo utiliza su conocimiento de la emoci\u00f3n y el contexto para crear una respuesta compasiva y \u00fatil. Este enfoque aumenta significativamente la capacidad del chatbot para ayudar a los clientes sin necesidad de una nueva capacitaci\u00f3n exhaustiva.<\/p>\n
Un enfoque com\u00fan para construir un chatbot basado en LLM consiste en utilizar modelos preentrenados, como GPT o BERT, y luego perfeccionarlos con conjuntos de datos espec\u00edficos del dominio. Los modelos preentrenados se entrenan con grandes corpus, lo que les permite procesar el lenguaje natural eficazmente. El perfeccionamiento de estos modelos implica entrenarlos con conjuntos de datos m\u00e1s peque\u00f1os y espec\u00edficos para un caso de uso particular, como atenci\u00f3n al cliente o documentaci\u00f3n interna. Este enfoque permite al chatbot aprovechar las amplias capacidades ling\u00fc\u00edsticas del modelo preentrenado sin perder de vista las caracter\u00edsticas del dominio objetivo.<\/p>\n
RAG combina la recuperaci\u00f3n de informaci\u00f3n relevante de fuentes externas con las capacidades generativas de los LLM. En un chatbot basado en RAG, cuando un usuario env\u00eda una consulta, el modelo primero consulta una base de conocimiento externa o una base de datos para obtener informaci\u00f3n relevante. La informaci\u00f3n recuperada se pasa al modelo generativo, que la utiliza para generar una respuesta. Este enfoque mejora la precisi\u00f3n de las respuestas al basarlas en datos en tiempo real, lo que lo hace especialmente \u00fatil para aplicaciones que requieren informaci\u00f3n actualizada. La principal ventaja de RAG reside en su capacidad para generar respuestas contextualmente precisas sin necesidad de un entrenamiento exhaustivo con conjuntos de datos espec\u00edficos del dominio.<\/p>\n
Por ejemplo, si el chatbot interno de Oso utiliza un enfoque basado en RAG para responder a las preguntas de los desarrolladores, puede consultar la documentaci\u00f3n interna m\u00e1s reciente, as\u00ed como los repositorios de GitHub, antes de generar una respuesta para garantizar que los desarrolladores reciban las respuestas m\u00e1s actualizadas y precisas sobre el sistema de permisos de Oso. La integraci\u00f3n de la recuperaci\u00f3n de datos en tiempo real con el modelo generativo permite obtener respuestas m\u00e1s precisas y personalizadas, lo que reduce la necesidad de actualizaciones frecuentes o de reentrenamiento del chatbot.<\/p>\n
Sin embargo, la implementaci\u00f3n de sistemas RAG puede ser compleja, ya que requiere la integraci\u00f3n de fuentes de datos externas y la gesti\u00f3n de procesos de recuperaci\u00f3n. Adem\u00e1s, garantizar la calidad y la relevancia de los datos es esencial para mantener la eficacia del sistema.<\/p>\n
Los sistemas basados en reglas operan con un conjunto de reglas predefinidas, donde un chatbot sigue patrones espec\u00edficos o \u00e1rboles de decisi\u00f3n para generar respuestas. Este enfoque se utiliza generalmente para tareas con un alcance definido, como responder preguntas frecuentes o ejecutar comandos espec\u00edficos. Los sistemas basados en reglas no requieren datos de entrenamiento a gran escala, lo que los hace menos intensivos en recursos que los sistemas basados en LLM. Sin embargo, tienen limitaciones para gestionar entradas inesperadas del usuario o conversaciones complejas, ya que solo pueden responder seg\u00fan las reglas definidas inicialmente. Con el tiempo, pueden requerir mantenimiento para adaptarse a las cambiantes necesidades de los usuarios o a los requisitos del negocio.<\/p>\n
En Oso, un ejemplo de chatbot basado en reglas podr\u00eda incluir preguntas predefinidas como "Mu\u00e9strame el alcance de este proyecto de migraci\u00f3n" o "\u00bfEn qu\u00e9 parte del c\u00f3digo definimos la funci\u00f3n?". El chatbot responde seg\u00fan estas reglas fijas. Si bien este enfoque funciona bien con preguntas bien definidas, no puede gestionar entradas m\u00e1s complejas o inesperadas y requiere la derivaci\u00f3n a un agente humano o la actualizaci\u00f3n del conjunto de reglas.<\/p>\n
Los enfoques h\u00edbridos combinan las ventajas de los LLM, los RAG y los sistemas basados en reglas para superar las limitaciones de cada m\u00e9todo. Por ejemplo, un chatbot podr\u00eda usar LLM para procesar y comprender la entrada en lenguaje natural, RAG para recuperar informaci\u00f3n relevante de una fuente externa y usar l\u00f3gica basada en reglas para tareas espec\u00edficas o para ejecutar flujos de trabajo estructurados. Este enfoque permite al chatbot gestionar tanto consultas din\u00e1micas y contextuales como tareas que requieren respuestas predefinidas y r\u00edgidas. Sin embargo, los sistemas h\u00edbridos introducen complejidades en el dise\u00f1o y el mantenimiento, ya que requieren la integraci\u00f3n de m\u00faltiples componentes y garantizan una interacci\u00f3n fluida entre diferentes m\u00e9todos.<\/p>\n
Las soluciones basadas en API permiten que un chatbot interact\u00fae con sistemas externos para recuperar datos, activar acciones o realizar funciones espec\u00edficas. Este enfoque es especialmente \u00fatil para chatbots que necesitan acceder a datos en tiempo real, realizar transacciones o integrarse con otros sistemas de software. Por ejemplo, un chatbot puede llamar a una API para recuperar datos de clientes o procesar una solicitud de pago. Si bien las soluciones basadas en API ampl\u00edan las capacidades de un chatbot m\u00e1s all\u00e1 de las simples tareas conversacionales, tambi\u00e9n crean dependencias de servicios externos. Estas dependencias pueden generar posibles puntos de fallo si las API externas fallan, tienen acceso limitado o sufren cambios que alteren la compatibilidad con el chatbot. Adem\u00e1s, el uso de API externas plantea cuestiones de seguridad y privacidad de datos, especialmente al tratar con informaci\u00f3n confidencial o personal.<\/p>\n
Al desarrollar un chatbot basado en un LLM, es fundamental considerar los posibles riesgos de seguridad que podr\u00edan comprometer tanto la integridad del chatbot como la privacidad de datos confidenciales. Uno de los principales riesgos es el enga\u00f1o, en el que el LLM produce informaci\u00f3n falsa o enga\u00f1osa. Esto puede ser peligroso, especialmente en \u00e1reas de gran importancia como la atenci\u00f3n al cliente o la documentaci\u00f3n interna, donde un asesoramiento incorrecto puede generar confusi\u00f3n o incluso p\u00e9rdidas financieras.<\/p>\n
Los permisos son cruciales para proteger un chatbot, especialmente al restringir el acceso a informaci\u00f3n confidencial. Sin controles de acceso adecuados, existe un riesgo considerable de que usuarios no autorizados accedan a informaci\u00f3n a la que no deber\u00edan tener acceso.<\/p>\n
Por ejemplo, si no se aplican las restricciones de acceso adecuadas, un chatbot podr\u00eda revelar inadvertidamente detalles del rendimiento personal de un empleado. De igual manera, si el chatbot carece de medidas de seguridad para evitar consultas no autorizadas, podr\u00eda quedar expuesta informaci\u00f3n confidencial, como el historial familiar de un compa\u00f1ero.<\/p>\n
Otras posibles historias de terror podr\u00edan incluir:<\/p>\n
Como resultado, desarrollar chatbots LLM seguros requiere un equilibrio preciso entre t\u00e9cnicas avanzadas de IA y mecanismos de autenticaci\u00f3n robustos. Al integrar la recuperaci\u00f3n aumentada, aprovechar modelos preentrenados e implementar controles de acceso robustos basados en roles, las empresas pueden garantizar que sus chatbots no solo sean eficientes, sino tambi\u00e9n seguros, ofreciendo interacciones personalizadas y contextualmente precisas.<\/p>\n
Para obtener m\u00e1s informaci\u00f3n sobre c\u00f3mo construir su chatbot LLM y protegerlo mediante autenticaci\u00f3n, \u00fanase al seminario web de O'Reilly SuperStream: Recuperaci\u00f3n-Generaci\u00f3n Aumentada en Producci\u00f3n.<\/p>","protected":false},"excerpt":{"rendered":"Introducci\u00f3n: Trabajamos con licencias, que son nuestro sustento. Los LLM no lo son. Pero recientemente hemos estado trabajando con\u2026","protected":false},"author":1,"featured_media":16871,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_yoast_wpseo_focuskw":"\u0686\u062a\u200c\u0628\u0627\u062a\u200c\u0647\u0627\u06cc LLM","_yoast_wpseo_title":"","_yoast_wpseo_metadesc":"LLM\u0647\u0627 \u06cc\u0627 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0632\u0628\u0627\u0646\u06cc \u0628\u0632\u0631\u06af\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u067e\u06cc\u0634\u0631\u0641\u062a\u0647 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0647\u0633\u062a\u0646\u062f \u06a9\u0647 \u0628\u0631 \u0631\u0648\u06cc \u062d\u062c\u0645 \u0648\u0633\u06cc\u0639\u06cc \u0627\u0632 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0622\u0645\u0648\u0632\u0634 \u062f\u06cc\u062f\u0647\u200c\u0627\u0646\u062f \u062a\u0627 \u0628\u0627 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc \u0645\u062d\u062a\u0645\u0644\u200c\u062a\u0631\u06cc\u0646 \u062a\u0648\u0627\u0644\u06cc \u06a9\u0644\u0645\u0627\u062a \u0628\u0631 \u0627\u0633\u0627\u0633 \u0645\u062a\u0646\u060c \u0632\u0628\u0627\u0646 \u0627\u0646\u0633\u0627\u0646\u200c\u0645\u0627\u0646\u0646\u062f \u0631\u0627 \u062f\u0631\u06a9 \u0648 \u062a\u0648\u0644\u06cc\u062f \u06a9\u0646\u0646\u062f.","_yoast_wpseo_canonical":"","_yoast_wpseo_opengraph-description":"","_yoast_wpseo_opengraph-image":"","_yoast_wpseo_twitter-description":"","_yoast_wpseo_twitter-image":"","_yoast_wpseo_focuskeywords":"[]","_yoast_wpseo_primary_category":"","footnotes":""},"categories":[193],"tags":[],"class_list":{"0":"post-16868","1":"post","2":"type-post","3":"status-publish","4":"format-standard","5":"has-post-thumbnail","7":"category-tutorials"},"yoast_head":"\n