Видео

Buenas, eres un crack y estamos aprendiendo mucho con tus videos. Tengo una duda y no he visto ningún video sobre ello (o no he sabido encontarlo). ¿Cuál es la mejor forma de tener múltiples peticiones a un único LLM sin que necesitemos una cantidad ingente memoria? ¿Un gestor de colas estilo RabbitMq? ¿Algo más especifico? Gracias

hola, instale lm studio en un nitro 5 i5 9 generacion, nvidia 1650 corre a 6 t/s

Buenas, excelente el video. Como le indico a ollma que utilice la GPU y no la CPU?

Eres lo máximo,,,, todos tus videos son interesantes. Saludos desde Perú.!

jajaja me gusta el toque musical

Algo que todavía por más que he buscado no he encontrado, es el uso de un Orange PI 5 para emular un android. Actualmente estoy teniendo que dejar mi ordenador encendido para emular un android con bluestacks, pero estoy valorando comprarme uno de los modelos orange PI 5 con Genymotion u otro software para dejarlo encendido todo el día. ¿Sabrías un poco al respecto? ¿Lo desrecomendarías por alguna razón? Gracias de antemano y saludos

felicitaciones , por el video

gran aporte bro, saludos

Muchas gracias !!!! Lo desconocía.

me volvi loco con esta aplicacion, la verdad probé varios modelos entre ellos Llama3.1, tiene un nivel de error enorme, no es confiable, le cargue varios CSV, PDF, terrible el error, no se si hay alguna version paga o que pero mi experiencia es mala o tal vez los documentos deben cumplir cierto requisito, no se, espero saber el comentario de otros usuarios

Lo siento. Siento no estar de acuerdo, pero me parece un perdida de tiempo esta app si tienes que editar los campos que no supo recoger. En fin esto de la moda de los LLM me parece que se a pegar un castañazo importante.

Buenas, un buen trabajo, te vas un poco a veces por los cerros de Ubeda de lo que es el contexto del directo, pero aún así creo que lo explicas todo bastante bien y se ve que controlas de lo que hablas. Así que enhorabuena por el trabajo....😂😂😂 Una duda personal, entre Anything LLM y Open Webui, cual crees que es más eficiente y da mejores resultados? Propuesta: Seria interesante que hablaras de AutoGPT, considero que ese programa le vendría bien conocerlo a la mayoría de los que estamos aquí. Con respecto a AutoGPT me surge la duda de si usar Auto-GPT 5.1 con la Gui de Neuronic, o usar directamente uno con Gui integrada como podría ser el tractr/auto-gpt:4.0. Ya nos dirás cual es tu experiencia al respecto, si los probaste, o sino animate un día, considero que es un programa muy interesante. Bueno, te mando un saludo y se agradecen tus comentarios.

Hola! genial tus videos! Una consulta si es posible. ¿Qué diferencia hay entre utilizar gpt4all y AnythingLLM para chatear con documentos.

Se puede hacer un RAG con LM Studio? y que con la licencias comerciales o usar esto en el trabajo ...

Hola genio, ya hice una pequeña red de computadores con un modelo libre gracias al video

Hola César, ¿qué tal? Antes que nada me gustaría felicitarte por tu labor, ya son varios vídeos tuyos los que he visto y los encuentro de gran valor divulgativo, estoy aprendiendo mucho. Sin embargo, tengo una consulta específica que no he logrado resolver a día de hoy. Se me ha encargado generar una base de datos que contenga todos los conocimientos pertenecientes a artículos, libros y podcasts de un experto en neurociencia con el fin de que una ia se alimente de estos y pueda manejar información de neurociencia que pertenezca a las conclusiones de este experto. El caso es que tengo un quebradero de cabeza porque no sé cómo hacerlo. He intentado el RAG pero he descubierto que hay un máximo de tokens por interacción, cuando el objetivo final de esta ia es que con una sola pregunta pueda responder basándose en la información de todos los documentos (que son alrededor de 1000000 de palabras, lo que equivale a muchísimos tokens). Entonces contemplé el fine-tuning, pero no sé si es algo accesible para mí o se debería contratar un servicio. No sé si es una tarea que pueda solventarse con RAG ya que no llego a entender del todo cómo funciona el tema de los tokens, en el sentido de cómo lee los documentos, si lo hace todo del tirón, si va en busca de palabras clave para poder abarcar mucho más texto sin tener que analizarlo todo... Mi pregunta es, sin hacerte perder tiempo, si se te ocurre alguna forma de abarcar esta tarea, o cuál es la mejor. Mil gracias de antemano.

Cuanndo descargo el modelo para LMstudio siempre me da un fallo ¿Me das algún consejo?

Excelente y ahora en lo real como lo podríamos hacer con PHP el uplload es facil , el pasarlo a texto igual el tema es como hacemos para interinar con ollama para que tome el texto , analice y responda esperando el proximo video ojala sea con php

Hola Cesar, una pregunta. Permite Anything LLM levantar un servidor como hace LM Studio para poder beneficiarse de ese "pseudoRag" que has montado con Anything LLM y los documentos en vectorial? Muchas gracias y excelente video.

Después de ver este video me siento afortunado de poder acceder en la oficina a una rtx 4080 súper, y si, esa tarjeta de vídeo con 16 gb de Vram va más rápida que el mismo chatgpt en su página web, stable difusión también vuela mientras no se haga uso de scalers 4k o así. Y pensar que el que tiene esa tarjeta en su máquina ( el gerente ) solo la usa para word, excel y ver RUclips 😂😂, pero afortunado que yo siendo el de sistemas puedo por medio de una sesion ssh andar trasteando a través la red local. Definitivamente ese potencial de procesamiento no puede desaprovecharse 😂😂

muy buen video, yo uso una 2060 con º1gb y va de maravillas con ia, con 64gb de ram,he corrido casi todo lo que sale en ias.

que crack

Hola, muchas gracias por tu vídeo, es excelente en todos los sentidos. Una pregunta, acabo de descargar GPT4All y no aparece SBert en los modelos, ¿qué puedo hacer? ¿Puedo instalarlo manualmente de forma fácil?

¡Excelente video sobre el uso de agentes en IA! 👏 Como desarrollador trabajando en este campo, es fascinante ver a Andrew Ng explicar el potencial de estos sistemas. Hablando de aplicaciones prácticas, me gustaría compartir MALLO (MultiAgent LLM Orchestrator), un proyecto que he desarrollado basado en estos conceptos: github.com/bladealex9848/MALLO Pueden probarlo en vivo aquí: mallollm.streamlit.app/ MALLO implementa un sistema multi-agente que integra modelos locales, APIs de OpenAI y Together AI, junto con agentes especializados. Es emocionante ver cómo los conceptos explicados por Andrew Ng se alinean con lo que estamos logrando en la práctica. Lo que más me interesa es cómo estos sistemas de agentes pueden superar a los modelos fundacionales masivos a corto y medio plazo. En MALLO, hemos visto mejoras significativas en eficiencia y precisión, especialmente en dominios especializados como el legal y constitucional. Me pregunto, ¿alguien más está experimentando con sistemas multi-agente en sus proyectos? ¿Qué ventajas han notado en comparación con los enfoques tradicionales de IA? Este video realmente subraya el potencial de los sistemas basados en agentes para revolucionar cómo abordamos problemas complejos con IA. Estoy emocionado por seguir explorando y desarrollando estas ideas. Gracias por compartir esta valiosa información. Es un momento apasionante para estar en el campo de la IA, viendo cómo estos conceptos se materializan en soluciones prácticas y potentes. 🚀 #AgentesIA #MALLO #InnovaciónIA #AndrewNg #IAColaborativa

Muy bueno y muy claro! En la empresa donde trabajo estamos buscando desarrollar un chatbot que le sirva de soporte a los empleados de mesa de entrada (quienes reciben las llamadas y consultas) para poder dar respuesta sobre procesos muy secuenciados y procedimentados a los clientes. Para que tener un poco mas de contexto: La empresa es una incubadora de emprendedores que presta ayuda a pequeñas empresas en lo referido a aplicación a prestamos, grants, seguros necesarios para la accion, constitución de la empresa, etc. Crees que utilizar LLM Studio con Ollama + Anything LLM puede ser una buena opcion para lograr esto? Hay alguna otra opcion que creas viable u optima? En lo referido a los Inputs: se puede usar una base de datos MySQL? Audios de llamadas transcriptos? Desde ya muchas gracias!

Perfecto lo que estuve buscando hace mucho tiempo!!!!! Gracias miles Maestro

Que buen vídeo, me has puesto al día de las novedades y cosas que no conocía en una hora, gracias

Hola! Me gustaría poder aclarar que es tener un Hardware potente o medianamente potente, se me dificulta establecer en que rango esta mi computador para ejecutar un modelo u otro.

¡Muchas gracias por el vídeo! :) Echo en falta timestamps para las secciones en las que hablas de cada modelo, eso ayudaría a poder volver y repetir lo que más me haya interesado en el vídeo.

¿qué seria más importante actualizar, el cpu ryzen (primera generación el más básico o la tarjeta de video gtx 570 ? la tarjeta madre acepta hata pci3.0 y acepta el cpu más potente am4 axistente. Gracias

como se usa el training?

Bro, un reto. Estoy usando LM Studio con LLama 3.1 le paso un scheme de base de datos +200 tablas y convierto la paticion (lenguaje natural) a sentencia SQL y luego PY lo ejecuta. con 3 tablas es facil pero con tantas tablas los modelos fallan e inventan tablas o join de tablas que no existen. algun consejo ?

muchas gracias!

Muy bueno tu canal y lo que compartes, muchas gracias!

Lanzamiento de Modelos Masivos: Meta lanzó LLaMA 3.1 con 405 mil millones de parámetros, superando a GPT-4 y siendo el modelo de código abierto más grande hasta ahora. Este cambio también incluye una licencia más permisiva que permite utilizar estos modelos para generar datos sintéticos para entrenar otros modelos. Evaluación y Comparaciones: LLaMA 3.1 supera en rendimiento a GPT-4 y otros modelos grandes como Claude 3.5 y Sonet en muchas métricas. Comparaciones con modelos más pequeños, como el LLaMA 2 y Mistral, muestran mejoras significativas en eficiencia y rendimiento. Nuevos Modelos y Ampliación de Familias: Microsoft amplió su familia Phi a modelos más grandes con contextos extensos y licencias permisivas. Nvidia lanzó NeMo 4 con 340 mil millones de parámetros, optimizado para generar datos sintéticos. Competencia en el Mercado: Anthropic lanzó Claude 3.5, con una ventana de contexto de 200,000 tokens y coste reducido. OpenAI respondió con una versión más barata de GPT-4. Modelos Disponibles Localmente: Google presentó Gemini y Gemini 2, con mejoras significativas en modelos pequeños y grandes. Mistral y Nvidia colaboraron en Mistral NeMo 12b para uso empresarial. Modelos de China: Alibaba lanzó Qwen 2, entrenado en 27 idiomas y con modelos desde 0.5 hasta 72 mil millones de parámetros. Modelos como Qwen 2 demuestran un rendimiento superior en muchos aspectos comparados con otros modelos abiertos. Modelos Especializados: DeepSpeed 2 de Microsoft y CodeTStral de Mistral se destacan en la generación de código y eficiencia en procesamiento. Agentes y Uso de Herramientas: Nuevos modelos como LLaMA 3 Grok Tool Use Models permiten el uso de herramientas externas. InternLM presentó un modelo con una ventana de contexto de 1 millón de tokens. Modelos de Datos Sintéticos y Multimodalidad: Modelos como Mistral NeMo 12b y Qwen 2 usan datos sintéticos y combinan texto, imágenes y código. Apple y EPFL han trabajado en modelos multimodales que pueden segmentar, describir y modificar imágenes. Avances en Licencias y Disponibilidad: Modelos como DeepSpeed y Florence de Microsoft están disponibles bajo licencias permisivas como MIT y Apache 2.0. Modelos como CodeTStral Mamba utilizan arquitecturas nuevas que escalan mejor con contextos altos.

Un apunte. El LM Studio funciona muy bien, pero no puede ejecutar modelos si tienes una CPU antigua :( (aunque elijas que corra en la GPU)

Lo primero, gracias por el mini-tuto :) Ahora ya está disponible el nuevo modelo, Llama 3.1, e incluso el de tamaño 8b, es bastante competente. Ya no es tan "tonto" como los anteriores ejecutados en local. Por otro lado, la interfaz web para interactuar con el modelo, ahora se llama "Open WebUI" en lugar de "Ollama WebUI". PD: para arrancar el "Open WebUI" veo que era necesario instalar Docker... y madre mía lo pesado que es y cómo ralentiza el equipo :(

Gracias, muy buena información

He visto cientos de videos que prometen eso he probado todo y el porcentaje de éxito de la recuperación 60% si acaso Y eso estoy hablando de documentos sencillos cuando hablamos de documentos complejos ni te cuento Termina uno pagando servicios como la llamaparsw de llamaindex y usando modelos de pago porque si el proceso de Chungking y en Bing es malo pues el modelo te va a responder mal

Por fin vuelves maestro!

Hi bro, esto se puede hacer en LM studio?

Eres mi canal de referencia en IA. Gracias por todo tu gran trabajo.

Suelo usar ollama para correr en local modelos pequeños. Me interesa mucho poder correr Florence o Chamaleon peor no llegan a ollama ¿sería posible que nos digas como tenerlo en un servidor parecido a ollama que lo pueda usar con una Rest api

El mini o es rápido y barato

Hola muchas gracias por tus videos. Sabes que probé Llama3.1 con Ollama cambiando una aplicación de RAG qué tengo y no me responde ninguna pregunta, sin embargo, cambio al modelo anterior y responde muy bien. Incluso subí todos los archivo PDF 😢 y tampoco funcionó. A que se podrá deber esta situación? Saludos.

Gracias

excelente explicación!

Muy buen video, y se puede hacer con phi 3?

Que bien se escucha el audio , felicitaciones por mejorar el equipo , saludos

Muchas gracias por compartir y por tu tiempo!!! tengo la posibilidad de formatear una PC y obtar por windows o Linux. En tu experiencia, en cual S.O. ha corrido mejor? saludos y buena semana.