Aumento de modelos de lenguaje de gran tamaño a través de incrustaciones vectoriales para mejorar la capacidad de respuesta específica del dominio

Nuestra investigación se centra en una amplia variedad de aplicaciones de aprendizaje automático y modelos de lenguaje de gran tamaño en la atención del cáncer. Esto incluye mejorar la atención directa al paciente y abordar los desafíos operativos, como la programación y la documentación. En última instancia, estamos tratando de responder a la pregunta: ¿Cómo pueden estas tecnologías mejorar la atención médica para los pacientes, los proveedores y los investigadores?

Los grandes modelos lingüísticos ya han comenzado a transformar el panorama de la investigación. Las tareas de procesamiento del lenguaje natural, que antes eran prohibitivas, se han vuelto accesibles para muchos más investigadores, lo que ha permitido muchas nuevas líneas de investigación que involucran datos no estructurados. Un desafío importante es el panorama rápidamente cambiante de las grandes herramientas e infraestructura de modelos de lenguaje.

Muchos clínicos e investigadores pueden tener ideas para las aplicaciones, pero actualmente no tienen el conocimiento contextual o técnico necesario para la implementación, o una consideración reflexiva de las compensaciones de los diferentes enfoques. Para comenzar, instale Git, python y PIP en el equipo y ejecute los comandos en un terminal para verificar la instalación. A continuación, ejecute el comando git clone para descargar el repositorio e instalar los requisitos necesarios.

Para crear una base de datos vectorial, edite la configuración. py, reemplazando el valor de la siguiente variable por la ruta de acceso del archivo a la carpeta que contiene los documentos que se usarán para aumentar el modelo de lenguaje grande. A continuación, guarde el archivo actualizado en el directorio de artículos.

A continuación, en un terminal en el mismo directorio, ejecute el código con el comando Python 3 build index para crear y conservar la base de datos. Compruebe si la base de datos está guardada en la carpeta de la base de datos vectorial. Para consultar el LLM aumentado, ejecute el llm aumentado de ejecución de Python 3.

py en el terminal. Pruebe las consultas de los usuarios para recibir respuestas aumentadas por los datos del conjunto de documentos. A continuación, pulse control más C para salir cuando haya terminado.

Para crear preguntas múltiples, edite las preguntas del archivo. De hecho, la mayoría de las personas que se encuentran en el ámbito de la información están en condiciones de crear una serie de ejemplos. Agregue preguntas que sigan un formato similar y guarde el archivo.

Para editar la configuración. pi, agregue la clave API para abrir AI o abrazar la cara. Si el objetivo es compararlo con modelos de cualquiera de los proveedores.

Ahora guarde el archivo. A continuación, edite los llms de comparación. py y elija el conjunto de modelos con los que realizar la prueba.

Después de descomentar los modelos con los que comparar. Finalmente, en un terminal, ejecute el código con el comando compare llms y después de la ejecucióni Ver las respuestas del modelo en la carpeta especificada para calificar u otra revisión. Entre los MCQ probados, el modelo de incrustación funcionó significativamente mejor que el básico, al igual que los modelos de IA abierta aumentada.