Microsoft lanza herramientas para crear aplicaciones de IA "más seguras y fiables"

"Con estas incorporaciones, el portfolio de soluciones que Microsoft ofrece con Azure AI continúa proporcionando tecnologías innovadoras para salvaguardar aplicaciones a lo largo del ciclo de vida de la IA generativa", destaca la firma.

Para combatir los ataques de inyección de prompts, tanto los directos, conocidos como jailbreaks, como los indirectos, Microsoft ha introducido Prompt Shields para detectar entradas sospechosas en tiempo real y bloquearlas antes de que lleguen al modelo base. Este enfoque, asegura la firma, "salvaguarda la integridad de los grandes sistemas de modelos de lenguaje (LLM) y las interacciones de los usuarios".

Microsoft también ha anunciado la próxima disponibilidad de Groundedness detection, una nueva función diseñada para identificar las alucinaciones basadas en texto (casos en que un modelo genera con confianza resultados que no coinciden con el sentido común o carecen de datos de base). Esta función detecta "material no fundamentado" en el texto para mejorar la calidad de los resultados de LLM.

"Identificar las alucinaciones es crucial para mejorar la calidad y la fiabilidad de los sistemas de IA generativa, pues este problema puede manifestarse de distintas formas, desde pequeñas imprecisiones hasta resultados totalmente falsos", explica la firma.

Asimismo, la compañía ha anunciado que pronto estarán disponibles plantillas de mensajes de sistema de seguridad directamente en los playgrounds Azure AI Studio y Azure OpenAI Service de forma predeterminada. "Desarrolladas para mitigar la generación de contenido dañino y el uso indebido, estas plantillas pueden ayudar a los desarrolladores a empezar a crear aplicaciones de alta calidad en menos tiempo", detalla.