README.md

Phi Cookbook: Praktiske Eksempler med Microsofts Phi Modeller

Phi er en serie af open source AI-modeller udviklet af Microsoft.

Phi er i øjeblikket den mest kraftfulde og omkostningseffektive lille sprogmodel (SLM) med fremragende resultater inden for flersprogede opgaver, ræsonnement, tekst-/chatgenerering, kodning, billeder, lyd og andre scenarier.

Du kan implementere Phi i skyen eller på edge-enheder, og du kan nemt bygge generative AI-applikationer med begrænset computerkraft.

Følg disse trin for at komme i gang med at bruge disse ressourcer:

1. Fork repository: Klik
2. Klon repository: git clone https://github.com/microsoft/PhiCookBook.git
3. Deltag i Microsoft AI Discord Community og mød eksperter og andre udviklere

Indholdsfortegnelse

• Introduktion

  • Velkommen til Phi-familien
  • Opsætning af dit miljø
  • Forståelse af nøgleteknologier
  • AI-sikkerhed for Phi-modeller
  • Phi hardware-support
  • Phi-modeller og tilgængelighed på tværs af platforme
  • Brug af Guidance-ai og Phi
  • GitHub Marketplace-modeller
  • Azure AI Model Catalog

• Inferens af Phi i forskellige miljøer

  • Hugging Face
  • GitHub-modeller
  • Azure AI Foundry Model Catalog
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Inferens af Phi-familien

  • Inferens af Phi på iOS
  • Inferens af Phi på Android

• Inference Phi i Jetson

  • Inference Phi på AI PC
  • Inference Phi med Apple MLX Framework
  • Inference Phi på Lokal Server
  • Inference Phi på Fjernserver med AI Toolkit
  • Inference Phi med Rust
  • Inference Phi--Vision lokalt
  • Inference Phi med Kaito AKS, Azure Containers (officiel support)

• Kvantisering af Phi-familien

  • Kvantisering af Phi-3.5 / 4 med llama.cpp
  • Kvantisering af Phi-3.5 / 4 med Generative AI-udvidelser til onnxruntime
  • Kvantisering af Phi-3.5 / 4 med Intel OpenVINO
  • Kvantisering af Phi-3.5 / 4 med Apple MLX Framework

• Evaluering af Phi

  • Ansvarlig AI
  • Azure AI Foundry til Evaluering
  • Brug af Promptflow til Evaluering

• RAG med Azure AI Search

  • Sådan bruges Phi-4-mini og Phi-4-multimodal (RAG) med Azure AI Search

• Phi applikationsudviklings-eksempler

  • Tekst- og chatapplikationer
    • Phi-4 Eksempler 🆕
      • [📓] Chat med Phi-4-mini ONNX Model
      • Chat med Phi-4 lokal ONNX Model .NET
      • Chat .NET Konsolapp med Phi-4 ONNX ved brug af Semantic Kernel
    • Phi-3 / 3.5 Eksempler
      • Lokal chatbot i browseren ved brug af Phi3, ONNX Runtime Web og WebGPU
      • OpenVino Chat
      • Multi Model - Interaktiv Phi-3-mini og OpenAI Whisper
      • MLFlow - Bygning af en wrapper og brug af Phi-3 med MLFlow
      • Modeloptimering - Sådan optimeres Phi-3-mini model til ONNX Runtime Web med Olive
      • WinUI3 App med Phi-3 mini-4k-instruct-onnx
      • WinUI3 Multi Model AI-drevet Notes App Eksempel
      • Finjuster og integrer brugerdefinerede Phi-3 modeller med Prompt flow
      • Finjuster og integrer brugerdefinerede Phi-3 modeller med Prompt flow i Azure AI Foundry
      • Evaluer den finjusterede Phi-3 / Phi-3.5 Model i Azure AI Foundry med fokus på Microsofts principper for Ansvarlig AI

• [📓] Phi-3.5-mini-instruct sprogforudsigelseseksempel (Kinesisk/Engelsk) - Phi-3.5-Instruct WebGPU RAG Chatbot - Brug af Windows GPU til at skabe Prompt flow-løsning med Phi-3.5-Instruct ONNX - Brug af Microsoft Phi-3.5 tflite til at lave en Android-app - Q&A .NET Eksempel med lokal ONNX Phi-3 model ved brug af Microsoft.ML.OnnxRuntime - Konsol-chat .NET-app med Semantic Kernel og Phi-3

  • Azure AI Inference SDK Kodebaserede Eksempler

    • Phi-4 Eksempler 🆕
      • [📓] Generer projektkode med Phi-4-multimodal
    • Phi-3 / 3.5 Eksempler
      • Byg din egen Visual Studio Code GitHub Copilot Chat med Microsoft Phi-3 Family
      • Skab din egen Visual Studio Code Chat Copilot Agent med Phi-3.5 ved hjælp af GitHub-modeller

  • Avancerede Reasoning Eksempler

    • Phi-4 Eksempler 🆕
      • [📓] Phi-4-mini Reasoning Eksempler

  • Demoer

    • Phi-4-mini demoer hostet på Hugging Face Spaces
    • Phi-4-multimodal demoer hostet på Hugging Face Spaces

  • Vision Eksempler

    • Phi-4 Eksempler 🆕
      • [📓] Brug Phi-4-multimodal til at læse billeder og generere kode
    • Phi-3 / 3.5 Eksempler
      • [📓]Phi-3-vision-Billedtekst til tekst
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP Embedding
      • DEMO: Phi-3 Genbrug
      • Phi-3-vision - Visuel sprogassistent - med Phi3-Vision og OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision multi-frame eller multi-image eksempel
      • Phi-3 Vision Lokal ONNX Model ved brug af Microsoft.ML.OnnxRuntime .NET
      • Menu-baseret Phi-3 Vision Lokal ONNX Model ved brug af Microsoft.ML.OnnxRuntime .NET

  • Audio Eksempler

    • Phi-4 Eksempler 🆕
      • [📓] Ekstrahering af lydtransskriptioner ved hjælp af Phi-4-multimodal
      • [📓] Phi-4-multimodal Audio Eksempel
      • [📓] Phi-4-multimodal Taleoversættelseseksempel
      • .NET konsolapplikation ved brug af Phi-4-multimodal Audio til at analysere en lydfil og generere transskription

  • MOE Eksempler

    • Phi-3 / 3.5 Eksempler
      • [📓] Phi-3.5 Mixture of Experts Models (MoEs) Social Media Eksempel
      • [📓] Opbygning af en Retrieval-Augmented Generation (RAG) Pipeline med NVIDIA NIM Phi-3 MOE, Azure AI Search og LlamaIndex

  • Funktionkald Eksempler

    • Phi-4 Eksempler 🆕
      • [📓] Brug af Funktionkald med Phi-4-mini

  • Multimodal Mixing Eksempler

    • Phi-4 Eksempler 🆕

• [📓] Brug af Phi-4-multimodal som teknologijournalist

  • .NET-konsolapplikation, der bruger Phi-4-multimodal til at analysere billeder

• Finjustering af Phi-eksempler

  • Scenarier for finjustering
  • Finjustering vs RAG
  • Finjustering: Lad Phi-3 blive en brancheekspert
  • Finjustering af Phi-3 med AI Toolkit til VS Code
  • Finjustering af Phi-3 med Azure Machine Learning Service
  • Finjustering af Phi-3 med Lora
  • Finjustering af Phi-3 med QLora
  • Finjustering af Phi-3 med Azure AI Foundry
  • Finjustering af Phi-3 med Azure ML CLI/SDK
  • Finjustering med Microsoft Olive
  • Finjustering med Microsoft Olive Hands-On Lab
  • Finjustering af Phi-3-vision med Weights and Bias
  • Finjustering af Phi-3 med Apple MLX Framework
  • Finjustering af Phi-3-vision (officiel support)
  • Finjustering af Phi-3 med Kaito AKS, Azure Containers (officiel support)
  • Finjustering af Phi-3 og 3.5 Vision

• Hands-On Lab

  • Udforskning af avancerede modeller: LLM'er, SLM'er, lokal udvikling og mere
  • Udnyt NLP's potentiale: Finjustering med Microsoft Olive

• Akademiske forskningsartikler og publikationer

  • Textbooks Are All You Need II: phi-1.5 teknisk rapport
  • Phi-3 teknisk rapport: En yderst kompetent sprogmodel lokalt på din telefon
  • Phi-4 teknisk rapport
  • Optimering af små sprogmodeller til funktionelle opkald i køretøjer
  • (WhyPHI) Finjustering af PHI-3 til multiple-choice spørgsmål: Metodologi, resultater og udfordringer

Brug af Phi-modeller

Phi på Azure AI Foundry

Du kan lære, hvordan du bruger Microsoft Phi, og hvordan du bygger end-to-end-løsninger på dine forskellige hardwareenheder. For at prøve Phi selv kan du starte med at eksperimentere med modellerne og tilpasse Phi til dine scenarier ved hjælp af Azure AI Foundry Azure AI Model Catalog. Du kan lære mere ved at begynde med Azure AI Foundry.

Playground
Hver model har en dedikeret playground til at teste modellen Azure AI Playground.

Phi på GitHub-modeller

Du kan lære, hvordan du bruger Microsoft Phi, og hvordan du bygger end-to-end-løsninger på dine forskellige hardwareenheder. For at prøve Phi selv kan du starte med at eksperimentere med modellen og tilpasse Phi til dine scenarier ved hjælp af GitHub Model Catalog. Du kan lære mere ved at begynde med GitHub Model Catalog.

Playground Hver model har en dedikeret legeplads til at teste modellen.

Phi på Hugging Face

Du kan også finde modellen på Hugging Face

Legeplads
Hugging Chat legeplads

Ansvarlig AI

Microsoft er forpligtet til at hjælpe vores kunder med at bruge vores AI-produkter ansvarligt, dele vores erfaringer og opbygge tillidsbaserede partnerskaber gennem værktøjer som Transparency Notes og Impact Assessments. Mange af disse ressourcer kan findes på https://aka.ms/RAI.
Microsofts tilgang til ansvarlig AI er baseret på vores AI-principper om retfærdighed, pålidelighed og sikkerhed, privatliv og sikkerhed, inklusion, gennemsigtighed og ansvarlighed.

Store sprog-, billed- og tale-modeller – som dem, der bruges i dette eksempel – kan potentielt opføre sig på måder, der er uretfærdige, upålidelige eller stødende, hvilket kan forårsage skader. Konsulter venligst Azure OpenAI service Transparency note for at blive informeret om risici og begrænsninger.

Den anbefalede tilgang til at mindske disse risici er at inkludere et sikkerhedssystem i din arkitektur, der kan opdage og forhindre skadelig adfærd. Azure AI Content Safety tilbyder et uafhængigt lag af beskyttelse, der kan opdage skadeligt bruger- og AI-genereret indhold i applikationer og tjenester. Azure AI Content Safety inkluderer tekst- og billed-API'er, der gør det muligt at opdage skadeligt materiale. Inden for Azure AI Foundry giver Content Safety-tjenesten dig mulighed for at se, udforske og afprøve eksempler på kode til at opdage skadeligt indhold på tværs af forskellige modaliteter. Følgende quickstart-dokumentation guider dig igennem, hvordan du laver forespørgsler til tjenesten.

En anden faktor, der skal tages i betragtning, er den overordnede applikationsydelse. For multimodale og multi-model applikationer betyder ydeevne, at systemet fungerer som forventet af dig og dine brugere, herunder ikke at generere skadelige output. Det er vigtigt at vurdere ydeevnen af din samlede applikation ved hjælp af Performance and Quality og Risk and Safety evaluators. Du har også mulighed for at oprette og evaluere med custom evaluators.

Du kan evaluere din AI-applikation i dit udviklingsmiljø ved hjælp af Azure AI Evaluation SDK. Ved enten at bruge et testdatasæt eller et mål bliver dine generative AI-applikationers output kvantitativt målt med indbyggede eller brugerdefinerede evaluators efter eget valg. For at komme i gang med Azure AI Evaluation SDK til at evaluere dit system kan du følge quickstart-guiden. Når du har udført en evalueringskørsel, kan du visualisere resultaterne i Azure AI Foundry.

Varemærker

Dette projekt kan indeholde varemærker eller logoer for projekter, produkter eller tjenester. Autoriseret brug af Microsofts varemærker eller logoer er underlagt og skal følge Microsoft's Trademark & Brand Guidelines.
Brug af Microsofts varemærker eller logoer i modificerede versioner af dette projekt må ikke skabe forvirring eller antyde Microsoft-sponsorering. Enhver brug af tredjeparts varemærker eller logoer er underlagt de pågældende tredjeparts politikker.

Ansvarsfraskrivelse:
Dette dokument er blevet oversat ved hjælp af AI-baserede maskinoversættelsestjenester. Selvom vi bestræber os på at opnå nøjagtighed, skal det bemærkes, at automatiserede oversættelser kan indeholde fejl eller unøjagtigheder. Det originale dokument på dets oprindelige sprog bør betragtes som den autoritative kilde. For kritisk information anbefales professionel menneskelig oversættelse. Vi påtager os intet ansvar for misforståelser eller fejltolkninger, der måtte opstå som følge af brugen af denne oversættelse.