README.md

Phi Cookbook: Praktični primeri z Microsoftovimi Phi modeli

Phi je serija odprtokodnih AI modelov, ki jih je razvilo podjetje Microsoft.

Phi je trenutno najzmogljivejši in stroškovno najučinkovitejši majhen jezikovni model (SLM), ki dosega odlične rezultate na večjezičnih testih, pri sklepanju, generiranju besedil/klepetov, kodiranju, slikah, zvoku in drugih scenarijih.

Phi lahko namestite v oblak ali na robne naprave, prav tako pa lahko z omejeno računalniško močjo enostavno gradite generativne AI aplikacije.

Sledite tem korakom, da začnete uporabljati te vire:

1. Razvejite repozitorij: Kliknite
2. Klonirajte repozitorij: git clone https://github.com/microsoft/PhiCookBook.git
3. Pridružite se Microsoft AI Discord skupnosti in spoznajte strokovnjake ter druge razvijalce

Kazalo

• Uvod

  • Dobrodošli v družini Phi
  • Nastavitev okolja
  • Razumevanje ključnih tehnologij
  • Varnost AI za Phi modele
  • Podpora za strojno opremo Phi
  • Phi modeli in njihova razpoložljivost na različnih platformah
  • Uporaba Guidance-ai in Phi
  • GitHub Marketplace modeli
  • Azure AI Model Catalog

• Inference Phi v različnih okoljih

  • Hugging Face
  • GitHub modeli
  • Azure AI Foundry Model Catalog
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Inference družine Phi

  • Inference Phi na iOS
  • Inference Phi na Android

• Inferenca Phi na Jetsonu

  • Inferenca Phi na AI PC
  • Inferenca Phi z uporabo Apple MLX Frameworka
  • Inferenca Phi na lokalnem strežniku
  • Oddaljena inferenca Phi na strežniku z uporabo AI Toolkit
  • Inferenca Phi z uporabo Rust-a
  • Inferenca Phi--Vision lokalno
  • Inferenca Phi z uporabo Kaito AKS, Azure Containers (uradna podpora)

• Kvantifikacija družine Phi

  • Kvantifikacija Phi-3.5 / 4 z uporabo llama.cpp
  • Kvantifikacija Phi-3.5 / 4 z uporabo Generative AI razširitev za onnxruntime
  • Kvantifikacija Phi-3.5 / 4 z uporabo Intel OpenVINO
  • Kvantifikacija Phi-3.5 / 4 z uporabo Apple MLX Frameworka

• Evalvacija Phi

  • Odgovorna AI
  • Azure AI Foundry za evalvacijo
  • Uporaba Promptflow za evalvacijo

• RAG z Azure AI Search

  • Kako uporabljati Phi-4-mini in Phi-4-multimodal (RAG) z Azure AI Search

• Primeri razvoja aplikacij s Phi

  • Besedilne in klepetalne aplikacije
    • Primeri Phi-4 🆕
      • [📓] Klepet s Phi-4-mini ONNX modelom
      • Klepet z lokalnim Phi-4 ONNX modelom .NET
      • Konzolna aplikacija .NET za klepet s Phi-4 ONNX z uporabo Semantic Kernel
    • Primeri Phi-3 / 3.5
      • Lokalni chatbot v brskalniku z uporabo Phi3, ONNX Runtime Web in WebGPU
      • OpenVino klepet
      • Večmodelni - interaktivni Phi-3-mini in OpenAI Whisper
      • MLFlow - izdelava ovojnice in uporaba Phi-3 z MLFlow
      • Optimizacija modela - kako optimizirati Phi-3-mini model za ONNX Runtime Web z Olive
      • WinUI3 aplikacija s Phi-3 mini-4k-instruct-onnx
      • WinUI3 večmodelna aplikacija za AI pogovorne zapiske
      • Prilagoditev in integracija prilagojenih modelov Phi-3 z uporabo Prompt flow
      • Prilagoditev in integracija prilagojenih modelov Phi-3 z uporabo Prompt flow v Azure AI Foundry
      • Evalvacija prilagojenega modela Phi-3 / Phi-3.5 v Azure AI Foundry s poudarkom na Microsoftovih načelih odgovorne AI

• [📓] Vzorec napovedi jezika Phi-3.5-mini-instruct (Kitajščina/Angleščina) - Phi-3.5-Instruct WebGPU RAG Chatbot - Uporaba Windows GPU za ustvarjanje rešitve Prompt flow s Phi-3.5-Instruct ONNX - Uporaba Microsoft Phi-3.5 tflite za ustvarjanje Android aplikacije - Primer Q&A .NET z lokalnim ONNX Phi-3 modelom z uporabo Microsoft.ML.OnnxRuntime - Konzolna aplikacija za klepet .NET s Semantic Kernel in Phi-3

  • Azure AI Inference SDK Vzorčne Kode

    • Phi-4 Vzorci 🆕
      • [📓] Generiranje kode projekta z uporabo Phi-4-multimodal
    • Phi-3 / 3.5 Vzorci
      • Ustvarite svoj Visual Studio Code GitHub Copilot Chat z Microsoft Phi-3 družino
      • Ustvarite svojega Visual Studio Code Chat Copilot Agenta s Phi-3.5 z modeli GitHub

  • Vzorci Naprednega Razmišljanja

    • Phi-4 Vzorci 🆕
      • [📓] Phi-4-mini vzorci razmišljanja

  • Demos

    • Phi-4-mini demoji, gostovani na Hugging Face Spaces
    • Phi-4-multimodal demoji, gostovani na Hugging Face Spaces

  • Vzorci Vizije

    • Phi-4 Vzorci 🆕
      • [📓] Uporaba Phi-4-multimodal za branje slik in generiranje kode
    • Phi-3 / 3.5 Vzorci
      • [📓]Phi-3-vision-Prevod slike v besedilo
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP Embedding
      • DEMO: Phi-3 Recikliranje
      • Phi-3-vision - Vizualni jezikovni asistent - s Phi3-Vision in OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision vzorec za več okvirjev ali več slik
      • Phi-3 Vision Lokalni ONNX Model z uporabo Microsoft.ML.OnnxRuntime .NET
      • Meni temelječi Phi-3 Vision Lokalni ONNX Model z uporabo Microsoft.ML.OnnxRuntime .NET

  • Vzorci Zvoka

    • Phi-4 Vzorci 🆕
      • [📓] Izvleček avdio prepisov z uporabo Phi-4-multimodal
      • [📓] Phi-4-multimodal Vzorec zvoka
      • [📓] Phi-4-multimodal Vzorec prevajanja govora
      • .NET konzolna aplikacija z uporabo Phi-4-multimodal za analizo avdio datoteke in generiranje prepisa

  • MOE Vzorci

    • Phi-3 / 3.5 Vzorci
      • [📓] Phi-3.5 Mixture of Experts Models (MoEs) Vzorec za socialna omrežja
      • [📓] Izdelava Retrieval-Augmented Generation (RAG) pipeline z NVIDIA NIM Phi-3 MOE, Azure AI Search in LlamaIndex

  • Vzorci Klicanja Funkcij

    • Phi-4 Vzorci 🆕
      • [📓] Uporaba klicanja funkcij s Phi-4-mini

  • Vzorci Mešanja Multimodalnosti

    • Phi-4 Vzorci 🆕

• [📓] Uporaba Phi-4-multimodal kot tehnološki novinar

  • .NET konzolna aplikacija z uporabo Phi-4-multimodal za analizo slik

• Fino prilagajanje vzorcev Phi

  • Scenariji finega prilagajanja
  • Fine-tuning proti RAG
  • Fine-tuning: Naj Phi-3 postane industrijski strokovnjak
  • Fine-tuning Phi-3 z AI Toolkit za VS Code
  • Fine-tuning Phi-3 z Azure Machine Learning Service
  • Fine-tuning Phi-3 z Lora
  • Fine-tuning Phi-3 z QLora
  • Fine-tuning Phi-3 z Azure AI Foundry
  • Fine-tuning Phi-3 z Azure ML CLI/SDK
  • Fine-tuning z Microsoft Olive
  • Fine-tuning z Microsoft Olive Hands-On Lab
  • Fine-tuning Phi-3-vision z Weights and Bias
  • Fine-tuning Phi-3 z Apple MLX Framework
  • Fine-tuning Phi-3-vision (uradna podpora)
  • Fine-tuning Phi-3 z Kaito AKS, Azure Containers (uradna podpora)
  • Fine-tuning Phi-3 in 3.5 Vision

• Praktične delavnice

  • Raziskovanje najsodobnejših modelov: LLM, SLM, lokalni razvoj in več
  • Odklepanje potenciala NLP: Fine-tuning z Microsoft Olive

• Akademske raziskave in publikacije

  • Učbeniki so vse, kar potrebujete II: tehnično poročilo phi-1.5
  • Tehnično poročilo Phi-3: Zmogljiv jezikovni model na vašem telefonu
  • Tehnično poročilo Phi-4
  • Optimizacija majhnih jezikovnih modelov za klic funkcij v vozilih
  • (WhyPHI) Fine-tuning PHI-3 za odgovarjanje na vprašanja z več izbirami: metodologija, rezultati in izzivi

Uporaba modelov Phi

Phi na Azure AI Foundry

Lahko se naučite, kako uporabljati Microsoft Phi in kako graditi E2E rešitve na različnih strojnih napravah. Da bi sami izkusili Phi, začnite z raziskovanjem modelov in prilagodite Phi za svoje scenarije z uporabo Azure AI Foundry Azure AI Model Catalog. Več lahko izveste v razdelku Začetek z Azure AI Foundry.

Igralnica
Vsak model ima namensko igralnico za testiranje modela Azure AI Playground.

Phi na GitHub Modelih

Lahko se naučite, kako uporabljati Microsoft Phi in kako graditi E2E rešitve na različnih strojnih napravah. Da bi sami izkusili Phi, začnite z raziskovanjem modela in prilagodite Phi za svoje scenarije z uporabo GitHub Model Catalog. Več lahko izveste v razdelku Začetek z GitHub Model Catalog.

Igralnica Vsak model ima namenjen prostor za testiranje modela.

Phi na Hugging Face

Model je na voljo tudi na Hugging Face.

Prostor za testiranje
Hugging Chat playground

Odgovorna uporaba AI

Microsoft se zavezuje, da bo svojim strankam pomagal odgovorno uporabljati AI produkte, delil svoje izkušnje in gradil partnerske odnose, temelječe na zaupanju, s pomočjo orodij, kot so Transparentnost zapiskov in Ocene vplivov. Veliko teh virov je na voljo na https://aka.ms/RAI.
Microsoftov pristop k odgovorni uporabi AI temelji na naših načelih umetne inteligence: pravičnost, zanesljivost in varnost, zasebnost in varovanje podatkov, vključenost, transparentnost in odgovornost.

Veliki modeli za obdelavo naravnega jezika, slik in govora - kot tisti, uporabljeni v tem primeru - se lahko obnašajo na načine, ki so nepravični, nezanesljivi ali žaljivi, kar lahko povzroči škodo. Prosimo, preberite Transparentnost zapiska storitve Azure OpenAI, da se seznanite z morebitnimi tveganji in omejitvami.

Priporočeni pristop za zmanjšanje teh tveganj je vključitev varnostnega sistema v vašo arhitekturo, ki lahko zazna in prepreči škodljivo vedenje. Azure AI Content Safety zagotavlja neodvisno plast zaščite, sposobno zaznati škodljivo vsebino, ki jo ustvarijo uporabniki ali AI, v aplikacijah in storitvah. Azure AI Content Safety vključuje API-je za besedilo in slike, ki omogočajo zaznavanje škodljivega materiala. V okviru Azure AI Foundry storitev Content Safety omogoča pregledovanje, raziskovanje in preizkušanje vzorčne kode za zaznavanje škodljive vsebine v različnih modalitetah. Naslednja dokumentacija za hiter začetek vas vodi skozi postopek pošiljanja zahtevkov storitvi.

Drugi vidik, ki ga je treba upoštevati, je splošna zmogljivost aplikacije. Pri aplikacijah z več modalitetami in modeli zmogljivost pomeni, da sistem deluje, kot pričakujete vi in vaši uporabniki, vključno s tem, da ne ustvarja škodljivih rezultatov. Pomembno je oceniti zmogljivost vaše aplikacije s pomočjo Evaluatorjev za zmogljivost in kakovost ter tveganje in varnost. Prav tako imate možnost ustvariti in oceniti z lastnimi evaluatorji.

Vašo AI aplikacijo lahko ocenite v vašem razvojnem okolju z uporabo Azure AI Evaluation SDK. Na podlagi testnega nabora podatkov ali cilja se generacije vaše generativne AI aplikacije kvantitativno merijo z vgrajenimi evaluatorji ali evaluatorji po vaši izbiri. Za začetek z Azure AI Evaluation SDK za oceno vašega sistema lahko sledite vodniku za hiter začetek. Ko izvedete ocenjevalni proces, lahko vizualizirate rezultate v Azure AI Foundry.

Blagovne znamke

Ta projekt lahko vsebuje blagovne znamke ali logotipe za projekte, izdelke ali storitve. Dovoljena uporaba Microsoftovih blagovnih znamk ali logotipov je predmet in mora slediti Microsoftovim smernicam za blagovne znamke in znamčenje.
Uporaba Microsoftovih blagovnih znamk ali logotipov v spremenjenih različicah tega projekta ne sme povzročati zmede ali nakazovati, da jih sponzorira Microsoft. Vsaka uporaba blagovnih znamk ali logotipov tretjih oseb je predmet politik teh tretjih oseb.

Omejitev odgovornosti:
Ta dokument je bil preveden s pomočjo strojnih storitev umetne inteligence za prevajanje. Čeprav si prizadevamo za natančnost, vas opozarjamo, da lahko avtomatski prevodi vsebujejo napake ali netočnosti. Izvirni dokument v njegovem maternem jeziku je treba obravnavati kot avtoritativni vir. Za ključne informacije priporočamo profesionalni človeški prevod. Ne prevzemamo odgovornosti za morebitna nesporazumevanja ali napačne razlage, ki izhajajo iz uporabe tega prevoda.