README.md

Phi Cookbook: Hands-On Examples with Microsoft's Phi Models

Phi is a series of open-source AI models developed by Microsoft.

Phi is currently the most advanced and cost-effective small language model (SLM), excelling in multiple areas such as multilingual support, reasoning, text/chat generation, coding, images, audio, and more.

You can deploy Phi either in the cloud or on edge devices, enabling you to create generative AI applications even with limited computational resources.

Follow these steps to get started with these resources:

1. Fork the Repository: Click
2. Clone the Repository: git clone https://github.com/microsoft/PhiCookBook.git
3. Join The Microsoft AI Discord Community and meet experts and fellow developers

Table of Contents

• Introduction

  • Welcome to the Phi Family
  • Setting up your environment
  • Understanding Key Technologies
  • AI Safety for Phi Models
  • Phi Hardware Support
  • Phi Models & Availability across platforms
  • Using Guidance-ai and Phi
  • GitHub Marketplace Models
  • Azure AI Model Catalog

• Inference Phi in different environments

  • Hugging Face
  • GitHub Models
  • Azure AI Foundry Model Catalog
  • Ollama
  • AI Toolkit VSCode (AITK)
  • NVIDIA NIM

• Inference Phi Family

  • Inference Phi in iOS
  • Inference Phi in Android

• Inference Phi in Jetson

  • Inference Phi in AI PC
  • Inference Phi with Apple MLX Framework
  • Inference Phi in Local Server
  • Inference Phi in Remote Server using AI Toolkit
  • Inference Phi with Rust
  • Inference Phi--Vision in Local
  • Inference Phi with Kaito AKS, Azure Containers(official support)

• Quantifying Phi Family

  • Quantizing Phi-3.5 / 4 using llama.cpp
  • Quantizing Phi-3.5 / 4 using Generative AI extensions for onnxruntime
  • Quantizing Phi-3.5 / 4 using Intel OpenVINO
  • Quantizing Phi-3.5 / 4 using Apple MLX Framework

• Evaluating Phi

  • Responsible AI
  • Azure AI Foundry for Evaluation
  • Using Promptflow for Evaluation

• RAG with Azure AI Search

  • How to use Phi-4-mini and Phi-4-multimodal(RAG) with Azure AI Search

• Phi application development samples

  • Text & Chat Applications
    • Phi-4 Samples 🆕
      • [📓] Chat With Phi-4-mini ONNX Model
      • Chat with Phi-4 local ONNX Model .NET
      • Chat .NET Console App with Phi-4 ONNX using Semantic Kernel
    • Phi-3 / 3.5 Samples
      • Local Chatbot in the browser using Phi3, ONNX Runtime Web and WebGPU
      • OpenVino Chat
      • Multi Model - Interactive Phi-3-mini and OpenAI Whisper
      • MLFlow - Building a wrapper and using Phi-3 with MLFlow
      • Model Optimization - How to optimize Phi-3-mini model for ONNX Runtime Web with Olive
      • WinUI3 App with Phi-3 mini-4k-instruct-onnx
      • WinUI3 Multi Model AI Powered Notes App Sample
      • Fine-tune and Integrate custom Phi-3 models with Prompt flow
      • Fine-tune and Integrate custom Phi-3 models with Prompt flow in Azure AI Foundry
      • Evaluate the Fine-tuned Phi-3 / Phi-3.5 Model in Azure AI Foundry Focusing on Microsoft's Responsible AI Principles

• [📓] Phi-3.5-mini-instruct 语言预测示例（中文/英文） - Phi-3.5-Instruct WebGPU RAG 聊天机器人 - 使用 Windows GPU 和 Phi-3.5-Instruct ONNX 创建 Prompt 流解决方案 - 使用 Microsoft Phi-3.5 tflite 创建 Android 应用 - 使用 Microsoft.ML.OnnxRuntime 的本地 ONNX Phi-3 模型进行问答 .NET 示例 - 基于语义内核和 Phi-3 的控制台聊天 .NET 应用

  • Azure AI 推理 SDK 基于代码的示例

    • Phi-4 示例 🆕
      • [📓] 使用 Phi-4-multimodal 生成项目代码
    • Phi-3 / 3.5 示例
      • 使用 Microsoft Phi-3 系列构建您自己的 Visual Studio Code GitHub Copilot 聊天
      • 使用 GitHub 模型和 Phi-3.5 创建您自己的 Visual Studio Code 聊天 Copilot 代理

  • 高级推理示例

    • Phi-4 示例 🆕
      • [📓] Phi-4-mini 高级推理示例

  • 演示

    • Phi-4-mini 演示托管在 Hugging Face Spaces 上
    • Phi-4-multimodal 演示托管在 Hugging Face Spaces 上

  • 视觉示例

    • Phi-4 示例 🆕
      • [📓] 使用 Phi-4-multimodal 读取图像并生成代码
    • Phi-3 / 3.5 示例
      • [📓]Phi-3-vision-图像文本转文本
      • Phi-3-vision-ONNX
      • [📓]Phi-3-vision CLIP 嵌入
      • 演示：Phi-3 回收
      • Phi-3-vision - 视觉语言助手 - 使用 Phi3-Vision 和 OpenVINO
      • Phi-3 Vision Nvidia NIM
      • Phi-3 Vision OpenVino
      • [📓]Phi-3.5 Vision 多帧或多图像示例
      • Phi-3 Vision 本地 ONNX 模型，使用 Microsoft.ML.OnnxRuntime .NET
      • 基于菜单的 Phi-3 Vision 本地 ONNX 模型，使用 Microsoft.ML.OnnxRuntime .NET

  • 音频示例

    • Phi-4 示例 🆕
      • [📓] 使用 Phi-4-multimodal 提取音频转录
      • [📓] Phi-4-multimodal 音频示例
      • [📓] Phi-4-multimodal 语音翻译示例
      • .NET 控制台应用，使用 Phi-4-multimodal 音频分析音频文件并生成转录

  • MOE 示例

    • Phi-3 / 3.5 示例
      • [📓] Phi-3.5 专家混合模型 (MoEs) 社交媒体示例
      • [📓] 使用 NVIDIA NIM Phi-3 MOE、Azure AI 搜索和 LlamaIndex 构建检索增强生成 (RAG) 管道

  • 函数调用示例

    • Phi-4 示例 🆕
      • [📓] 使用 Phi-4-mini 进行函数调用

  • 多模态混合示例

    • Phi-4 示例 🆕

• [📓] Phi-4-multimodal-ийг технологийн сэтгүүлчийн хувиар ашиглах

  • .NET консол аппликейшн ашиглан Phi-4-multimodal-аар зураг шинжлэх

• Phi дээжийг нарийвчлан тохируулах

  • Нарийвчилсан тохиргооны хувилбарууд
  • Нарийвчилсан тохиргоо ба RAG
  • Phi-3-ыг салбарын мэргэжилтэн болгох нарийвчилсан тохиргоо
  • VS Code-ийн AI Toolkit ашиглан Phi-3-ыг нарийвчлан тохируулах
  • Azure Machine Learning Service ашиглан Phi-3-ыг нарийвчлан тохируулах
  • Lora ашиглан Phi-3-ыг нарийвчлан тохируулах
  • QLora ашиглан Phi-3-ыг нарийвчлан тохируулах
  • Azure AI Foundry ашиглан Phi-3-ыг нарийвчлан тохируулах
  • Azure ML CLI/SDK ашиглан Phi-3-ыг нарийвчлан тохируулах
  • Microsoft Olive ашиглан нарийвчлан тохируулах
  • Microsoft Olive Hands-On Lab ашиглан нарийвчлан тохируулах
  • Weights and Bias ашиглан Phi-3-vision-ийг нарийвчлан тохируулах
  • Apple MLX Framework ашиглан Phi-3-ыг нарийвчлан тохируулах
  • Phi-3-vision-ийг нарийвчлан тохируулах (албан ёсны дэмжлэг)
  • Kaito AKS болон Azure Containers ашиглан Phi-3-ыг нарийвчлан тохируулах (албан ёсны дэмжлэг)
  • Phi-3 болон 3.5 Vision-ийг нарийвчлан тохируулах

• Практик лаборатори

  • Шинэлэг загваруудыг судлах: LLMs, SLMs, орон нутгийн хөгжүүлэлт ба бусад
  • NLP-ийн боломжийг нээх: Microsoft Olive ашиглан нарийвчлан тохируулах

• Академик судалгааны өгүүллүүд ба нийтлэлүүд

  • Бүх хэрэгтэй зүйл бол сурах бичиг II: phi-1.5 техникийн тайлан
  • Phi-3 Техникийн тайлан: Өндөр чадвартай хэлний загвар таны гар утсан дээр
  • Phi-4 Техникийн тайлан
  • Жижиг хэлний загваруудыг автомашины функц дуудах зориулалтаар оновчтой болгох
  • (WhyPHI) PHI-3-ыг олон сонголттой асуулт хариултын системд нарийвчлан тохируулах: Арга зүй, үр дүн ба сорилтууд

Phi загваруудыг ашиглах

Phi Azure AI Foundry дээр

Microsoft Phi-г хэрхэн ашиглах болон өөр өөр төрлийн техник хангамж дээр E2E шийдэл бүтээх талаар суралцаарай. Phi-г туршиж үзэхийг хүсвэл загваруудтай ажиллаж, өөрийн нөхцөл байдалд тохируулан өөрчлөхөөс эхлээрэй. Azure AI Foundry Azure AI Model Catalog-г ашиглан эхэлж болно. Дэлгэрэнгүй мэдээллийг Azure AI Foundry эхлэх гарын авлага-аас үзнэ үү.

Туршилтын талбар Загвар бүр өөрийн тусгай туршилтын талбартай: Azure AI Playground.

Phi GitHub загварууд дээр

Microsoft Phi-г хэрхэн ашиглах болон өөр өөр төрлийн техник хангамж дээр E2E шийдэл бүтээх талаар суралцаарай. Phi-г туршиж үзэхийг хүсвэл загваруудтай ажиллаж, өөрийн нөхцөл байдалд тохируулан өөрчлөхөөс эхлээрэй. GitHub Model Catalog-г ашиглан эхэлж болно. Дэлгэрэнгүй мэдээллийг GitHub Model Catalog эхлэх гарын авлага-аас үзнэ үү.

Туршилтын талбар प्रत्येक मॉडल के लिए एक समर्पित प्लेग्राउंड है जहाँ आप मॉडल का परीक्षण कर सकते हैं।

Hugging Face पर Phi

आप इस मॉडल को Hugging Face पर भी पा सकते हैं।

प्लेग्राउंड
Hugging Chat प्लेग्राउंड

उत्तरदायी AI

Microsoft अपने ग्राहकों को AI उत्पादों का जिम्मेदारीपूर्वक उपयोग करने में मदद करने, अपनी सीख साझा करने और पारदर्शिता नोट्स और प्रभाव आकलन जैसे उपकरणों के माध्यम से विश्वास-आधारित साझेदारी बनाने के लिए प्रतिबद्ध है। इन संसाधनों में से कई https://aka.ms/RAI पर उपलब्ध हैं।
Microsoft का उत्तरदायी AI के प्रति दृष्टिकोण हमारे AI सिद्धांतों पर आधारित है: निष्पक्षता, विश्वसनीयता और सुरक्षा, गोपनीयता और सुरक्षा, समावेशिता, पारदर्शिता, और जवाबदेही।

प्राकृतिक भाषा, छवि, और वाक् मॉडल जैसे बड़े पैमाने पर मॉडल - जिनका उपयोग इस उदाहरण में किया गया है - संभावित रूप से अनुचित, अविश्वसनीय, या आपत्तिजनक तरीके से व्यवहार कर सकते हैं, जिससे हानि हो सकती है। कृपया Azure OpenAI सेवा पारदर्शिता नोट पढ़ें ताकि जोखिमों और सीमाओं के बारे में जानकारी प्राप्त हो सके।

इन जोखिमों को कम करने के लिए अनुशंसित दृष्टिकोण यह है कि आपकी आर्किटेक्चर में एक सुरक्षा प्रणाली शामिल हो, जो हानिकारक व्यवहार का पता लगा सके और उसे रोक सके। Azure AI कंटेंट सेफ्टी एक स्वतंत्र सुरक्षा परत प्रदान करता है, जो अनुप्रयोगों और सेवाओं में उपयोगकर्ता-जनित और AI-जनित हानिकारक सामग्री का पता लगाने में सक्षम है। Azure AI कंटेंट सेफ्टी में टेक्स्ट और इमेज APIs शामिल हैं, जो हानिकारक सामग्री का पता लगाने की अनुमति देते हैं। Azure AI Foundry के भीतर, कंटेंट सेफ्टी सेवा आपको विभिन्न स्वरूपों में हानिकारक सामग्री का पता लगाने के लिए सैंपल कोड देखने, एक्सप्लोर करने और आज़माने की सुविधा देती है। यह त्वरित शुरुआत दस्तावेज़ीकरण आपको सेवा के लिए अनुरोध करने के निर्देश देता है।

एक और पहलू जिसे ध्यान में रखना चाहिए वह है संपूर्ण एप्लिकेशन का प्रदर्शन। मल्टी-मॉडल और मल्टी-मॉडल एप्लिकेशन के साथ, प्रदर्शन का अर्थ है कि सिस्टम आपकी और आपके उपयोगकर्ताओं की अपेक्षाओं के अनुसार कार्य करता है, जिसमें हानिकारक आउटपुट न उत्पन्न करना शामिल है। यह महत्वपूर्ण है कि आप प्रदर्शन और गुणवत्ता और जोखिम और सुरक्षा मूल्यांकनकर्ताओं का उपयोग करके अपने संपूर्ण एप्लिकेशन के प्रदर्शन का आकलन करें। आपके पास कस्टम मूल्यांकनकर्ता बनाने और उनका मूल्यांकन करने की क्षमता भी है।

आप अपने विकास वातावरण में Azure AI मूल्यांकन SDK का उपयोग करके अपने AI एप्लिकेशन का मूल्यांकन कर सकते हैं। एक परीक्षण डेटासेट या लक्ष्य के साथ, आपके जनरेटिव AI एप्लिकेशन की पीढ़ियों को अंतर्निर्मित मूल्यांकनकर्ताओं या आपके द्वारा चुने गए कस्टम मूल्यांकनकर्ताओं के साथ मात्रात्मक रूप से मापा जाता है। अपने सिस्टम का मूल्यांकन करने के लिए Azure AI मूल्यांकन SDK के साथ शुरुआत करने के लिए, आप त्वरित शुरुआत गाइड का पालन कर सकते हैं। एक बार जब आप मूल्यांकन रन निष्पादित करते हैं, तो आप Azure AI Foundry में परिणामों को विज़ुअलाइज़ कर सकते हैं।

ट्रेडमार्क्स

यह परियोजना प्रोजेक्ट्स, उत्पादों, या सेवाओं के लिए ट्रेडमार्क्स या लोगो शामिल कर सकती है। Microsoft ट्रेडमार्क्स या लोगो का अधिकृत उपयोग Microsoft के ट्रेडमार्क और ब्रांड दिशानिर्देशों का पालन करना चाहिए।
इस परियोजना के संशोधित संस्करणों में Microsoft ट्रेडमार्क्स या लोगो का उपयोग भ्रम पैदा नहीं करना चाहिए या Microsoft प्रायोजन का संकेत नहीं देना चाहिए। किसी भी तीसरे पक्ष के ट्रेडमार्क्स या लोगो का उपयोग उन तीसरे पक्ष की नीतियों के अधीन है।

It seems you want the text translated into "mo," but it's unclear what language "mo" refers to. Could you please clarify? For example, are you referring to Moldovan (Romanian), Maori, Mongolian, or another language?