Skip to content

Latest commit

 

History

History
45 lines (27 loc) · 5.75 KB

Android_Inference.md

File metadata and controls

45 lines (27 loc) · 5.75 KB

ਐਂਡਰਾਇਡ ਵਿੱਚ Phi-3 ਤੇ ਅਨੁਮਾਨ

ਆਓ ਵੇਖੀਏ ਕਿ ਤੁਸੀਂ Phi-3-mini ਨਾਲ ਐਂਡਰਾਇਡ ਡਿਵਾਈਸਾਂ 'ਤੇ ਅਨੁਮਾਨ ਕਿਵੇਂ ਕਰ ਸਕਦੇ ਹੋ। Phi-3-mini ਮਾਈਕਰੋਸਾਫਟ ਦੀ ਮਾਡਲਾਂ ਦੀ ਇੱਕ ਨਵੀਂ ਸੀਰੀਜ਼ ਹੈ ਜੋ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) ਨੂੰ ਐਜ ਡਿਵਾਈਸਾਂ ਅਤੇ IoT ਡਿਵਾਈਸਾਂ 'ਤੇ ਤੈਨਾਤ ਕਰਨ ਦੀ ਸਮਰਥਾ ਦਿੰਦੀ ਹੈ।

ਸੈਮਾਂਟਿਕ Kernel ਅਤੇ ਅਨੁਮਾਨ

ਸੈਮਾਂਟਿਕ Kernel ਇੱਕ ਐਪਲੀਕੇਸ਼ਨ ਫਰੇਮਵਰਕ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਐਪਲੀਕੇਸ਼ਨ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ ਜੋ Azure OpenAI Service, OpenAI ਮਾਡਲਾਂ, ਅਤੇ ਇੱਥੋਂ ਤੱਕ ਕਿ ਲੋਕਲ ਮਾਡਲਾਂ ਨਾਲ ਵੀ ਅਨੁਕੂਲ ਹੁੰਦੇ ਹਨ। ਜੇਕਰ ਤੁਸੀਂ ਸੈਮਾਂਟਿਕ Kernel ਲਈ ਨਵੇਂ ਹੋ, ਤਾਂ ਅਸੀਂ ਤੁਹਾਨੂੰ ਸਿਫਾਰਸ਼ ਕਰਦੇ ਹਾਂ ਕਿ ਤੁਸੀਂ ਸੈਮਾਂਟਿਕ Kernel ਕੂਕਬੁੱਕ ਵੇਖੋ।

ਸੈਮਾਂਟਿਕ Kernel ਵਰਤ ਕੇ Phi-3-mini ਤੱਕ ਪਹੁੰਚਣਾ

ਤੁਸੀਂ ਇਸਨੂੰ ਸੈਮਾਂਟਿਕ Kernel ਵਿੱਚ Hugging Face Connector ਨਾਲ ਜੋੜ ਸਕਦੇ ਹੋ। ਇਸ ਨਮੂਨਾ ਕੋਡ ਨੂੰ ਵੇਖੋ।

ਮੂਲ ਰੂਪ ਵਿੱਚ, ਇਹ Hugging Face 'ਤੇ ਮਾਡਲ ID ਨੂੰ ਸਬੰਧਿਤ ਕਰਦਾ ਹੈ। ਹਾਲਾਂਕਿ, ਤੁਸੀਂ ਇੱਕ ਲੋਕਲ ਬਣਾਏ ਗਏ Phi-3-mini ਮਾਡਲ ਸਰਵਰ ਨਾਲ ਵੀ ਕਨੈਕਟ ਕਰ ਸਕਦੇ ਹੋ।

Ollama ਜਾਂ LlamaEdge ਨਾਲ Quantized ਮਾਡਲਾਂ ਨੂੰ ਕਾਲ ਕਰਨਾ

ਬਹੁਤ ਸਾਰੇ ਯੂਜ਼ਰ ਮਾਡਲਾਂ ਨੂੰ ਲੋਕਲ ਰੂਪ ਵਿੱਚ ਚਲਾਉਣ ਲਈ Quantized ਮਾਡਲਾਂ ਵਰਤਣਾ ਪਸੰਦ ਕਰਦੇ ਹਨ। Ollama ਅਤੇ LlamaEdge ਵੱਖ-ਵੱਖ Quantized ਮਾਡਲਾਂ ਨੂੰ ਕਾਲ ਕਰਨ ਦੀ ਸਮਰਥਾ ਦਿੰਦੇ ਹਨ:

Ollama

ਤੁਸੀਂ ਸਿੱਧੇ ollama run Phi-3 ਚਲਾ ਸਕਦੇ ਹੋ ਜਾਂ ਆਪਣੇ .gguf ਫਾਇਲ ਦੇ ਪਾਥ ਨਾਲ Modelfile ਬਣਾਕੇ ਇਸਨੂੰ ਆਫਲਾਈਨ ਕਨਫਿਗਰ ਕਰ ਸਕਦੇ ਹੋ।

FROM {Add your gguf file path}
TEMPLATE \"\"\"<|user|> .Prompt<|end|> <|assistant|>\"\"\"
PARAMETER stop <|end|>
PARAMETER num_ctx 4096

ਨਮੂਨਾ ਕੋਡ

LlamaEdge

ਜੇਕਰ ਤੁਸੀਂ .gguf ਫਾਇਲਾਂ ਨੂੰ ਕਲਾਊਡ ਅਤੇ ਐਜ ਡਿਵਾਈਸਾਂ 'ਤੇ ਇੱਕੋ ਸਮੇਂ ਵਰਤਣਾ ਚਾਹੁੰਦੇ ਹੋ, ਤਾਂ LlamaEdge ਇੱਕ ਸ਼ਾਨਦਾਰ ਚੋਣ ਹੈ। ਸ਼ੁਰੂਆਤ ਕਰਨ ਲਈ ਇਸ ਨਮੂਨਾ ਕੋਡ ਨੂੰ ਵੇਖੋ।

ਐਂਡਰਾਇਡ ਫੋਨ 'ਤੇ ਇੰਸਟਾਲ ਅਤੇ ਚਲਾਉਣਾ

  1. MLC Chat ਐਪ ਡਾਊਨਲੋਡ ਕਰੋ (ਮੁਫਤ) ਐਂਡਰਾਇਡ ਫੋਨ ਲਈ।
  2. APK ਫਾਇਲ (148MB) ਡਾਊਨਲੋਡ ਕਰੋ ਅਤੇ ਆਪਣੇ ਡਿਵਾਈਸ 'ਤੇ ਇੰਸਟਾਲ ਕਰੋ।
  3. MLC Chat ਐਪ ਲਾਂਚ ਕਰੋ। ਤੁਹਾਨੂੰ AI ਮਾਡਲਾਂ ਦੀ ਸੂਚੀ ਨਜ਼ਰ ਆਏਗੀ, ਜਿਸ ਵਿੱਚ Phi-3-mini ਵੀ ਸ਼ਾਮਲ ਹੈ।

ਸੰਖੇਪ ਵਿੱਚ, Phi-3-mini ਐਜ ਡਿਵਾਈਸਾਂ 'ਤੇ ਜਨਰੇਟਿਵ AI ਲਈ ਰੋਮਾਂਚਕ ਸੰਭਾਵਨਾਵਾਂ ਖੋਲ੍ਹਦਾ ਹੈ, ਅਤੇ ਤੁਸੀਂ ਇਸਦੀ ਸਮਰਥਾਵਾਂ ਨੂੰ ਐਂਡਰਾਇਡ 'ਤੇ ਐਕਸਪਲੋਰ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰ ਸਕਦੇ ਹੋ।

ਅਸਵੀਕਾਰਤਾ:
ਇਹ ਦਸਤਾਵੇਜ਼ ਮਸ਼ੀਨ-ਆਧਾਰਿਤ AI ਅਨੁਵਾਦ ਸੇਵਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਅਨੁਵਾਦ ਕੀਤਾ ਗਿਆ ਹੈ। ਜਦੋਂ ਕਿ ਅਸੀਂ ਸਹੀ ਹੋਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦੇ ਹਾਂ, ਕਿਰਪਾ ਕਰਕੇ ਧਿਆਨ ਵਿੱਚ ਰੱਖੋ ਕਿ ਸਵੈਚਾਲਿਤ ਅਨੁਵਾਦਾਂ ਵਿੱਚ ਗਲਤੀਆਂ ਜਾਂ ਅਸੁਨਖੇਪਤਾ ਹੋ ਸਕਦੀ ਹੈ। ਮੂਲ ਦਸਤਾਵੇਜ਼ ਨੂੰ ਇਸਦੀ ਮੂਲ ਭਾਸ਼ਾ ਵਿੱਚ ਅਧਿਕਾਰਕ ਸਰੋਤ ਮੰਨਿਆ ਜਾਣਾ ਚਾਹੀਦਾ ਹੈ। ਮਹੱਤਵਪੂਰਨ ਜਾਣਕਾਰੀ ਲਈ, ਪੇਸ਼ੇਵਰ ਮਨੁੱਖੀ ਅਨੁਵਾਦ ਦੀ ਸਿਫਾਰਿਸ਼ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇਸ ਅਨੁਵਾਦ ਦੇ ਪ੍ਰਯੋਗ ਤੋਂ ਪੈਦਾ ਹੋਈ ਕਿਸੇ ਵੀ ਗਲਤ ਫਹਿਮੀ ਜਾਂ ਗਲਤ ਵਿਆਖਿਆ ਲਈ ਅਸੀਂ ਜ਼ਿੰਮੇਵਾਰ ਨਹੀਂ ਹਾਂ।