Skip to content

Latest commit

 

History

History
47 lines (36 loc) · 1.71 KB

ai.md

File metadata and controls

47 lines (36 loc) · 1.71 KB

Backend AI

Projekt komunikuje się z modelem językowym na backendzie, w tym momencie dostosowany jest do serwerów, które oferują API podobne do tego, które oferuje OpenAI, więc można wykorzystać zarówno oficjalny system OpenAI, jak i produkty w rodzaju vLLM, serwera llama.cpp lub ollama.

ollama

Ollama to najłatwiejszy sposób na uruchomienie modelu na własnym komputerze - wystarczy zainstalować oprogramowanie, wydać komendę ollama pull mistral i ollama serve aby uruchomić kompatybilny z OpenAI serwer na własnym komputerze, który będzie mogł uruchamiać popularny i mało wymagający model Mistral-7B. Ollama dostępna jest zarówno dla Windows, Linuksa, jak i macOS i dostosowana jest zarówno do wykorzystania CUDA na kartach NVIDII, jak i ROCm na kartach graficznych AMD (lub pozwala również skorzystać tylko z procesora).

Konfiguracja backendu AI w aplikacji

Konfiguracja backendu AI jest oparta o plik sekretów (secrets.json), aby klucz API (potencjalnie bardzo wrażliwa informacja) nie "wyciekł", a także, aby każdy programista mógł korzystać z własnej konfiguracji AI.

Przeczytaj dokumentację..

Sekrety aplikacji definiują URL serwera i domyślny model, na przykład:

"AiBackend": {
    "EndpointUrl": "http://127.0.0.1:11434",
    "Model": "mistral"
}

Opcjonalnie można również dostarczyć klucz API wykorzystywany do komunikacji:

"AiBackend": {
    "EndpointUrl": "http://127.0.0.1:11434",
    "Model": "mistral",
    "ApiKey": "this is a secret"
}

URL i klucz API serwera uczelnianego są na Discordzie.