Podejście do wyceny
Ta strona przedstawia zasady wyceny wdrożeń: metodykę, a nie cennik - bez nieweryfikowalnych kwot, bez deklarowanych zysków bez pokrycia i bez procentów podawanych jako cena. Trzy filary to metodyka szacowania ROI i okresu zwrotu, porównanie chmury z Twoją siecią oraz wskazówki doboru GPU dla Twojej prywatnej infrastruktury.
Trzy metody
Każda z poniższych trzech tabel przedstawia wyłącznie metodologię. Podane liczby to zakresy doboru sprzętu, mnożniki, pasma ufności i cykle zwrotu - kryteria oceny kolejnych bramek i decyzji projektowych, a nie cennik. Tabele warto analizować po kolei: najpierw metodologię ROI i okresu zwrotu, która warunkuje zaangażowanie kapitału na każdym etapie; następnie porównanie chmury z architekturą w Twojej sieci, wynikające z wymogów rezydencji danych; na końcu wskazówki doboru GPU dla infrastruktury w Twojej sieci.
Jak działa model kosztów
Inwestycja to dwie rzeczy: sprzęt kupiony raz, na własność, oraz wdrożenie rozliczane etapami. Kolejny etap otwiera się dopiero wtedy, gdy poprzedni przyniósł działający dowód. Za system, który budujemy, nie płacisz za tokeny ani za stanowiska - dalsze użycie to zwrot z tego, co posiadasz, a nie wyższa faktura. Ten model polecamy. A jeśli Twoja organizacja potrzebuje do części zadań modeli chmurowych, obsłuży je ten sam stos - każde wywołanie widać w jednym miejscu.
Jeśli szukasz punktów odniesienia dla cen chmur i sprzętu na własność, artykuł o pojemności i kontroli w serwisie Wiedza zestawia opublikowane liczby stron trzecich wraz z datami, których dotyczą.
Metodologia ROI i okresu zwrotu
Cztery wymiary metody - każdy etap mierzony względem linii odniesienia z Diagnozy.
| Wymiar bramki | Co mierzy | Jak odnosi się do linii odniesienia z Diagnozy |
|---|---|---|
| Oczekiwany zwrot | Zmierzony mnożnik zwrotu z wdrożonego artefaktu fazy - przyrost przepustowości, skrócenie czasu cyklu lub uniknięty koszt - odniesiony do linii odniesienia z Diagnozy, udokumentowanej przed napisaniem pierwszej linijki kodu. | Artefakt fazy mierzony względem poziomu odniesienia 1,0× wyznaczonego w Diagnozie. Kolejny kapitał jest angażowany tylko wtedy, gdy wynik przekracza pasmo prognozowane dla danej bramki. |
| Pasmo ufności | Przedział od wartości minimalnej do maksymalnej wokół mnożnika oczekiwanego zwrotu - szerszy na wczesnych etapach i zawężany w miarę przybywania dowodów w Twojej sieci. | Pasmo początkowe 0,40 do 0,60 w pierwszej fazie wdrożenia; zawężane faza po fazie, gdy sprawdzony prototyp weryfikuje założenia planistyczne. |
| Bramka decyzyjna | Decyzja podejmowana na przejściu między fazami na podstawie działającego oprogramowania wytworzonego w danej fazie: kontynuacja, doprecyzowanie zakresu lub zamknięcie prac - bez niekończących się strumieni zadań. | Bramka otwiera się tylko wtedy, gdy zmierzony zwrot z artefaktu przekracza założone pasmo. Faza, która nie osiąga wymaganego wyniku, zostaje zamknięta, a nie przesunięta na kolejny kwartał. |
| Rytm ponownej wyceny | Każde aktywne zobowiązanie jest ponownie mierzone względem aktualnej linii odniesienia z Diagnozy w stałym cyklu raportowania, tak aby wszelkie odchylenia wpływały na wycenę kolejnych etapów przed ich realizacją. | Uruchamiane przy zmianie linii odniesienia o co najmniej 0,10× względem poprzedniego raportu oraz na każdym przejściu między fazami, bez względu na skalę odchylenia. |
Chmura a prywatna infrastruktura w Twojej sieci
Pięć wymiarów zakupu - kontrola, rezydencja, opóźnienie, przepustowość, operacje.
| Wymiar | Chmura publiczna | Infrastruktura w Twojej sieci |
|---|---|---|
| Model kontroli | Model współdzielonej odpowiedzialności. Dostawca we własnym rytmie aktualizuje i wycofuje funkcje oraz interfejsy. | Środowisko w pełni zarządzane przez operatora. Wszelkie instalacje, aktualizacje i wycofania komponentów odbywają się wewnątrz Twojej sieci. |
| Rezydencja danych | Ścieżka zapytań i odpowiedzi domyślnie przekracza granicę regionu dostawcy. | Ścieżka zapytań i odpowiedzi pozostaje w jurysdykcji wybranej przez klienta. Żadne wywołanie inferencji nie opuszcza Twojej sieci. |
| Opóźnienie sieciowe (round-trip) | Połączenie WAN z regionem dostawcy o opóźnieniu rzędu kilkudziesięciu do kilkuset milisekund. | Połączenie w sieci lokalnej (LAN) do serwera inferencji w Twojej sieci o opóźnieniu rzędu pojedynczych milisekund. |
| Limit przepustowości | Ograniczony limitami dzierżawy i podatny na degradację przez innych użytkowników współdzielonej infrastruktury dostawcy. | Wymiarowany pod kątem zwalidowanej współbieżności. Brak rywalizacji o zasoby wewnątrz Twojej infrastruktury. |
| Telemetria operacyjna | Aktualizacje zarządzane przez dostawcę i niejawne strumienie telemetrii przesyłane na serwery zewnętrzne. | Aktualizacje kontrolowane przez operatora i telemetria zatrzymywana w Twojej sieci. Żaden sygnał nie opuszcza Twojego środowiska. |
Wskazówki doboru GPU
Trzy wielkości wejściowe - klasa modelu, obciążenie współbieżne, maksymalny kontekst - które określają zestaw sprzętowy.
| Klasa modelu | Współbieżność | Maksymalny kontekst | Sugerowany zestaw sprzętowy |
|---|---|---|---|
| Wyszukiwanie i embedding | Do 256 równoległych zapytań | 32K tokenów | Pojedynczy akcelerator w Twojej sieci; sharding na dwa akceleratory dla redundancji międzyregionowej. |
| Modele od 30B do 100B | Od 5 do 10 równoległych zapytań | 256K tokenów | Pojedynczy akcelerator w Twojej sieci; sharding na dwa akceleratory dla większej współbieżności i dostępności. |
| Modele od 100B do 200B | Od 10 do 20 równoległych zapytań | 512K tokenów | Dwa akceleratory w Twojej sieci z inferencją wsadową; sharding na trzy akceleratory dla wyższej jakości usług. |
| Modele od 200B do 500B | Od 20 do 100 równoległych zapytań | 1M tokenów | Pula wieloakceleratorowa, równoległość tensorowa (tensor parallelism) na czterech do ośmiu akceleratorach. |
| Własny, dostrojony model | Dobór na podstawie zwalidowanego prototypu z etapu Wdrożenia i walidacji | Dobierany zgodnie z parametrami danego projektu | Wymiarowanie wyłącznie po zaliczeniu bramki na etapie Wdrożenia i walidacji - bez zgadywania z tabeli doboru. |
Zakresy doboru sprawdzane na rzeczywistym sprzęcie - klasa RTX Pro - w naszym laboratorium GPU. Wdrożenie i walidacja Laboratorium GPU
Co dalej
Każda liczba na tej stronie ma swoje źródło. Bramki wynikają z mapy drogowej, a zakresy doboru sprawdzamy na rzeczywistym sprzęcie. Zobacz oba etapy poniżej albo umów spotkanie i porozmawiajmy.