Сервер для умного дома на LLM

начал таки собирать отдельный сервер для мультимодальной LLM для умного дома, сегодня пришла огроменная видеокарта AMD 7900XTX на 24GB ($929) — 13шка для масштаба поэкспериментировали в отпуске с троюродным братишкой который занимается машинлернингом и прилетел к нам в Колорадо починить из тесного Нью- Йорка с Llama2:7b/13b и LLaVA:13b/34b на моей старушке 2080Ti с 11GB VRAM: — прикрутили ollama к HomeAssistant через HTTP запросы с темплейтином данных с сенсоров, результаты многообещающие, перформанс на тексте Llama2:13b приемлимый ~300ms, жрет 9GB, в пиках ест по 150W с idle на 20W, надеюсь с 7900XTX лейтенси упадёт до ~100ms и протянет десятки запросов в секунду с вменяемым энергопотреблением, видел баг репорты про 100W в idle, надеюсь смогу пофиксить

На чёрном фоне показан длинный русскоязычный текст о сборке отдельного сервера для мультимодальной LLM умного дома, видеокарте AMD 7900XTX и экспериментах с Ollama и Home Assistant. Шутка строится на чрезмерно подробном и техническом описании домашнего проекта, где бытовая автоматизация превращается в масштабную инфраструктуру с обсуждением задержки, энергопотребления и видеопамяти. Такой мем отправляют как реакцию на энтузиастов, которые решают простую задачу с помощью чрезмерно сложной AI-системы. EN: A long Russian text on a black background describes building a separate server for a smart home’s multimodal LLM, an AMD 7900XTX graphics card, and experiments with Ollama and Home Assistant. The joke comes from the excessively detailed and technical description of a home project, where household automation turns into large-scale infrastructure involving latency, power consumption, and VRAM. This meme is shared as a reaction to enthusiasts who solve a simple problem with an absurdly elaborate AI system.

• @ithueti / 12298 2024-03-28