Программа EXO поможет использовать рядовой ПК для ИИ

Программа EXO открывает дорогу к изучению ИИ без приобретения дорогостоящего оборудования. Среди такового – специальные процессоры NVIDIA.

Программа EXO обходит нужду приобретать оборудование с большим объемом памяти и пропускной способностью ufatimes. Она позволит обойтись без нескольких графических процессоров. Без всего этого она откроет дорогу запускать на обычном ПК новейшие большие языковые модели (LLM).

Таковые, например DeepSeek R1, имеют шестьсот миллиардов параметров. Но такое оборудование недоступно или недоступно большинству людей. А программное обеспечение Exo работает в обход этого как распределенное решение LLM, работающее на кластере компьютеров с графическими процессорами NVIDIA или без них, смартфонах и/или одноплатных компьютерах, таких как платы Raspberry Pi.

В некотором смысле exo работает как distcc при компиляции программ на языке «C» через ферму сборки, но вместо этого нацелен на рабочие нагрузки ИИ, такие как LLM.

Основные возможности программного обеспечения Exo:

• Поддержка LLaMA (MLX и tinygrad), Mistral, LlaVA, Qwen и Deepseek.
• Динамическое разбиение модели – решение разделяет модели на основе текущей топологии сети и доступных ресурсов устройства для запуска более крупных моделей, чем вы могли бы запустить на любом отдельном устройстве. Это то, что я называю «распределенным решением LLM». Доступно несколько стратегий разбиения , и по умолчанию используется «разбиение с весом кольцевой памяти», где каждое устройство запускает несколько слоев модели, пропорциональных памяти устройства.
• Автоматическое обнаружение устройств / Никакой ручной настройки — exo автоматически обнаружит другие устройства, используя наилучший доступный метод.
  API, совместимый с ChatGPT. Позволяет внести однострочное изменение в приложение для запуска моделей на вашем собственном оборудовании с помощью exo.
• Равенство устройств – Exo не использует архитектуру master-worker, а вместо этого подключается в режиме peer-to-peer (P2P). Поэтому, пока устройство подключено где-то в сети, его можно использовать для запуска моделей.
• Поддержка ОС неясна, и я не вижу никакой поддержки Windows. Вместо этого доступны инструкции, относящиеся к Linux, Mac OS, Android и iOS. Единственное другое требование к программному обеспечению — Python>=3.12.0. Для систем Linux с графическим процессором NVIDIA также требуются драйвер NVIDIA, набор инструментов CUDA и библиотека cuDNN.

На аппаратном фронте важно иметь достаточно памяти на всех устройствах, чтобы вместить модель в память.

Другие новости. Парень и девушка хотят сделать Америку великой – здесь.