облачная графика
Много занимаюсь сейчас тренировкой нейронных сетей (не очень больших). Для этого неплохо иметь мощные GPU, и удобно делать это в облаке (хотя в зависимости от бюджетов и нужд и о возможности купить свои не стоит забывать). Я пользовался как стандартными лидерами индустрии в последние месяцы (AWS, Google Cloud), так и специализированными дешевыми сервисами (Lambda Labs, DataCrunch dot io). Я новичок в этой области, постепенно набираюсь опыта.Общие впечатления: - дешевые сервисы намного дешевле. Одна виртуальная машина с H100 стоит сейчас примерно В ПЯТЬ РАЗ больше в Google/AWS (11/12 долларов в час), чем в дешевых сервисах (2-2.5 доллара в час). - везде устроено примерно одинаково, если вы можете затратить время на то, чтобы технически разобраться. Везде резервируешь Ubuntu-based VM, подключаешься к ней по SSH, присоединяешь к ней storage volume. Цена хранения данных, CPU, памяти машины итд. везде ничтожна по сравнению с ценой GPU. Везде нужно самому выбирать, в каком районе держать данные и резервировать машины. Одно важное отличие, на которое стоит обратить внимание: можно ли остановить машину и не платить, или остановленная машина продолжает собирать платеж (в таком случае обычно можно все равно оставить ее root volume, и быстро поднять новую машину с ней).- основное неудобство дешевых сервисов с моей точки зрения: нет гарантии того, что нужный тип машины с нужным кол-вом нужных GPU будет в наличии, когда вам нужно. Сейчас они есть, а завтра нет. Если закачал кучу данных в данный регион и не можешь запустить тренировку, это сильно мешает. В AWS/Google с такими проблемами (в нужных мне небольших масштабах) не сталкивался. - второе неудобство это что везде все по-своему, свое устройство storage volumes, свой API для командной строки итд. - мне пока нравится datacrunch dot io, но не рекомендую его вот совсем уж сильно, я пробовал только два дешевых сервиса. Из нескольких сайтов, сравнивающих цены, что я видел, мне особенно понравился getdeploying dot com (выберите рубрику Cloud GPUs в нем). Полагаю, что самые супер-дешевые варианты скорее всего имеют свои недостатки (availability/reliability), хотя не проверял. Конкуренция очень высокая, и это хорошо- если хотите что-то оспорить/добавить, всегда рад.
Много занимаюсь сейчас тренировкой нейронных сетей (не очень больших). Для этого неплохо иметь мощные GPU, и удобно делать это в облаке (хотя в зависимости от бюджетов и нужд и о возможности купить свои не стоит забывать). Я пользовался как стандартными лидерами индустрии в последние месяцы (AWS, Google Cloud), так и специализированными дешевыми сервисами (Lambda Labs, DataCrunch dot io). Я новичок в этой области, постепенно набираюсь опыта.
Общие впечатления:
- дешевые сервисы намного дешевле. Одна виртуальная машина с H100 стоит сейчас примерно В ПЯТЬ РАЗ больше в Google/AWS (11/12 долларов в час), чем в дешевых сервисах (2-2.5 доллара в час).
- везде устроено примерно одинаково, если вы можете затратить время на то, чтобы технически разобраться. Везде резервируешь Ubuntu-based VM, подключаешься к ней по SSH, присоединяешь к ней storage volume. Цена хранения данных, CPU, памяти машины итд. везде ничтожна по сравнению с ценой GPU. Везде нужно самому выбирать, в каком районе держать данные и резервировать машины. Одно важное отличие, на которое стоит обратить внимание: можно ли остановить машину и не платить, или остановленная машина продолжает собирать платеж (в таком случае обычно можно все равно оставить ее root volume, и быстро поднять новую машину с ней).
- основное неудобство дешевых сервисов с моей точки зрения: нет гарантии того, что нужный тип машины с нужным кол-вом нужных GPU будет в наличии, когда вам нужно. Сейчас они есть, а завтра нет. Если закачал кучу данных в данный регион и не можешь запустить тренировку, это сильно мешает. В AWS/Google с такими проблемами (в нужных мне небольших масштабах) не сталкивался.
- второе неудобство это что везде все по-своему, свое устройство storage volumes, свой API для командной строки итд.
- мне пока нравится datacrunch dot io, но не рекомендую его вот совсем уж сильно, я пробовал только два дешевых сервиса. Из нескольких сайтов, сравнивающих цены, что я видел, мне особенно понравился getdeploying dot com (выберите рубрику Cloud GPUs в нем). Полагаю, что самые супер-дешевые варианты скорее всего имеют свои недостатки (availability/reliability), хотя не проверял. Конкуренция очень высокая, и это хорошо
- если хотите что-то оспорить/добавить, всегда рад.
Общие впечатления:
- дешевые сервисы намного дешевле. Одна виртуальная машина с H100 стоит сейчас примерно В ПЯТЬ РАЗ больше в Google/AWS (11/12 долларов в час), чем в дешевых сервисах (2-2.5 доллара в час).
- везде устроено примерно одинаково, если вы можете затратить время на то, чтобы технически разобраться. Везде резервируешь Ubuntu-based VM, подключаешься к ней по SSH, присоединяешь к ней storage volume. Цена хранения данных, CPU, памяти машины итд. везде ничтожна по сравнению с ценой GPU. Везде нужно самому выбирать, в каком районе держать данные и резервировать машины. Одно важное отличие, на которое стоит обратить внимание: можно ли остановить машину и не платить, или остановленная машина продолжает собирать платеж (в таком случае обычно можно все равно оставить ее root volume, и быстро поднять новую машину с ней).
- основное неудобство дешевых сервисов с моей точки зрения: нет гарантии того, что нужный тип машины с нужным кол-вом нужных GPU будет в наличии, когда вам нужно. Сейчас они есть, а завтра нет. Если закачал кучу данных в данный регион и не можешь запустить тренировку, это сильно мешает. В AWS/Google с такими проблемами (в нужных мне небольших масштабах) не сталкивался.
- второе неудобство это что везде все по-своему, свое устройство storage volumes, свой API для командной строки итд.
- мне пока нравится datacrunch dot io, но не рекомендую его вот совсем уж сильно, я пробовал только два дешевых сервиса. Из нескольких сайтов, сравнивающих цены, что я видел, мне особенно понравился getdeploying dot com (выберите рубрику Cloud GPUs в нем). Полагаю, что самые супер-дешевые варианты скорее всего имеют свои недостатки (availability/reliability), хотя не проверял. Конкуренция очень высокая, и это хорошо
- если хотите что-то оспорить/добавить, всегда рад.
