Модели в тисках: для работы с ИИ больше не нужны мощные серверы

Ученые «Яндекса» вместе с партнерами из ведущих научно-технологических вузов (НИУ ВШЭ, MIT, KAUST и ISTA) совершили прорыв в оптимизации больших языковых моделей (LLM), узнал Forbes. Благодаря разработанному ими методу сжатия LLM без потери качества для работы с моделями будет достаточно смартфона или ноутбука. В условиях ограниченного доступа к графическим ускорителям (GPU) это может значительно упростить внедрение технологий на основе LLM в таких чувствительных сферах, как медицина, финансовые услуги и персональные ассистенты, считают эксперты