GPT-6 Astra смогла изменить веса Qwen3.5-0.8B, улучшив её математические способности без традиционного обучения.
Кратко:
- ●MIT CSAIL представила метод Weight-Space Programming.
- ●GPT-6 Astra улучшила веса Qwen3.5-0.8B без дообучения.
- ●Производительность в математике возросла в 6 раз.
- ●Почему важно: Возможность редактировать модели без обучения открывает новые перспективы в AI.
MIT CSAIL представила новаторский метод под названием Weight-Space Programming, который позволяет языковым моделям, таким как GPT-6 Astra, читать и изменять веса других нейросетей без традиционного обучения. Это открытие может изменить подходы к улучшению и интерпретации моделей искусственного интеллекта.
Основные результаты эксперимента
В одном из экспериментов GPT-6 Astra получила веса модели Qwen3.5-0.8B и улучшила её способности в решении математических задач. Это произошло без использования градиентного спуска или обучения. В результате доля правильных решений по набору MATH-500 увеличилась с 7.9% до 48.1%, а по набору GSM8K — с 13.8% до 67.1%.
Как это работает
Метод Weight-Space Programming подразумевает изменение весов модели без использования традиционного цикла обучения. Astra смогла найти и исправить дефекты в весах Qwen3.5-0.8B, изменив всего 0.016% параметров. Это позволило значительно улучшить математические и инструкционные способности модели.
Потенциальные применения
Эта технология открывает новые горизонты для интерпретируемости и ремонта нейросетей. Она позволяет обходить ограничения, связанные с типичным fine-tuning, и может быть полезна в различных областях, от улучшения производительности моделей до создания более эффективных систем обработки данных.
Что это значит
Разработка MIT CSAIL предлагает новый способ взаимодействия с моделями искусственного интеллекта. Возможность редактировать веса без обучения может ускорить разработку и внедрение более эффективных решений в области AI. Это также может снизить стоимость и время, затрачиваемые на обучение моделей.
Частые вопросы
Что такое Weight-Space Programming?
▾
Это метод, позволяющий языковым моделям редактировать веса других сетей без обучения.
Какие результаты показала GPT-6 Astra?
▾
Она улучшила способности модели Qwen3.5-0.8B в математике, увеличив точность решений в 6 раз.
Как это может повлиять на индустрию AI?
▾
Технология может ускорить разработку моделей и снизить затраты на их обучение.
Какие еще эксперименты проводили?
▾
Astra также определяла изученные игры и языки, используя веса сетей.
Источники
- Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights
- Weight-Space Programming — GPT-6 Astra reads and edits network weights — MIT CSAIL | AI/TLDR
- MIT 研究者提出「权重空间编程」：GPT-6 Astra 仅修改 Qwen3.5-0.8B 约 0.016% 权重，数学成绩提升至原来 6 倍 - IT之家
- 'Like gene editing for neural networks': MIT researchers used GPT-6 Astra to edit Qwen's open weights directly, boosting math performance | VentureBeat
- Weight-Space Programming: the edit decided from its bytes, the scores re-graded · Carlos Toledo
