15074
Канал, в котором мы говорим про искусственный интеллект простыми словами Главный редактор и по рекламе: @crimeacs Иногда пишут в канал: @GingerSpacetail, @innovationitsme
ColossalChat: Решение с открытым исходным кодом для клонирования ChatGPT с RLHF
Colossal-AI выпустила с модельку с открытым исходным кодом и RLHF для ColossalChat, проекта, целью которого является клонирование ChatGPT с менее чем 10 миллиардами параметров.
ColossalChat включает интерактивную демонстрацию. (которая мягко говоря не очень умеет следовать инструкциям), открытый и полный код обучения RLHF, двуязычный набор данных с открытым исходным кодом, выводы и веса модели. ColossalChat использует процесс RLHF для воспроизведения моделей, подобных ChatGPT, и является самым близким проектом к оригинальному ChatGPT. Набор данных ColossalChat включает в себя около 100 000 пар вопросов и ответов на английском и китайском языках, собранных и очищенных из реальных сценариев вопросов на платформах социальных сетей.
Репликация алгоритма RLHF включает в себя три этапа: supervised finetuning, обучение модели вознаграждения и RL finetuning. ColossalChat использует PPO и PTX в алгоритме обучения с подкреплением для расчета потерь от политики и потерь от стоимости.
📝 yangyou_berkeley/colossalchat-an-open-source-solution-for-cloning-chatgpt-with-a-complete-rlhf-pipeline-5edf08fb538b">Блог-пост
🐙 Код
📞 Чат