GigaChat заняла 4 место в исследовании, обогнав GPT-3.5

GigaChat, новейшая мультимодальная нейронная сеть от Сбербанка, продемонстрировала выдающиеся результаты, заняв четвертое место в авторитетном исследовании искусственного интеллекта на 2024 год, опередив GPT-3.5, который занял шестое место.

Основной задачей исследования было выявить модели, способные обрабатывать запросы на двух или более языках и давать наиболее точные ответы. GigaChat показала лучшие результаты при работе с русским языком.

Рейтинг моделей определялся путем сочетания двух показателей: эффективности модели на ее "родном" языке, на котором она обучалась, и наилучшего результата работы модели на любом другом языке.

Эксперты провели исследование методом side-by-side, а также слепые тесты по таким задачам, как перевод, творческое письмо, генерация кода и анализ данных.