Перейти к содержанию

Qwen

Эта статья была переведена из источника, распространяемого под свободной лицензией, и находится на начальном уровне проработки
Материал из энциклопедии Руниверсалис
Qwen 2.5
Логотип программы Qwen 2.5
Тип Генеративный искусственный интеллект, Большая языковая модель
Разработчик Alibaba Cloud
Операционная система Кроссплатформенный
Языки интерфейса Многоязычный (29+ языков)
Первый выпуск 2024
Последняя версия 2.5
Лицензия Open-source (Apache 2.0)
Сайт qwen-ai.com

Qwen (также называемая Tongyi Qianwen, кит. упр. 通义千问) — семейство больших языковых моделей, разработанных Alibaba Cloud. В июле 2024 года она была признана лучшей китайской языковой моделью по некоторым бенчмаркам и третьей в мире после ведущих моделей Anthropic и OpenAI[1].

Модели

Alibaba впервые запустила бета-версию Qwen в апреле 2023 года под названием Tongyi Qianwen[2]. Модель была основана на БЯМ Llama, разработанной Meta AI, с различными модификациями[3]. Публично выпущена в сентябре 2023 года после получения одобрения от правительства Китая[4]. В декабре 2023 года компания выпустила свои модели 72B и 1.8B с открытым исходным кодом, а Qwen 7B был выпущен в открытый доступ в августе[5][6].

В июне 2024 года Alibaba запустила Qwen 2, а в сентябре выпустила некоторые из своих моделей с открытым исходным кодом, сохранив при этом свои самые передовые модели проприетарными[7][8]. В Qwen 2 используется смесь экспертов[9].

В ноябре 2024 года QwQ-32B-Preview, модель, ориентированная на рассуждения, аналогичная o1 от OpenAI, была выпущена под лицензией Apache 2.0, хотя были выпущены только веса, а не набор данных или метод обучения[10][11]. QwQ имеет длину контекста 32 000 токенов и показывает лучшие результаты, чем o1, по некоторым бенчмаркам[12].

Серия Qwen-Vl представляет собой линейку визуальных языковых моделей, сочетающих в себе визуальный трансформер с БЯМ[3][13]. Alibaba выпустила Qwen-VL2 с вариантами в 2 миллиарда и 7 миллиардов параметров[14][15]. Qwen-vl-max является флагманской моделью Alibaba для обработки визуальных данных по состоянию на 2024 год и продается Alibaba Cloud по цене 0,00041 доллара США за тысячу входных токенов[16].

Alibaba выпустила несколько других типов моделей, таких как Qwen-Audio и Qwen2-Math[17]. В общей сложности компания выпустила более 100 моделей с открытым исходным кодом, причем её модели были загружены более 40 миллионов раз[8][18]. Энтузиасты разработали тонко настроенные версии Qwen, такие как «Liberated Qwen», разработанная компанией Abacus AI из Сан-Франциско, которая представляет собой версию, отвечающую на любой запрос пользователя без ограничений по содержанию[19].

В январе 2025 года Alibaba запустила Qwen 2.5-Max, свою последнюю и самую мощную модель на сегодняшний день[20]. Согласно сообщению в блоге Alibaba, Qwen 2.5-Max превосходит другие базовые модели, такие как −4o, DeepSeek-V3 и Llama-3.1-405B, по ключевым бенчмаркам[21].

Примечания

  1. ↑ Jiang, Ben Alibaba's open-source AI model tops Chinese rivals, ranks 3rd globally (англ.). South China Morning Post (11 July 2024).
  2. ↑ Chiang, Sheila Alibaba to roll out its rival to ChatGPT across all its products (англ.). CNBC (11 April 2023).
  3. ↑ 3,0 3,1 Bai, Jinze; Bai, Shuai; Chu, Yunfei; Cui, Zeyu; Dang, Kai; Deng, Xiaodong; Fan, Yang; Ge, Wenbin; et al. (28 Sep 2023), Qwen Technical Report, arΧiv:2309.16609 [cs.CL]. 
  4. ↑ Jiang, Ben Alibaba opens Tongyi Qianwen model to public as new CEO embraces AI (англ.). South China Morning Post (13 September 2023).
  5. ↑ Fan, Feifei Alibaba unveils new Tongyi Qianwen AI language model. global.chinadaily.com.cn (1 декабря 2023).
  6. ↑ Ye, Josh Alibaba rolls out open-sourced AI model to take on Meta's Llama 2. reuters (August 3, 2023).
  7. ↑ Jiang, Ben Alibaba says new AI model Qwen2 bests Meta's Llama 3 in tasks like maths and coding (англ.). South China Morning Post (7 June 2024).
  8. ↑ 8,0 8,1 Kharpal, Arjun China's Alibaba launches over 100 new open-source AI models, releases text-to-video generation tool (англ.). CNBC (19 September 2024).
  9. ↑ Yang, An; Yang, Baosong; Hui, Binyuan; Zheng, Bo; Yu, Bowen; Zhou, Chang; Li, Chengpeng; Li, Chengyuan; et al. (10 Sep 2024), Qwen2 Technical Report, arΧiv:2407.10671 [cs.CL]. 
  10. ↑ Dickson, Ben Alibaba releases Qwen with Questions, an open reasoning model that beats o1-preview. VentureBeat (29 November 2024).
  11. ↑ 阿里通义千问 QwQ 登场：开源 AI 推理新王，MATH 测试超 OpenAI o1 模型 - IT之家. www.ithome.com (28 ноября 2024).
  12. ↑ Wiggers, Kyle Alibaba releases an 'open' challenger to OpenAI's o1 reasoning model. TechCrunch (27 November 2024).
  13. ↑ Browne, Ryan Alibaba slashes prices on large language models by up to 85% as China AI rivalry heats up (англ.). CNBC (31 December 2024).
  14. ↑ 阿里通义千问推出 Qwen2-VL：开源 2B / 7B 参数 AI 大模型，处理任意分辨率图像无需分割成块. ithome.com (30 августа 2024).
  15. ↑ (September 18, 2024) «Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution». Cs.CV. arXiv:2409.12191.
  16. ↑ Jiang, Ben Alibaba Cloud cuts AI visual model price by 85% on last day of the year (англ.). South China Morning Post (31 December 2024).
  17. ↑ Franzen, Carl Alibaba claims no. 1 spot in AI math models with Qwen2-Math. VentureBeat (8 August 2024).
  18. ↑ Alibaba accelerates AI push by releasing new open-source models, text-to-video. Reuters (September 19, 2024).
  19. ↑ Mims, Christopher Here Come the Anti-Woke AIs. WSJ (April 19, 2024).
  20. ↑ Brunner, Nathan Qwen 2.5-Max - Latest Statistics and Facts (англ.). boterview (29 January 2025). Архивировано 30 января 2025 года.
  21. ↑ Qwen2.5-Max: Exploring the Intelligence of Large-scale MoE Model (англ.). Github (29 January 2025).

Ссылки

Источник — https://xn--h1ajim.xn--p1ai/index.php?title=Qwen&oldid=27314179