Серверные решения 2013
Наши партнёры Наши проекты: IT Worldall CIOIT Contact
ВходРегистрация
X

Логин

Пароль

Запомнить

Забыли свой пароль?

Серверные решения 2013

Серверные решения 2013

| 06.06.2013

Прошел год, и снова на рынке серверных компонентов очередные изменения. Освоение виртуализации и облачных технологий идет полным ходом и приносит плоды, а разработчики концентрируют усилия на увеличении вычислительной плотности и энергоэффективности. Все чаще поднимается вопрос о малых и миниатюрных серверах, способных решать поставленные задачи как в рамках малого бизнеса, так и в составе крупных ЦОДов.

Новые серверные процессоры Intel

В этом году ставки делаются на «системы-на-чипе»: это семейство традиционно строилось на базе ARM-процессоров, ныне же им на смену прочат платформы на основе Intel Avoton и AMD Kyoto. Первые из них будут изготовлены с применением 22-нанометрового техпроцесса, в основу ляжет новая микроархитектура Silvermont, которую считают самым крупным нововведением с 2008 года.

Новые микропроцессоры со сниженным энергопотреблением придут на смену предыдущему поколению (Intel Centerton), которое оказалось мало востребованным. Попытка создать на их основе сервер высокой плотности (инновация HP в рамках проекта Project Moonshot) показала перспективность идеи, но разработчики столкнулись с проблемой энергопотребления. Весьма вероятно, что выпуск нового процессора устранит ее, а пока что заказчики, желающие получить альтернативу мощным CPU семейства Xeon, вынуждены довольствоваться 32-разрядными ARM-платформами. Конечно же, 64-битовый Intel Avoton, поддерживающий технологии виртуализации и контроллеры Ethernet, выглядит привлекательнее. Впрочем, и AMD видит смысл в миниатюризации: ожидаемый процессор Kyoto с TDP 9 Вт позволит строить микросерверы и серверы с высокой плотностью размещения элементов, но на платформе х86. В AMD полагают, что ставку есть смысл делать на решения со встроенной графикой. Новые процессоры будут выпускаться в двух вариантах: со встроенным GPU Radeon HD 8000 и без него.

Не обойдены вниманием и «большие» серверы. Так, Intel планирует обновить семейство Intel Xeon Phi пятью сопроцессорами: Intel Xeon Phi 3120A/3120P/5120D/7120P/7120X. Серверные процессоры Intel Xeon также будут переведены на новую технологию: выход Xeon E3-1200 v3, Intel Xeon E3-1225 v3 и Intel Xeon E2-1275 v3 (Haswell) ожидается в ближайшее время, CPU на основе микроархитектуры Intel Ivy Bridge-EP (Xeon E5-2600 v2, Xeon E7 v2) – соответственно в третьем и четвертом квартале этого года, а Intel Xeon E5-4600 v2 и Intel Xeon E5-2400 v2, скорее всего, следует ожидать в первом квартале 2014 года. Отличительные черты нового семейства E5: низкое энергопотребление (60–130 Вт) и поддержка памяти объемом до 768 Гбайт. Обновленные Е3 будут потреблять не более 13 Вт и поддерживать объем ОЗУ до 32 Гбайт.

Видеорешения в многопользовательских средах

В рамках расширения возможностей виртуализированных сред продолжается работа по предоставлению клиентам полноценной 3D-графики. Речь идет о платформе NVIDIA GRID VGX, существующей в двух реализациях. Решения на основе NVIDIA GRID K2 предназначены для воспроизведения сложной графики и обработки 3D-задач в приложениях Adobe, Autodesk и SolidWorks. Версия NVIDIA GRID K1 оптимизирована для VDI высокой плотности. Внедрение технологии NVIDIA GRID позволит предоставлять на виртуальных рабочих столах, созданных при помощи программных продуктов Citrix, VMware и Microsoft, полноценное использование трехмерной графики с аппаратным ускорением видео.

Сегментированная серверная архитектура и кремниевая фотоника

Очередная идея – разделить вычислительные ресурсы, хранилища данных, энергообеспечение и сетевые подключения. Схема, получившая название «сегментированная серверная архитектура», предусматривает расположение компонентов каждого типа в собственной стойке и уже рассматривается не иначе как «технология ЦОДа будущего». Ее внедрение позволит снизить стоимость владения и увеличит гибкость и надежность работы. С разделением критически важных компонентов друг от друга появляется возможность упростить сопровождение ЦОДов: обслуживать и модернизировать их можно по мере необходимости, не создавая помех функционированию других систем. Разумеется, такой подход повысит энергоэффективность и надежность ЦОДов в целом.

Реализовать сегментированную серверную архитектуру на практике позволило завершение 10-летних исследований в области кремниевой фотоники, в результате которых разработана технология применения кремния для создания фотонных устройств (в том числе лазеров, преобразователей и датчиков). Кремниевая фотоника реализует принципиально новый метод перемещения больших объемов данных на высокой скорости с минимальным энергопотреблением – по оптическому кабелю. Применение кремния вместо дорогостоящих и редких оптических материалов в перспективе позволит ощутимо снизить стоимость конечной продукции.

На сегодняшний день проект обрел реальное воплощение: усилиями Intel в сотрудничестве с Facebook создана сегментированная стоечная архитектура (производства компании Quanta Computer), которая включает в себя новое решение Intel для обмена данными на основе кремниевой фотоники с пропускной способностью 100 Гбит/с.

Актуальные серверные решения известных брендов

Предложения других вендоров на рынке серверов также содержат элементы новизны в той или иной степени, но единого вектора пока не наблюдается. Так, IBM в рамках развития новой стратегии, направленной на повышение доступности технологий облачных вычислений и обработки Big Data для организаций любого масштаба, предлагает Power Systems – линейку систем начального и среднего уровня на базе процессоров POWER7+, по цене сопоставимых с решениями на базе х86. Новые модели 710, 720, 730 и 740 из семейства Power Express позволяют строить инфраструктуры для частных и гибридных «облаков», а также решать аналитические задачи как в среднем, так и в малом бизнесе. Для более крупных предприятий выпущены Power Systems 750 и 760. Кардинальных изменений в архитектуру POWER7+ не вносилось, наиболее важные обновления (по сравнению с POWER7) – исполнение по технологии 32 нм (увеличило объем встроенной кэш-памяти), наличие функций ускоренного шифрования файлов и генерации «действительно случайных чисел», а также двойной процессорный модуль (допускает установку двух процессоров в один сокет).

AMD представила результаты сотрудничества с Open Compute Project Foundation. Сервер Open Compute Server 3.0, разработанный на основе спецификации AMD Open 3.0 (входит в состав проекта Open Compute), по словам представителей компании, выгодно отличается от подобных OEM-решений прежде всего более низким (до 57%) ТСО на каждую единицу, но поддерживает столько же виртуальных рабочих столов (VDI). Ожидается, что внедрение новых систем позволит заказчикам существенно снизить затраты на каждое виртуальное рабочее место: с $91,19 до $38,24.

Open Compute Server 3.0 будет поставляться с процессором AMD Opteron 6300 (системы AMD Open 3.0 могут быть установлены как в любые стандартные 19-дюймовые стойки). Управление системами может осуществляться при помощи Management Architecture for Server Hardware (SMASH) от Distributed Management Task Force (DMTF). Материнская плата размером 16×16,7 дюймов предполагает установку двух процессоров AMD Opteron серии 6300 с 12 слотами памяти (четырехканальной DDR3 DRAM) каждый. Поддерживается максимальный объем ОЗУ – 384 Гбайт, есть шесть слотов Serial ATA (SATA), один двухканальный гигабитный сетевой адаптер Ethernet с встроенным управлением. Возможности сервера предполагается расширять посредством установки до четырех дополнительных модулей с интерфейсом PCI Express. Присутствуют последовательный порт, два порта USB и коннектор расширения для решений в виде индивидуальных модулей, таких как модуль ввода/вывода Mellanox или модуль управления Broadcom. Производство новых серверов и систем на их основе полностью налажено (они доступны у целого ряда партнеров компании, том числе Avnet Inc., Hyve, Penguin Computing и ZT Systems).

Fujitsu приготовила своим клиентам и потенциальным партнерам две хорошие новости. Во-первых, начато серийное производство и продажа серверов Fujitsu M10 на базе 16-ядерного процессора SPARC64 X, позволяющих достичь уровня надежности, готовности и удобства обслуживания (RAS) класса мейнфрейма. Благодаря модульной архитектуре с поядерной активацией процессоров серверы Fujitsu M10 позволяют осуществлять динамическое масштабирование (от 1 до 64 процессоров) – то есть можно на лету, без прерывания работы системы, манипулировать вычислительными ресурсами.

Весьма привлекательно выглядят и технологии Software on Chip («ПО на кристалле»), и Liquid Loop Cooling (система водяного охлаждения с замкнутым контуром). Первая позволяет создавать гибкие системные конфигурации с возможностью создания физических разделов и использования встроенных, предоставляемых без дополнительной оплаты, технологий виртуализации Oracle VM Server for SPARC и Oracle Solaris Zones. Работать новые серверы будут под управлением Oracle Solaris (версий 10 и 11) и в рамках Oracle Solaris Guarantee Program гарантируют бинарную совместимость с текущими и предыдущими моделями серверов SPARC.

Вторая новость – серверы Fujitsu PRIMERGY RX300 S7 и PRIMERGY TX150 S8 успешно прошли тестирование и получили сертификаты, подтверждающие их полную совместимость с системой программ «1С: Предприятие». Обе модели прошли испытания в двух ролях: в качестве сервера баз данных и как сервер приложения «1С: Предприятие» под управлением операционной системы Windows Server 2008 R2 Standard. Новые серверы будут оснащаться процессорами нового поколения Intel Xeon E5-2600 и поддерживать до 768 Гбайт оперативной памяти; управление ресурсами и обслуживание будут осуществляться при помощи ПО Fujitsu ServerView Suite.

Повышение плотности вычислительных ресурсов – одна из наиболее важных задач, решением которой не без успеха занимается компания HP. Представленный ею проект Moonshot выделяется в совершенно новый класс серверов для мобильных решений, облачных сред и социальных сетей. Аппаратно система представляет собой шасси HP Moonshot 1500 высотой 4.3U, в котором размещены 45 слотов под картриджи-микросерверы, построенные на платформе Intel Atom, а также Ethernet-коммутатор, источник питания и вспомогательные элементы. Каждый картридж – это вычислительный модуль (со своим жестким диском и памятью). В перспективе предполагается использование процессоров AMD, AppliedMicro, Calxeda, Intel и Texas Instruments Incorporated.

Столь высокой плотности серверов – до 1800 в одной стойке – пока еще не удалось достичь никому, но уже сейчас системы Moonshot востребованы у веб-хостеров. Такое решение существенно дешевле, чем традиционные подходы, кроме того, снижает расходы на энергоснабжение и упрощает охлаждение. Примечательно, что впервые в истории серверостроения нашли применение технологии, используемые в современных мобильных устройствах – смартфонах и планшетных ПК.

Supermicro отрапортовала об инновациях, примененных при создании универсальной 4U-платформы FatTwin, предназначенной для вычислений и хранения данных. Ожидается, что 8-узловая конструкция 4U SYS-F617R3-FT обеспечит экономию средств (до $500 на узел в течение четырех лет) благодаря улучшенной энергоэффективности, а 4-узловая SYS-F627R3-RTB+/R72B+ с восемью 3,5" HDD – 33-процентное увеличение ширины полосы передачи и емкости хранилища данных.

ETergo направила силы на решение задачи высокоплотного хранения данных. Новый сервер-хранилище ETegro Hyperion RS220 G4 оснащен двумя процессорами Intel Xeon E5-2600 и может поддерживать до 512 Гбайт оперативной памяти. Дисковая подсистема содержит 18 дисков формфактора 3,5" с горячей заменой и два фиксированных диска SFF 2,5" (поддерживаются и SSD). Таким образом, компании удалось достичь наивысших показателей плотности хранения информации: в двухюнитовом корпусе максимальное дисковое пространство достигает 74 Тбайт (используются две материнские платы). Ожидается, что серверы нового типа будут востребованы в системах облачного хранения и обработки данных, а также в крупных ЦОДах.

Помимо плодов сотрудничества с Fujitsu, Oracle представила полное обновление линейки серверов SPARC. Модели, ориентированные на компании среднего и высокого уровня, получили названия SPARC T5 и SPARC M5. По сравнению с предыдущей моделью (T4) новинка получила в 16 раз больше ядер и вдвое больше потоков и кеш-памяти. Пропускная способность памяти увеличена в 2,5 раза. По словам создателей, им удалось добиться пятикратного увеличения скорости работы приложений в системах Т5-8 по сравнению с Т4-4. В ходе тестов (TPC-C, SPECjbb 2013, SPECjEnterprise 2010) восьмипроцессорный сервер Т5-8 показал лучшие результаты среди себе подобных и может использоваться для приложений, требующих высокой производительности и круглосуточной готовности.

Не отстают от зарубежных коллег и отечественные вендоры. Так, в перечне продукции DEPO Computers появились две новые модели – DEPO Storm 3350G2 и DEPO Storm 3350G4, ориентированные на работу с современными 4-, 6- и 8-ядерными процессорами Intel Xeon E5-2600. Особенностью новых серверов можно считать допустимость установки большого количества жестких дисков формфактора 3,5" с поддержкой горячей замены и с последующей перспективой объединения их в RAID-массивы уровней 0,1,5,6,10,50,60. Соответственно, DEPO Storm 3350G2 при высоте шасси 2U позволяет разместить 12 накопителей, а четырехюнитовый DEPO Storm 3350G4 – 24 НЖМД. Компания продвигает новинки для работы с СУБД, приложениями электронного бизнеса, а также в качестве серверов резервного копирования.

Пока в мире ИТ ширятся слухи о намерении IBM продать свой серверный бизнес Lenovo, последняя расширяет ассортимент своих изделий, вторгаясь на серверный рынок самостоятельно. Подтверждением тому – обновление серверной линейки, ориентированной на малый бизнес. Стоечная модель начального уровня ThinkServer RD210 может оснащаться 16 модулями DDR3 общим объемом до 128 Гбайт. Система хранения данных позволяет смонтировать до шести дисков 2,5" SATA или SAS, есть два порта Gigabit Ethernet, встроенный контроллер RAID и два слота расширения PCI-Express. Сервер поддерживает процессорные чипы Xeon 5500 с частотой 1,86–2,53 ГГц (изначально заявлено, что поддержка более мощных CPU не предусмотрена в силу ограничения требований по энергопотреблению). Несмотря на жесткую конкуренцию со стороны крупных производителей, эти скромные модели оказались востребованы и у провайдеров, и в малых компаниях, практикующих работу с небольшими СУБД и веб-сайтами.

В Dell занимаются улучшением предыдущих (к слову, довольно удачных) моделей. Свежевыпущенный сервер Dell PowerEdge R720 поставляется с процессорами Intel Xeon E5-2600 и по сравнению с моделями прошлого (одиннадцатого) поколения отличается улучшенной энергоэффективностью. Модель оснастили 24 разъемами для модулей памяти DDR3, предусмотрели два установочных места для полноразмерных плат PCI Express и добавили возможность оснащения Ethernet-адаптером 10GbE.

Несмотря на позиционирование R720 в качестве решения для ЦОДа средних и крупных предприятий, разработчики утверждают, что можно дополнить его GPU с поддержкой технологии CUDA, после чего этот сервер способен служить для решения любых ресурсоемких задач, включая научные вычисления.

Выводы

Наряду с растущей популярностью облачных и виртуальных архитектур, построенных на принципах виртуализации, можно отметить повышение интереса к системам, содержащим большое количество аппаратно разделенных ресурсов (в частности, кассетным процессорным модулям). Очевидно, что во многих областях аппаратные микросерверы могут оказаться гораздо более перспективными, нежели один мощный мейнфрейм с большим количеством виртуальных серверов. Особенно если учесть возрастающие требования к энергоэффективности и попытки любой ценой добиться снижения ТСО.

По всей видимости, в этом году будут отрабатываться новые технологии, в том числе и сегментированная серверная архитектура. Не исключено, что ЦОДы в перспективе будут создаваться именно на ее основе.

Какие тренды появились на серверном рынке?

imgАлексей НЕЧУЯТОВ,

директор по маркетингу компании «Т-Платформы»

Увеличивается интерес к быстрому развертыванию в ЦОД недорогих массовых серверов с плотностью 0,5U на сервер, соответственно идет конверсия спроса с 1-юнитовых серверов на более плотные решения.

Виден тренд сближения тематик Big Data, HPC и Cloud, в том числе Computational Cloud.

Растет предложение гетерогенных серверов с ускорителями разных типов для более эффективного обслуживания задач разного класса.

Продолжится тенденция по интеграции на ЦПУ других контроллеров и, возможно, фабрик. Мы полагаем, что с появлением 64-разрядных ARM-микропроцессоров начнется «вход» микросерверов в ЦОДы где-то с 2015 года.

Для обеспечения улучшенного PUE производители серверов будут сертифицировать свои системы для ЦОДов с температурой 35–45 градусов Цельсия.

Думаю, что в ближайшем будущем начнется перераздел рынка, когда компонентные вендоры, например производители ЦПУ, системных плат, или ОDM-производители начнут напрямую продавать в ЦОД готовые серверные системы или системы уровня стойки под своим именем.

img

Дмитрий МАТЧИН,

консультант по инфраструктурным решениям «Dell Россия»

Компания Dell реализовала новые технологии в 12-м поколении серверов Dell PowerEdge. Твердотельные накопители Express Flash PCIe — обрабатывают больше транзакций за секунду для более оперативного взаимодействия.

Управление сервером без установки агентов — встроенный контроллер удаленного доступа Dell iDRAC с контроллером жизненного цикла существенно сокращают временные затраты на администрирование.

Программа Dell Fresh Air — позволяет эксплуатировать серверы при заметно более высоких температурах, экономя значительные средства на операционных издержках.

Расширенная поддержка интегрированных видеокарт — ускоряет высокопроизводительные вычисления и исследования.

imgПавел БОРОХ,

менеджер по маркетингу продукции, серверы PRIMERGY в России и странах СНГ, Fujitsu Technology Solutions

Активно развивались технологии поддержки виртуализации и управления виртуальными системами (Virtual IO Manager, Resource Orchestrator Cloud Edition), а также технологии энергоэффективности. Например, PowerSafeGuard. Также Fujitsu уделяла внимание высокопроизводительным кластерам для HPC – здесь заслуживает упоминания Fujitsu HPC Cluster Suite. С точки зрения формфактора развивалось направление многоузловых систем – семейство PRIMERGY CX, позволяющее разместить в одном компактном шасси несколько серверных узлов.

imgВладимир СВИНАРЕНКО,

менеджер по IT-продуктам компании Huawei в России

В конце 2012 года Huawei анонсировала конвергентную блейд-платформу Tecal Е9000. Одной из особенностей данной платформы является возможность апгрейда пропускной способности с текущих 5,6 до 14,4 Тбит/с, что делает решение полностью готовым для 40/100 Gigabit Ethernet, 100 Gb/sec InfiniBand EDR и 16/32 Gb/sec Fibre Channel.


imgАндрей ТАМБОВСКИЙ,

директор по технологиям ГК ФОРС

У корпорации Oracle есть линейка систем класса Oracle Engineered Systems. Одна из наиболее востребованных – это Oracle Exadata Database Machine. Система хранения здесь реализована на серверах, что обеспечивает экстремальный рост производительности при снижении себестоимости. Именно в этом заключается главный технологический тренд в развитии серверных технологий – обработка и хранение данных осуществляются на одних и тех же вычислительных мощностях. Другой пример – «аналитика в оперативной памяти», реализованная в Oracle Exalytics In-Memory Machine, комплексной системе для решения аналитических задач любой сложности, включая работу с Big Data.

Какие серверы предназначены для «облаков»?

Дмитрий МАТЧИН, («Dell Россия»)

Dell производит специальную серию Dell PowerEdge-C в качестве платформы для облачной инфраструктуры. Главная задача таких серверов – помочь заказчикам решить проблему гипермасштабирования ЦОДа. Серверы PowerEdge серии C имеют общую инфраструктуру: шасси, вентиляторы, источники питания обслуживают до четырех серверных узлов в стойке 2U. Все это существенно снижает стоимость владения.

Павел БОРОХ (Fujitsu Technology Solutions)

Прежде всего это блейд-системы BX900 с серверами BX924 S3. Но также под облачные инфраструктуры хорошо подходят многоузловые системы класса CX400 и тонкие одноюнитовые двухпроцессорные серверы RX200 S7.

Владимир СВИНАРЕНКО (Huawei)

Блейд-платформа Tecal Е9000 c ПО серии Fusion, а также линейка высокоплотных серверов Tecal X6000.

Какие тренды ожидать в ближайшее время?

Алексей НЕЧУЯТОВ ( «Т-Платформы»)

Будет расти спрос на HPC-вычисления, удаленную визуализацию (в том числе облачную), в частности, и со стороны негосударственных предприятий.

Появится большее количество локальных интеграторов с консолидированной экспертизой по темам Cloud-HPC Cloud –Big Data–WEB 2.0.

Если смотреть более глобально, начнется движение стран к созданию собственных разработок, переносу производства национальной элементной базы домой и уменьшению зависимости от импорта в Азии, США, Европе. В частности, недавно Евросоюз принял решение инвестировать миллиарды евро в разработку собственной микроэлектронной базы. Это как раз часть данного тренда.

Павел БОРОХ (Fujitsu Technology Solutions)

Жесткие диски с прямым подключением PCIe – минуя SAS или SATA (то есть не включение дисков в разъемы PCIe, а PCIe на бэкплэйне дисков). Процессоры ARM в серверах. Интегрированные устройства (appliances) под конкретные задачи. Например, SAP HANA appliance, SQL appliance или Cluster-in-a-box для отказоустойчивости. Fujitsu считает это направление перспективным, поэтому у нас уже есть ряд таких решений – от кластера CX420 до готового элемента облачной инфраструктуры DI Block.

Владимир СВИНАРЕНКО (Huawei)

Гетерогенные архитектуры с конвергентным вводом/выводом, унифицированной матрицей коммутации и с возможностями дезагрегации подсистем.

Андрей Тамбовский (ФОРС)

Главный тренд – растущая востребованность не просто сервера как аппаратной платформы, а сервера с уже готовым набором функциональных возможностей на всех уровнях. Имеется в виду наличие встроенных средств виртуализации, интеграция с подсистемой хранения, разделяемой в пуле серверов, со средствами передачи данных между серверами и подсистемами хранения. Важным требованием стало наличие систем управления такими комплексами.

Какие тренды сходят на нет?

Дмитрий МАТЧИН («Dell Россия»)

Серверы в «башенном» исполнении. При создании виртуализационной платформы особое значение приобретают компактность, управляемость и сервисопригодность серверных систем. Удобнее устанавливать однородные серверы в стойку для повышения эффективности. Однако «башенные» серверы Dell имеют возможность установки в стойку с помощью опционального монтажного комплекта. Это имеет смысл, когда требуется наличие большего количества жестких дисков и дополнительных слотов расширения на уровне одного сервера.


Автор: Сергей Грицачук

Теги: серверы, IT-рынок, IT-канал, вендоры

Газета IT-News № 10/2013 (11.06)    [ PDF ]    [ Подписка на журнал ], Еженедельник IT Weekly № 23/2013 (11.06)

Компания: AMD, Intel, HP, Nvidia, Adobe, Autodesk, SolidWorks, Citrix, VMware, Microsoft, Facebook, IBM, Fujitsu, Oracle, DEPO Computers, Lenovo, Dell, Т-Платформы, Huawei, Форс-Центр Разработки

Навигация:   АналитикаТехнологии    БизнесIT-рынок    IT-каналВендоры    IT-инфраструктураПродукты


ВКонтакт Facebook Google Plus Одноклассники Twitter Livejournal Liveinternet Mail.Ru

Другие материалы рубрики

Коллектив физиков из Университета ИТМО и МФТИ продемонстрировал перспективы использования наночастиц из кремния для эффективного нелинейного управления светом.

мероприятия

| 29.09.2016
Выставка-конференция «Интернет вещей» 2016

Москва, Центр Международной Торговли

| 29.09.2016
Выставка-конференция «Интернет вещей» 2016

Москва, World Trade Center Moscow

| 05.10.2016 — 06.10.2016
DIF 2016: Сonnect!

Иннополис

| 20.10.2016
Уникальный проектный опыт - на Docsvision User Day 2016!

Москв, Swissôtel Красные Холмы

| 28.10.2016 — 29.10.2016
Конференция «Разработка ПО»

Москва, центр Digital October

| 28.10.2016
Бизнес-форум 1С:ERP 2016

Москва, Конгресс-центр ЦМТ) (Краснопресненская наб., д. 12, подъезд 4).

Также смотрите

Редакция рекомендует

Бум на облачные сервисы, который так давно предрекали визионеры и футурологи мира информационных технологий, наконец-то наступил: по итогам 2 ...
За редким исключением представители поставщиков не могут донести ценность предложения, используя современные подходы к оценке эффективност ...

Реклама

Фоторепортажи

Мы в социальных сетях

Компании сообщают