Добро пожаловать, Гость
Логин: Пароль: Запомнить меня
Новостной блог ведет учитель информатики МКОУ "Сузунская средняя школа №2" Заикин Сергей Васильевич.

Автор ответственен за достоверность публикуемых материалов.
Мнение автора может не совпадать с позицией редакции сайта.

ТЕМА: о сколько нам открытий чудных...

о сколько нам открытий чудных... 6 мес. 1 нед. назад #1493

  • zaikin
  • zaikin аватар
  • Вне сайта
  • Модератор
  • Сообщений: 1664
  • Спасибо получено: 3
  • Репутация: 0
29.05.2018 12:07 Intel открыл систему машинного обучения для обработки информации на естественном языке www.opennet.ru/opennews/art.shtml?num=48677
Компания Intel представила проект NLP Architect, в рамках которого открыты наработки в области применения методов глубинного машинного обучения для обработки и распознавание смысла информации на естественном языке (NLP/NLU, Natural Language Processing/Understanding). Код библиотеки написан на языке Python и распространяется под лицензией Apache 2.0. Библиотека поддерживает работу с фреймворками машинного обучения Intel Nervana™ graph, Intel neon, Tensorflow, Dynet и Keras.
Из задач, для решения которых может применяться NLP Architect, называется проведение тренировки моделей с использованием предоставляемых алгоритмов, эталонных наборов данных и настроек (также предоставляются уже натренированные модели для различного применения); тренировка с использование своих данных; создание новых или расширение доступных моделей; исследование применимости различных моделей глубинного машинного обучения для решения задач обработки информации на естественном языке; проведение экспериментов и оптимизация алгоритмов машинного обучения; интеграция в свои проекты готовых модулей и утилит, предоставляемых библиотекой.
Библиотека предоставляет ряд готовых моделей NLP и NLU, пригодных для разбора зависимостей между языковыми конструкциями, определения смысловых примитивов и маркировки слотов, применения сетей памяти (Memory Networks) для построения диалогов, применения сетей ключ/значение (Key-value Network) для организации взаимодействия в форме вопрос/ответ, использования модели векторов для расстановки слов, пометка частей речи, проведения семантической сегментации словосочетаний, распознавания именованных сущностей (известных названий, имён, объектов), выделение терминов, определения смысловой информации (распознавание смысла прочитанного) и разбивки текста на структурные элементы.

В состав NLP Architect входят следующие компоненты:
Набор базовых моделей NLP для обработки информации на естественном языке (например, могут применяться для определения частей речи и выделения цепочек связи между словами);
Модули NLU для распознавание смысла информации на естественном языке (например, для извлечения смысловых единиц и выделения терминов);
Модули для семантического разбора (например, для определение словосочетаний и наиболее значимых слов);
Компоненты для создания диалоговых систем с элементами инскуственного интеллекта, таких как чат-боты;
Шаблоны для построения готовых сервисов и примеры приложений с реализацией отвечающих на вопросы автоинформаторов, систем машинного чтения и интерфейсов для визуализации взаимосвязи между словами.

Дополнительно можно отметить публикацию универсальной системы классификации текста, разработанной проектом fast.ai. Система позволяет расставлять метки для текста, в зависимости от его содержимого. Например, метод может применяться для определения спама и оскорбительных комментариев, разбора положительных и отрицательных отзывов, группировки статей по заданной тематике, выделения документов, в которых упоминаются определённые факты. Код классификатора написан на языке Python и распространяется под лицензией Apache 2.0. В качестве базового фреймворка применяется PyTorch. Для загрузки доступна уже натренированная модель на основе Wikitext.
Администратор запретил публиковать записи.

о сколько нам открытий чудных... 5 мес. 2 нед. назад #1511

  • zaikin
  • zaikin аватар
  • Вне сайта
  • Модератор
  • Сообщений: 1664
  • Спасибо получено: 3
  • Репутация: 0
18.06.2018 11:26 Открыт код C++ компилятора Zapcc www.opennet.ru/opennews/art.shtml?num=48796
Израильская компания Ceemple Software открыла исходные тексты C++ компилятора Zapcc, основанного на наработках Clang/LLVM и отличающегося очень высокой скоростью компиляции, благодаря активному применению кэширования различных этапов сборки. Компилятор может выступать в роли прозрачной замены clang и gcc, и поддерживает интеграцию с любыми системами сборки. Исходные тексты открыты под лицензией LLVM.
Особенно заметное увеличение скорости сборки наблюдается для проектов на C++ с большим числом заголовочных файлов с шаблонами, таких как ScyllaDB, Webkit и LLVM. Для проектов на Си ускорение менее заметно. Например, при тестировании производительности типовая повторная пересборка Boost.Math при помощи Zapcc производится в 10-50 раз быстрее по сравнению с Clang, а время полной сборки WebKit быстрее в 2-5 раз. Сборка Clang при помощи Zapcc выполняется в два раза быстрее, чем сборка Clang при помощи Clang. По умолчанию для кода на языке Си кэширование отключается, поэтому компилятор Zapcc актуален только для проектов на C++.
Высокая скорость сборки достигается применением специального фонового процесса (zapccs), непосредственно выполняющего компиляцию и поддерживающего в оперативной памяти кэш компиляции, в котором между разными запусками сохраняется информация о всех этапах сборки. В том числе сохраняются результаты разбора заголовочных файлов и сгенерированный для шаблонов код. В процессе сборки запускается приложение zapcc, поддерживающее полный набор опций Clang и выступающее в роли клиента к серверу zapccs. Запуск сервера осуществляется автоматически. Качество и производительность итогового генерируемого кода аналогичны Сlang.
Администратор запретил публиковать записи.

о сколько нам открытий чудных... 4 мес. 3 нед. назад #1529

  • zaikin
  • zaikin аватар
  • Вне сайта
  • Модератор
  • Сообщений: 1664
  • Спасибо получено: 3
  • Репутация: 0
25.06.2018 09:16 Выпуск свободной геоинформационной системы QGIS 3.2 www.opennet.ru/opennews/art.shtml?num=48830
Представлена новая стабильная версия свободной настольной геоинформационной системы QGIS 3.2 "Bonn". Программа написана на языке С++ с использованием библиотеки Qt и распространяется под лицензией GPL. Готовые сборки подготовлены для различных дистрибутивов Linux, Windows, macOS, BSD-систем и Android. Пакет имеет гибкую систему дополнений, существенно расширяющих его функциональность, которые могут создаваться на языках С++ или Python.

Основным предназначением QGIS является обработка и анализ пространственных данных, подготовка различной картографической продукции. Помимо решения сугубо профессиональных задач, программа может быть успешно использована при решении широкого круга повседневных задач, связанных с анализом пространственной информации. Из бытовых применений в первую очередь можно выделить решение задач планирования путешествий: оценки транспортной доступности района и расчёта оптимальных маршрутов передвижения по пересечённой местности.

Программой поддерживаются все наиболее распространённые векторные и растровые форматы, включая ESRI Shapefile, DXF, GeoTIFF. Для растровых данных, не имеющих пространственной привязки, например, сканов старинных карт или аэроснимков, может быть выполнена пространственная привязка. В новой версии заявлена поддержка структурированных и неструктурированных сеточных данных. Традиционно доступна возможность доступа к данным через PostGIS-соединения (надстройка над PostgreSQL для хранения в базе пространственных данных), а также по сетевым протоколам WMS/WMTS, WCS, WFS. Существует возможность вызова функций других программ (GRASS GIS, SAGA GIS, Orfeo toolbox и др.) и построения систем внутренней автоматизации выполнения операций.
Основные новшества:
Переработан интерфейс построения вычисляемых выражений (expression builder);
В инструмент для работы с картами добавлена функция интерактивного сглаживания и возможность подгонки масштаба под выделенную область;
Обеспечена возможность обращения к векторным или растровым данным на внешних серверах (HTTP, HTTPS, FTP) или в облачных сервисах;
В инструмент идентификации и выделения объектов добавлены новые опции;

Добавлена возможность сохранения метаданных в проектах QGIS;
В пользовательский интерфейс добавлены индикаторы применения фильтров к слоям;
В DB Manager обеспечено сохранение истории выполнения SQL-запросов и добавлена возможность выполнения SQL-запросов в фоновом режиме;
Расширены возможности форм и виджетов. Реализована поддержка каскадных форм ввода данных;

Представлен новый формат "qgz" для сохранения файлов проекта в сжатом виде;
Добавлена возможность сохранения проектов в СУБД PostgreSQL;
В дополнение к растровым и векторным слоям добавлена начальная поддержка mesh-слоёв;
Добавлена функция для просмотра карты в полноэкранном режиме (Ctrl-Shift-Tab);
Появилась возможность переноса групп и слоёв между проектами при помощи буфера обмена (copy/paste);

Добавлены индикаторы встроенных слоёв и групп, в заголовок добавлен индикатор наличия несохранённых изменений;
Добавлены новые алгоритмы обработки моделей: фильтрации, зональной гистограммы, проектных точек, вращения и сегментирования. Алгоритмы объединения, оценки различий и пересечения переписаны с Python на С++;
В режиме 3D-просмотра добавлена возможность отображения обратных граней для более качественной визуализации;

Оптимизирован выбор цвета меток новых слоёв;
В строке поиска обеспечена поддержка поиска закладок и настроек, а также появилась возможность вычисления простых математических выражений (например "= 10/3").
Администратор запретил публиковать записи.

о сколько нам открытий чудных... 3 мес. 2 нед. назад #1547

  • zaikin
  • zaikin аватар
  • Вне сайта
  • Модератор
  • Сообщений: 1664
  • Спасибо получено: 3
  • Репутация: 0
20.07.2018 11:56 Facebook открыл код для обработки ситуации нехватки памяти в системе www.opennet.ru/opennews/art.shtml?num=48994
Facebook опубликовал собственную реализацию обработчика нехватки памяти в системе (OOM, Out Of Memory), работающую в пространстве пользователя. Как и представленный в начале месяца проект earlyoom, разработка Facebook нацелена на более оперативное и выборочное завершение работы процессов, потребляющих слишком много памяти, на стадии до срабатывания OOM-обработчика ядра Linux. Код oomd написан на языке C++ и поставляется под лицензией GPLv2. Oomd уже используется в инфраструктуре Facebook и хорошо зарекомендовал себя при промышленных нагрузках (в частности, проект позволил почти полностью избавиться от возникновения на серверах длительных livelock-блокировок).
Проект oomd предоставляет достаточно гибкие настройки, позволяющие определять процессы, которые не следует завершать при любых условиях (например, sshd) или, наоборот, определить второстепенные процессы, которые можно завершить без особого вреда. В привязке к определённым процессам или для всех процессов можно определять параметры интенсивности роста потребления памяти и пороговые значения, при превышении которых в условиях нехватки памяти допускается принудительное завершение работы процессов. Допускается создание различных групп процессов, к которым могут применяться разные правила.
Поддерживается подключение различных модулей для определения нехватки памяти (oomdetector) и завершения процессов (oomkiller). В процессе работы для мониторинга за потреблением ресурсов используются cgroup2 и подсистема PSI (Pressure Stall Information), несколько дней назад предложенная для включения в состав ядра Linux. PSI разработан в Facebook и позволяет проанализировать информацию о времени ожидания получения различных аппаратных ресурсов для определённых задач или наборов процессов в cgroup.
В контексте OOM подсистема PSI позволяет выявить начало возникновения задержек из-за нехватки ресурсов на стадии когда система ещё не находится в критическом состоянии и не начинает интенсивно урезать кэш и вытеснять данные в раздел подкачки. Кроме оценки нагрузки на систему памяти в PSI также учитывается нагрузка на CPU и ввод/вывод. По сути PSI можно рассматривать как более информативный индикатор перегрузки и механизм для отслеживания изменения нагрузки во времени, более точно отражающий реальную ситуацию по сравнению с метрикой LA (Load Average).
Проведённые синтетические тесты показали, что реализация OOM-обработчика в пространстве пользователя продемонстрировала более высокую эффективность и надёжность, по сравнению со штатным OOM killer ядра Linux. Ниже на графиках приведено сравнение oomd и OOM killer при тестировании постепенного запроса процессом 2 Гб ОЗУ в течение 120 секунд в условиях нехватки памяти (значения выше 120 следует рассматривать как поведение, приводящее к снижению производительности).


13.08.2018 07:13 Компания Tesla намерена открыть код систем обеспечения безопасности www.opennet.ru/opennews/art.shtml?num=49122
Илон Маск сообщил о намерении перевести в разряд открытого ПО компоненты, применяемые для обеспечения безопасности автомобилей Tesla с автономным управлением. Никаких деталей и сроков пока не называется, но упоминается мотив - желание повысить безопасность всех беспилотных автомобилей. По мнению Маска, предложенный код сможет применяться и другими производителями для повышения безопасности своих систем.
Администратор запретил публиковать записи.

о сколько нам открытий чудных... 3 мес. 1 нед. назад #1571

  • zaikin
  • zaikin аватар
  • Вне сайта
  • Модератор
  • Сообщений: 1664
  • Спасибо получено: 3
  • Репутация: 0
18.08.2018 12:04 Microsoft Research открыл код быстрого хранилища в формате ключ/значение www.opennet.ru/opennews/art.shtml?num=49154
Исследовательское подразделение компании Microsoft опубликовало новое открытое хранилище FASTER, манипулирующее данными в формате ключ/значение и ориентированное на обеспечение распараллеливания обработки запросов и очень высокой скорости выборки в условиях большой интенсивности обновления данных. Хранилище оформлено в виде встраиваемой библиотеки, доступной в вариантах для языков C++ и C#, и распространяемой под лицензией MIT.
FASTER использует размещаемый в оперативной памяти индекс и привлекает внешний накопитель для постоянного хранения данных, что позволяет создавать хранилища, превышающие по размеру имеющееся ОЗУ. Если данные умещаются в ОЗУ в тестах на одном сервере обеспечивается производительность на уровне 160 млн операций в секунду, что превышает производительность конкурирующих решений, таких как kyoto cabinet, LevelDB и RocksDB. Для обеспечения целостности предоставляется специально разработанная в Microsoft Research новая схема восстановления записей, которая отличается от других решений более высокой производительностью, ценой незначительного повышения задержек при фиксации коммитов.
СУБД отлично адаптирована для применений, активность в которых строится на последовательности операций чтения, изменения и перезаписи данных в БД. Для достижения высокой интенсивности операций обновления и экономии памяти в FASTER используется архитектура на основе гибридного лога записей (HybridLog), который комбинирует структуру в виде хэша, допускающую замену по месту существующих записей в оперативной памяти, с организацией хранения на диске в форме только дополняемого лога. Особенностью HybridLog также является осуществление буферизации и хранения на уровне отдельных записей, а не блоков фиксированного размера.
Администратор запретил публиковать записи.

о сколько нам открытий чудных... 2 мес. 3 нед. назад #1589

  • zaikin
  • zaikin аватар
  • Вне сайта
  • Модератор
  • Сообщений: 1664
  • Спасибо получено: 3
  • Репутация: 0
12.09.2018 09:47 Проект Python для соблюдения политкорректности избавляется от терминов "master" и "slave" www.opennet.ru/opennews/art.shtml?num=49256
Гвидо ван Россум (Guido van Rossum) поставил точку в споре, возникшем среди разработчиков языка Python из-за изменений, предложенных Виктором Штиннером (Victor Stinner), работающим в Red Hat и входящим с число ключевых разработчиков Python. Виктор предложил вычистить код Python от упоминания слов "master" и "slave", так как их использование является неполиткорректным и ассоциируется с рабством и неравноправием. Несколько лет назад некоторые открытые проекты уже затронула череда подобных переименований, например, в Drupal термины "master" и "slave" были заменены на "primary" и "replica", а в Django и CouchDB на "leader" и "follower".
Предложение вызвало бурную дискуссию, которая привела к расколу сообщества на сторонников и противников переименования. Противники мотивировали свою позицию тем, что не следует смешивать политику и программирование, "master" и "slave" лишь термины, значение которых уже устоялось в компьютерной технике и не имеет ничего общего с одобрением рабства. Кроме того, замена устоявшихся терминов неизбежно вызовет путаницу среди разработчиков и может привести к нарушению обратной совместимости. Также упоминается, что одно дело когда какие-то выражения являются оскорбительными или непонятными, но в случае с "master" и "slave" имеет место лишь неопределенно сформированные представления о политической корректности, мешающие использованию простого английского языка.
Несмотря на намерение уйти с поста великодушного пожизненного диктатора, в спор пришлось вмешаться Гвидо ван Россуму и принять конечное решение. Из пяти коммитов, предложенных при обсуждении переименования "master" и "slave" на parent/main/server и child/worker, в кодовую базу принято четыре. Изменения отразятся в релизе Python 3.8. Одно изменение отклонено, так как затрагивает устоявшуюся терминологию UNIX ptys, используемую другими проектами.
Среди принятых изменений:
"master process" заменён на "parent process";
"master option mappings" на "main option mappings";
"master pattern object" на "main pattern object";
В модуле ssl слово "master" заменено на "server";
В pty.spawn() параметр master_read заменён на parent_read;
Метод pty.slave_open() переименован в pty.child_open(), но вызов pty.slave_open пока оставлен для обратной совместимости;
В os.openpty() и os.forkpty() параметры master_fd/slave_fd переименованы в parent_fd/child_fd;
Внутренние переменные master_fd, slave_fd и slave_name переименованы в parent_fd, child_fd и child_name;
Опция "--slaveargs" заменена на "--worker-args";
Функция run_tests_slave() переименована в run_tests_worker().
Дополнение: Сообщество разработчиков СУБД Redis также обсуждает предложение по избавлению от терминов "master" и "slave". При этом, предлагаются более кардинальные изменения, такие как переименование операции "SLAVEOF" в "REPLICAOF" и настройки "slaveof" в "replicaof" (для сохранения совместимости поддержка "SLAVEOF" будет сохранена в виде опции). Поддержка признака "slave" в командах INFO и ROLE пока будет оставлена, так как связана с большими нарушениями совместимости. Но в будущем планируется предложить альтернативу INFO и заменить в ROLE "slave" на "replica".
Обсуждение поднял Сальвадор Санфилиппо (Salvatore Sanfilippo), создатель СУБД Redis, который не считает, что переименование оправданно, но вынужден реагировать из-за давления со стороны политактивистов, призывающих не использовать Redis из-за применения дискриминационной терминологии.
Администратор запретил публиковать записи.
Модераторы: amv, zaikin, $admin

Вебинары и он-лайн трансляции

Доступ к информационным системам и электронным образовательным ресурсам

Главный корпус Учебный корпус
Гостиница © ДубльГИС - справочник организаций с картой города