Часть I. Что такое метаданные?
Концепция метаданных проста и в то же время сложна. Мы без труда понимаем, что такое данные: это информация, которой мы обмениваемся, которую обрабатываем и потребляем в постоянно развивающемся цифровом обществе. Но что такое метаданные?
Метаданные: данные о данных
Данные, в особенности цифровые, могут принимать различные формы. Обычные разговоры, текстовые сообщения или социальные сети – все это способы передачи данных. Цифровой банкинг или торговые транзакции подразумевают передачу данных. Веб-содержимое, цифровые и потоковые развлечения, базы данных или информационные репозитории любого рода – это примеры публикации данных.
Метаданные описывают суть этих данных: они предоставляют информацию об этих данных. Все очень просто. Но если копнуть чуть глубже, мы обнаружим, что «описание» данных представляет собой сложную с технической точки зрения задачу и одновременно социально-политическую проблему. В части I я расскажу, что представляют собой метаданные техническим, квази-научным языком.
Какие типы данных относятся к метаданным?
Метаданные – это средство классификации, упорядочивания и характеристики данных или содержимого. Национальная организация по информационным стандартам (NISO) предлагает классификацию, которую можно применить для всех типов данных или репозиториев данных, от библиотек до веб-сайтов, для текстовых и нетекстовых данных, в цифровой или материальной форме.
NISO описывает три типа метаданных.
Описательные метаданные включают такую информацию, как точки контакта, заголовок или автор публикации, аннотация работы, используемые в работе ключевые слова, географическое местоположение или даже пояснение методологии. Эти данные служат для обнаружения, сбора или группирования ресурсов по общим для них характеристикам. Чтобы понять, как описательные метаданные соотносятся с информационными данными, посетите страницы Деловые и потребительские исследования Европейской комиссии по экономике и финансам. Помимо данных исследований вы можете получить Метаданные BCS по исследованию каждой из стран Евросоюза, например Франции. Файлы метаданных содержат контактные данные, описание методологии и дату каждого исследования, но в них нет вопросов и ответов, полученных в ходе исследования.
Структурные метаданные поясняют состав или организацию ресурсов. Например, цифровую книгу можно публиковать в виде изображений отдельных страниц, файла PDF или HTML. Эти страницы или компоненты обычно группируют в главы. Данные о главах, содержание или сведения о макете страниц считаются структурными метаданными. К структурным метаданным относятся также такие записи, как структурная карта страниц или иных ресурсов веб-сайта, событие вторжения или записи сведений о голосовых вызовах.
Административные метаданные используются для управления ресурсом. Даты создания или получения, права доступа, права или происхождение, либо правила утилизации, такие как хранение или удаление, являются примерами прав, которые может применять цифровой архивист, куратор. Сходные метаданные окажутся полезными для администратора базы данных или для администраторов, отвечающих за получение данных из трафика телекоммуникационных сетей или сетей передачи данных, либо журналов систем безопасности или данных о событиях.
Это лишь верхушка айсберга
Познакомившись с различными типами метаданных, вы можете оценить, насколько полезны они могут быть для любых компаний, организаций или государственных органов, которые занимаются сбором, агрегированием, управлением или хранением метаданных в больших масштабах. Вы можете также понять, что действия по сбору метаданных в больших масштабах могут стать источником полемики. Мы поговорим об этом в следующих публикациях из этой серии.
цифровые следы, которые мы (почти) не замечаем
Каждый день мы отправляем электронные письма, некоторые с файлами-вложениями. У всякого письма есть не только содержание, но и дата, и время отправки, заголовок, адрес отправителя, адрес получателя, тип вложения, его объем и прочие характеристики.
Это метаданные – информация, которая сопутствует содержанию. У любого файла, телефонного разговора, публикации в Facebook, книги, водительских прав, медицинской карты или видеофильма есть метаданные. Мы часто не замечаем их. Наше внимание сфокусировано на содержании. Но метаданные содержат больше ценной информации, чем мы привыкли думать. Иногда по метаданным можно выследить человека, получить на него компромат, полностью изменить его жизнь.
Как метаданные меняют жизнь людей
С конца 70-х в штате Канзас орудовал жестокий убийца. Полицейские прозвали его BTK (bind, torture, kill – «связывать, пытать, убивать»). Жертвами маньяка становились одинокие женщины и семьи. Жажда славы подталкивала BTK отправлять сообщения в полицию, газеты, радиостанции. Убийца рассказывал о деталях своих жутких преступлений, прилагал доказательства-фотографии, писал безумные стихи. В 2005 году BTK подбросил коробку со своими сочинениями на автостоянку, и тут его машину зафиксировала дорожная камера. Увы, расстояние было слишком велико. Черный внедорожник Jeep Grand Cherokee – вот и все, что удалось установить следователям. Вскоре психопат сделал попытку перейти с бумажных сочинений в электронный формат. Он отправил в полицию файл.
Следователи принялись изучать диск с файлом. Помимо послания маньяка, они обнаружили удаленный файл Microsoft Word и восстановили его. Содержание файла ничего не дало. Но в информации о документе значилась местная лютеранская церковь, а последняя редакция принадлежала некоему Деннису. Следователи быстро вышли на Денниса Рейдера, председателя церковного совета. Когда полиция подъехала к его дому, то увидела припаркованный черный Grand Cherokee. Анализ ДНК сделал возможным арест преступника. Сейчас Деннис Линн Рейдер, он же BTK, отбывает 10 пожизненных сроков в тюрьме строгого режима Эль Дорадо в Канзасе.
Так метаданные помогли найти убийцу.
Летом 2014 года 24-летний российский сержант Андрей Соткин опубликовал серию простеньких селфи с места службы. Издание Buzzfeed опубликовало мини-расследование: Соткин отправил свои фотографии в Instagram, но позабыл о метках геолокации. Buzzfeed сообщила, что координаты, где были сделаны фото, находились на территории Украины. (Официальная Москва отрицала нахождение российских военнослужащих в Украине.) Одни блогеры подхватили эту информацию как доказательство военного присутствия. Другие утверждали, что погрешность велика, фотографии сняты в России, и вообще вся история – фейк. Так метаданные легли в основу эпизода информационной войны.
В апреле 2017 года московского математика Дмитрия Богатова обвинили в призывах к терроризму и попытках организации массовых беспорядков. По версии следствия, Богатов под псевдонимом «Айрат Баширов» публиковал на форуме sysadmins.ru провокационные материалы о подготовке к вооруженному восстанию. Правоохранительные органы «вычислили» Богатова по IP-адресу. Впоследствии оказалось, что молодой математик держал на своем компьютере так называемый выходной узел сети Tor, международного проекта, нацеленного на обеспечение анонимности гражданских активистов и защиту их от преследований. Трафик злоумышленника прошел через компьютер Богатова. Это дало следователям повод прийти к математику с обыском. Богатов на несколько месяцев попал в СИЗО, полгода провел под домашним арестом. В мае 2018 года уголовное дело против него прекратили. Вскоре после этого Богатов и его жена подобру-поздорову уехали за границу. За то, что произошло, никто не понес никакого наказания. Таким образом, метаданные (IP-адрес) послужили поводом для того, чтобы государственная машина проехалась катком по невиновному человеку.
Даже если у правительства или корпораций нет доступа к содержанию переписки или разговоров, метаданные способны сказать очень многое. Так считают эксперты американской организации Electronic Frontier Foundation. Представьте, что человек: а) получил электронное письмо от службы диагностики кожных заболеваний; б) позвонил дерматологу; в) провел час на сайте с медицинскими советами; г) присоединился к закрытой группе, объединяющей людей, больных псориазом. Кажется, мы уже знаем главное, и это информация самого деликатного характера. А ведь мы не читали письмо, не слышали советов доктора, не заглядывали в закрытую группу.
Данные фотографии (EXIF). Можно узнать, в частности, модель камеры, параметры объектива, выдержку, диафрагму, фокусное расстояние, размеры снимка и его разрешение, дату, время и точные координаты съемки. Скриншот с сайта www.pic2map.comКакие бывают метаданные
В 2011 году молодой немецкий политик Мальте Шпитц (Malte Spitz) добился от телекоммуникационного гиганта «Deutsche Telecom» передачи ему всех данных… о самом себе. Информации, которую провайдер собирал не для правоохранительных органов, а просто как часть своей рутинной работы. Метаданные показали, где находился г-н Шпитц в разное время дня на протяжении полугода, сколько раз звонил и отправлял сообщения. Интерактивная карта позволит вам немножко ощутить себя «Большим Братом». История Мальте Шпитца, помимо прочего, показывает, что технически можно собирать сразу несколько типов метаданных.
Исследователи и эксперты часто делят метаданные на три категории.
- Описательные метаданные. Человек использует их для идентификации и поиска информации. Как правило, именно с ними ежедневно сталкиваются пользователи. Пример: название файла.
- Структурные метаданные. Как организована информация, как работает навигация. Пример: связь между двумя страницами веб-сайта, которая позволяет выводить под статьей А ссылку на статью Б.
- Административные метаданные. Кем, когда, где и как была создана и обработана информация. Пример: лицензионные ограничения на распространение информации.
Хотя термин «метаданные» один, области применения разные. На русском языке коротко и понятно о метаданных рассказывается, например, в блоге ICANN.
Метаданные хранятся в самых разных местах. Например, в музыкальных файлах популярного формата MP3 метаданные (здесь их называют ID3-теги) в специальных «фреймах» внутри самого файла. Когда вы открываете MP3-файл в своем плеере, то можете видеть имя исполнителя, название композиции, а то и жанр. Эту информацию плеер узнал из метаданных. У электронного письма метаданные находятся в заголовке. Обычно отправитель и получатель видят лишь часть метаданных в своих почтовых программах. Хотите взглянуть на заголовок? Если вы, скажем, пользователь GMail, откройте какое-нибудь из писем, нажмите на кнопку с тремя точками в правом верхнем углу (рядом со стрелочкой «Ответить») и выберите в меню «Показать оригинал».
Доступ к вашим метаданным могут иметь самые разные люди и организации. Например, заголовки писем доступны не только отправителю и адресату, но и почтовым провайдерам, а в рамках СОРМ – и спецслужбам. Владелец сайта, на который вы заходите, может узнать не только ваш IP-адрес, но и версии вашего браузера и операционной системы. Очень часто метаданные доступны широкой публике и никак не защищены – по своей природе или по человеческой небрежности.
Метаданные можно централизованно обрабатывать. Бывает, что типы метаданных «смешиваются». Одна и та же информация может в этих условиях считаться метаданными, в других – собственно данными (контентом). Возьмите, к примеру, тот же заголовок электронного письма: он может оказаться весьма содержательным. Для решения профессиональных задач эксперты в разных областях нередко разрабатывают свои, более узкие категории метаданных. Вы можете найти уйму информации о метаданных в Интернете. Вот, например, целый сайт, посвященный метаданным в фотографии.
Едва ли не в каждом детективном сериале встречается сцена, когда полицейский говорит охранникам (отеля, аэропорта, больницы или торгового центра):
– Покажите мне камеру в восточном конце коридора на третьем этаже. Вчерашнюю запись в промежуток с 8:40 до 8:50, пожалуйста.
Детективу не нужно просматривать все имеющиеся записи со всех камер. Он использует метаданные (местоположение камеры и время происшествия), чтобы ускорить поиск.
Анализ метаданных (например, звонков, email, сообщений в мессенджерах) позволяет визуализировать взаимоотношения между людьми. Здесь изображены члены придуманной команды (кружочки с картинками) и их связи друг с другом и с прочими членами сообщества (кружочки без картинок). Скриншот с сайта openteam.info.Государство и метаданные
Как правило, объем метаданных гораздо меньше объема самих данных. Поиск по метаданным существенно проще, чем поиск по содержанию (просмотр всех видеозаписей в надежде рано или поздно увидеть злодея с пистолетом и в темных очках).
С другой стороны, люди часто воспринимают метаданные как «вторичный элемент». Особенно это касается приверженцев идеи «Мне нечего скрывать». Защитой метаданных попросту пренебрегают.
Правительства разных стран учитывают эти факторы, когда требуют от телекоммуникационных компаний хранить метаданные определенное (нередко весьма долгое!) время для нужд правоохранительных органов и спецслужб. Эта проблема является частью обширной темы хранения данных о пользователях (data retention).
Так, швейцарское законодательство предписывает операторам связи хранить метаданные в течение полугода. Для сотовой связи это номера абонентов, идентифицирующие номера SIM-карт и телефонов, местонахождение звонящего, дата, время и продолжительность разговора. Европейские правозащитники ведут мониторинг ситуации с хранением метаданных в разных странах мира. Нажим со стороны правительств и правоохранительных органов, ратующих за хранение метаданных, не ослабевает. Правозащитники не остаются в долгу, иногда выигрывая по-крупному, как это, например, удалось ирландской организации «DIgital Rights Ireland», в 2014 году добившейся (через обращение в верховный суд своей страны) отмены Европейской директивы о хранении данных 2006 года. Активисты утверждали, что безосновательный сбор данных о людях, ни в чем не подозреваемых, нарушает их гражданские права.
В России в 2016 году был принят, а с 1 июля 2018 года вступил в силу печально известный «пакет Яровой». Он предписывает компаниям хранить данные пользователей в пределах полугода. Конкретные сроки устанавливает правительство. Оно и установило: шесть месяцев для звонков и сообщений, 30 дней для интернет-трафика с постепенным наращиванием объема хранения. А вот метаданные хранить нужно целых три года. Аргументы правозащитников, представителей IT-индустрии, юристов-международников и экономистов о том, что подобная практика чрезмерна, посягает на права граждан и вызывает необоснованную и непропорциональную нагрузку на операторов связи, не оказали должного влияния на власти.
Классический пример использования метаданных для идентификации пользователей – привязка различных сервисов и аккаунтов к номеру мобильного телефона. Который, в свою очередь, на территории России можно законно получить лишь при предъявлении паспорта. Даже если вы придумали для нового аккаунта «ВКонтакте» классный псевдоним и не поддались искушению разместить свое лицо на аватарке, останутся метаданные – номер мобильного телефона.
«Метаданные – это данные слежки. Собирать метаданные о людях означает следить за ними». Брюс Шнайер, американский специалист по цифровой безопасности (из личного блога).
Что с этим делать
Очень часто метаданные бывают полезны, например, для поиска информации. Многие метаданные неотделимы от самих данных (трудно представить документ, у которого нет даты создания или редактирования). Но можно попробовать не упрощать жизнь тому, кто решил составить досье на вас. Вот лишь несколько советов.
- Помните о том, что метаданные есть. Расскажите о них тем, кто не знает.
- Некоторые сервисы настойчиво предлагают клиентам «повысить свою безопасность» и указать номер мобильного телефона «для восстановления забытого пароля». Вряд ли стоит это делать. Потратьте время на хорошие пароли, надежные хранилища паролей и резервные копии как паролей, так и самих данных.
- Старайтесь не пополнять копилку метаданных о себе в социальных сетях. Например, так ли нужно всем пользователям Facebook видеть полный список ваших друзей? Может быть, не стоит «чекиниться» в аэропортах и кафе?
- Если вы фотографируете на смартфон, отключите в настройках камеры геометки. Но если они вам по какой-то причине нужны, вычистите метаданные из фотографии, прежде чем отправлять ее кому-либо.
- Обращайте внимание на разрешения приложений. Теплица уже писала о том, какие риски приносят чересчур инвазивные приложения.
- Браузерные дополнения, вроде Privacy Badger, позволяют идентифицировать следящие элементы на веб-страницах (трекеры), а Tor Browser – повысить ваши шансы оставаться анонимным в сети.
Автор благодарит Олега Ткачева, директора Центра поддержки НКО г. Кирова, за ценные замечания при подготовке статьи.
Еще по теме
Метаданные — это… Что такое Метаданные?
метаданные — Сведения о данных. [ГОСТ Р 52438 2005] метаданные 1. Данные о данных. Метаданные представляют собой описание структуры данных и методов их обработки. Кроме того, в метаданных может содержаться дополнительная информация о базах данных, являющихся… … Справочник технического переводчика
Метаданные — формализованная совокупность описаний каких либо информационных объектов, общая для всех объектов определенного типа… Источник: ПОСТАНОВЛЕНИЕ Правительства Москвы от 14.06.2005 N 439 ПП О ДАЛЬНЕЙШЕМ ПРОВЕДЕНИИ РАБОТ ПО СОЗДАНИЮ МОСКОВСКОГО… … Официальная терминология
Метаданные — (Metadata) — сведения о составе данных, их содержании, статусе, происхождении, местонахождении, качестве, форматах и формах представления, условиях доступа, приобретения и использования и т.д … Экономико-математический словарь
Метаданные — Эта статья или раздел нуждается в переработке. Пожалуйста, улучшите статью в соответствии с правилами написания статей. Метаданные … Википедия
метаданные — 3.10 метаданные (metadata): Данные, описывающие контекст, содержание, структуру документов и управление ими. Источник: ГОСТ Р ИСО 15489 1 2007: Система стандарто … Словарь-справочник терминов нормативно-технической документации
метаданные — metaduomenys statusas Aprobuotas sritis kartografija apibrėžtis Duomenys, kuriais apibūdinami erdvinių duomenų rinkiniai ir paslaugos ir kurie reikalingi šiems dalykams surasti, įvertinti ir naudoti. atitikmenys: angl. metadata vok. Metadateien;… … Lithuanian dictionary (lietuvių žodynas)
метаданные — метад анные, ых … Русский орфографический словарь
метаданные — мн., Р. метада/нных … Орфографический словарь русского языка
метаданные — метада/нные, ых … Слитно. Раздельно. Через дефис.
МЕТАДАННЫЕ — согласно ГОСТ Р ИСО 15489–1 2007 «Системы СИБИД. Управление документами. Общие требования», – данные, описывающие контекст, содержание, структуру документов и управление документами в течение времени … Делопроизводство и архивное дело в терминах и определениях
Что такое метаданные?—Справка | ArcGIS Desktop
Информация, описывающая элементы в ArcGIS, называется метаданными. Когда хорошие описания тщательно подготовлены, можно найти соответствующие элементы при помощи поиска и оценки того, какой из элементов в результатах поиска является подходящим для использования.
В метаданные элемента можно записать любую информацию об элементе, которая представляет интерес для вашей организации. Это может быть информация о размере и возрасте элемента, ограничениях по его использованию и доступности, о важных процессах в его жизненном цикле и т.п.
Метаданные элемента отображаются и редактируются на вкладке Описание закладка Описание, либо в ArcCatalog, либо путем открытия окна Описание элемента из других приложений ArcGIS Desktop.
Стиль метаданных конфигурирует ArcGIS, чтобы создавать такие метаданные, которые вы хотите. Выбор стиля метаданных сходен с применением фильтра к метаданным элемента. Стиль определяет, как отображаются метаданные, и какие страницы становятся доступными для редактирования метаданных на закладке закладка Описание. Стиль метаданных может разрабатываться для поддержки профиля или стандарта метаданных. В таком случае стилем определяется порядок экспортирования и проверки метаданных для соответствующего стандарта или профиля.
Используемый по умолчанию стиль метаданных Описание элемента позволяет видеть и редактировать простой набор свойств метаданных для элемента. При редактировании метаданных в этом стиле доступна только одна страница информации. Этот стиль позволяет легко предоставить информацию, нужную ArcGIS; метаданные индексированы, доступны для поиска и могут публиковаться вместе с элементом данных в ArcGIS Online. Стиль метаданных Описание элемента – очевидный и эффективный, подходит для всех, кому не требуется соблюдать конкретные стандарты метаданных.
В ArcGIS предлагается несколько разных стилей метаданных. Если хотите просмотреть больше информации об элементе или описать его более подробно, чем это можно сделать с помощью стиля по умолчанию Описание элемента, выберите другой стиль метаданных.
Все другие стили метаданных, предоставляемые с ArcGIS, позволяют просмотреть полные метаданные элемента. Если щелкнуть кнопку Редактировать на вкладке Описание закладка Описание, вы увидите несколько страниц, которые позволяют вводить подробную информацию.
Эти стили метаданных позволяют обрабатывать метаданные надлежащим образом для соблюдения разных стандартов и профилей, включая стандарт Стандарт содержания цифровых геопространственных метаданных (CSDGM) созданный Федеральный комитет по географическим данных (FGDC), стандарт ISO 19139 Географическая информация – Mетаданные – Реализация XML-схемы, Северо-американский профиль стандарта ISO 19115:2003 – Географическая информация – Метаданные
После создания, редактирования, проверки и экспорта метаданных для нескольких элементов, как правило, возникает желание найти способы оптимизации рабочей процедуры. Можно создать шаблоны документов метаданных, в которых содержится информация, являющаяся общей для нескольких элементов. Импортируйте шаблон метаданных, прежде чем добавить подробности, характерные для конкретного отдельного элемента. Помимо редактирования все задачи обработки метаданных могут выполняться при помощи инструментов геообработки, которые доступны в наборе инструментов «Конвертация». Можно импортировать шаблон метаданных, обновить контактную информацию и выполнить другие задачи для нескольких элементов за один раз, запустив инструмент геообработки или модель в пакетном режиме либо создав подходящий скрипт на языке Python. Можно автоматизировать выполнение других скриптов, например для периодического экспорта метаданных нескольких элементов, чтобы обновленную информацию можно было публиковать в каталог метаданных.
Редактор метаданных и кнопки на вкладке Описание закладка Описание, кнопки на панели инструментов Метаданные в ArcCatalog, а также большинство инструментов геообработки метаданных разработаны для работы с информацией, хранящейся в новом формате метаданных ArcGIS. Если имеются метаданные, созданные при помощи ArcGIS for Desktop 9.3.1 или надстройки редактора метаданных FGDC, либо XML-файл, содержащий метаданные, хранящиеся в согласующимся со стандартом формате, это содержимое можно просмотреть в текущей версии ArcGIS Desktop, однако оно доступно только для чтения. Существующий контент должен быть обновлен до нового формата, или соответствующие стандарту XML-файлы должны импортироваться в ArcGIS перед тем, как редактировать контент и пользоваться кнопками на вкладке Описание закладка Описание.
Если метаданные созданы при помощи редактора метаданных FGDC в ArcGIS Desktop 9.3.1 или надстройки редактора метаданных FGDC, эти данные отображаются на вкладке Описание закладка Описание, под заголовком Метаданные FGDC (только для чтения). Данный контент можно экспортировать и проверить на достоверность при помощи инструмента Транслятор метаданных USGS MP.
Связанные разделы
КАК: Что такое метаданные? (Определение и использование)
Метаданные — это данные о данных. Другими словами, это информация, которая используется для описания данных, содержащихся в чем-то вроде веб-страницы, документа или файла. Другой способ думать о метаданных — это краткое объяснение или краткое изложение данных.
Простым примером метаданных для документа может быть сбор информации, такой как автор, размер файла, дата создания документа и ключевые слова для описания документа. Метаданные для музыкального файла могут включать имя исполнителя, альбом и год его выпуска.
Для компьютерных файлов метаданные могут храниться в самом файле или в другом месте, например, в некоторых файлах книг EPUB, содержащих метаданные в ассоциированном файле ANNOT.
Метаданные представляют собой закулисную информацию, которая используется повсюду, в каждой отрасли, разными способами. Это повсеместно распространено в информационных системах, социальных сетях, веб-сайтах, программном обеспечении, музыкальных услугах и онлайн-розничной торговле. Метаданные могут быть созданы вручную, чтобы выбрать и выбрать то, что включено, но оно также может быть сгенерировано автоматически на основе данных.
Типы метаданных
Метаданные представлены в нескольких типах и используются в самых разных целях, которые могут быть категоризированы как бизнес, технические или операционные.
- описательный Например, свойства метаданных включают название, тему, жанр, автора и дату создания.
- права метаданные могут включать статус авторских прав, правообладатель или условия лицензии.
- технический свойства метаданных включают типы файлов, размер, дату и время создания и тип сжатия. Технические метаданные часто используются для управления цифровыми объектами и взаимодействия.
- сохранение метаданные используются в навигации. Примеры свойств метаданных сохранения включают место элемента в иерархии или последовательности.
- Языки разметки включают метаданные, используемые для навигации и взаимодействия. Свойства могут включать заголовок, имя, дату, список и абзац.
Поиск метаданных и веб-сайтов
Метаданные, встроенные в веб-сайты, имеют критически важное значение для успеха сайта. Он включает описание веб-сайта, ключевых слов, метатегов и т. Д., Которые играют определенную роль в результатах поиска.
Некоторые общие термины метаданных, используемые при создании веб-страницы, включают мета-заголовок и мета-описание. Мета-название кратко объясняет тему страницы, чтобы помочь читателям понять, что они получат со страницы, если они ее откроют. Мета-описание — это дополнительная информация, хотя и краткая, о содержании страницы.
Обе эти части метаданных отображаются в поисковых системах для читателей, чтобы быстро просмотреть, о чем идет речь. Поисковая система использует эту информацию для группировки похожих элементов, чтобы при поиске определенного ключевого слова или группы ключевых слов результаты были релевантны вашему поиску.
Метаданные веб-страницы могут также включать язык, на котором была написана страница, например, является ли это HTML-страницей.
Метаданные для отслеживания
Розничные продавцы и интернет-магазины используют метаданные для отслеживания привычек и движений потребителей. Цифровые маркетологи отслеживают каждый ваш клик и покупку, сохраняя информацию о вас, такую как тип используемого устройства, ваше местоположение, время суток и любые другие данные, которые они юридически разрешают собирать.
Вооруженные этой информацией, они создают картину вашей повседневной жизни и взаимодействий, ваших предпочтений, ваших ассоциаций и ваших привычек и могут использовать эту картину для продажи своих продуктов вам.
Поставщики интернет-услуг, правительства и другие лица, имеющие доступ к большим наборам метаданных, могут потенциально использовать метаданные с веб-страниц, электронных писем и других мест, где есть пользователи в Интернете, для мониторинга веб-активности.
Поскольку метаданные являются коротким представлением больших данных, эту информацию можно искать и фильтровать для поиска информации о миллионах пользователей одновременно и отслеживать такие вещи, как высказывания ненависти, угрозы и т. Д. Известно, что некоторые правительства собирают эти данные, в том числе не только веб-трафик, но и телефонные звонки, информацию о местоположении и т. д.
Метаданные в компьютерных файлах
Каждый файл, который вы сохраняете на своем компьютере, содержит некоторую базовую информацию о файле, чтобы операционная система понимала, как с этим бороться, и чтобы вы или кто-то еще мог быстро собрать из метаданных, что такое файл.
Например, в Windows, когда вы просматриваете свойства файла, вы можете четко видеть имя файла, тип файла, где он хранится, когда он был создан и последний изменен, сколько места он занимает на жестком диске, кто владеет файлом и т. д.
Эта информация может использоваться как операционной системой, так и другими программами. Например, вы можете использовать утилиту поиска файлов, чтобы быстро найти все файлы на вашем компьютере, которые были созданы где-то сегодня, и это больше 3 МБ.
Метаданные в социальных сетях
Каждый раз, когда вы друг-то на Facebook, слушайте музыку, Spotify рекомендует вам, публикует статус или делится чьим-то твитом, метаданные работают в фоновом режиме. Пользователи Pinterest могут создавать доски связанных статей из-за метаданных, хранящихся в этих статьях.
Метаданные полезны в особых ситуациях в социальных сетях, например, когда вы ищете кого-то в Facebook. Вы можете увидеть изображение профиля и краткое описание о пользователе Facebook, чтобы узнать только основы о них, прежде чем принимать решение об их дружбе или отправить им сообщение
Управление метаданными и базами данных
Метаданные в мире управления базой данных могут учитывать размер и форматирование или другие характеристики элемента данных. Очень важно интерпретировать содержимое данных базы данных. Язык расширяемой разметки (XML) — это один язык разметки, который определяет объекты данных с использованием формата метаданных.
Например, если у вас есть набор данных с датами и именами, которые распространяются, вы не можете знать, что представляют данные или что описывают столбцы и строки. С базовыми метаданными, такими как имена столбцов, вы можете быстро взглянуть на базу данных и понять, что описывает конкретный набор данных.
Если для их описания есть список имен без метаданных, это может быть что угодно, но когда вы добавляете метаданные вверху, в котором говорится «Отпуск сотрудников», теперь вы знаете, что эти имена представляют всех сотрудников, которые были уволены. Дату, расположенную рядом с ними, можно также понимать как нечто полезное, например «Дата окончания» или «Дата найма».
Какие метаданные не
Метаданные — это данные, которые описывает данных, но это не сами данные. Например, метаданные автора и даты создания, хранящиеся в документе Microsoft Word, не являются полностью документом, а всего лишь несколькими подробностями о файле.
Поскольку метаданные не являются фактическими данными, его можно безопасно обнародовать, поскольку он не дает никому доступа к необработанным данным. Например, достаточно узнать краткие сведения о веб-странице или видеофайле, чтобы понять, чего недостаточно, чтобы увидеть всю страницу или воспроизвести все видео.
Подумайте о метаданных в виде карточного файла в вашей библиотеке детства, который содержит информацию о книге; метаданные — это не сама книга. Вы можете много узнать о книге, изучив ее карточный файл, но вам нужно открыть книгу, чтобы прочитать ее.
Метаданные. Словарь терминов
(metadata дословный перевод — «данные о данных», греч. meta — вслед, за, после, через; от лат. data — данные) — это данные, описывающие другие данные. Например, данными может быть любая числовая или текстовая информация, содержимое колонок в таблицах. А уточняющая информация об этих данных — что это за данные, где они хранятся и применяются будет являться метаданными.
Термин «метаданные» (информация об информации) в широком смысле слова используется для любой информации о данных — это и название колонок в таблицах данных, и наименование самих таблиц данных, и номер версии в файле программы и т.п.
Метаданные в 1С — это специальные данные, описывающие структуру базы данных, т.е. внутренние данные хранилища информации. Метаданные являются описательной частью об объектах конфигурации (константы, справочники, документы, др.) и содержат сведения о их составе, содержании, статусе, происхождении, местонахождении, качестве, форматах и формах представления, условиях доступа и т.п.
Иванов — это данные, а описание данных о том, что «Иванов» — это фамилия физического лица, записанная в справочнике «Физические лица» в реквизите «Фамилия» — это метаданные.
В области программирования 1С метаданные используется для получения информации об объектах. При этом объектом может быть любой объект конфигурации (константа, справочник, документ, регистр, отчет) или реквизит объекта конфигурации (информационное поле, например «дата документа» или «комментарий справочника»). Ниже приводится несколько примеров использования метаданных в 1С.
Специальная команда на языке программирования в 1С |
Сведения о данных 1С |
Метаданные.Справочник() |
Команда выводит информацию о количестве справочников в конфигурации |
Метаданные.Справочник(Номер).Реквизит(), где Номер — это номер справочника в базе данных |
Команда выводит информацию о количество реквизитов определенного справочника |
Метаданные.Справочник(Номер1).Реквизит(Номер2).Длина, где Номер1 — это номер справочника в базе данных |
Команда выводит информацию о длине определенного реквизита определенного справочника |
Метаданные.Справочник(Номер).ФормаСписка() |
Команда выводит информацию о количестве форм представления определенного справочника |
Метаданные.Пароль |
Команда выводит информацию о наличии или отсутствии пароля на конфигурации |
METS (Metadata Encoding and Transmission Standard)
METS (Metadata Encoding and Transmission Standard, Стандарт кодирования и передачи метаданных) – это спецификация кодирования и передачи данных на языке XML, разработанная на основе результатов проекта MOA2 (Making of America II, проект «Создавая Америку II») для кодирования метаданных, необходимых для обработки цифровых объектов в репозитории, и обмена такими объектами. Проект MOA2 стартовал в 1997 году с целью организовать среду для служб цифровых библиотек и завершился созданием схемы MOA2 DTD (XML DTD), которая определила стандарт описания цифрового объекта для кодирования административных, описательных, структурных метаданных объекта и его основного содержания. В дальнейшем сообщество MOA2 осознало необходимость расширить возможности обмена, архивирования и представления цифровых объектов; результатом пересмотра и переработки схемы MOA2 стала версия 1.0 XML-схемы METS (mets.xsd). В настоящее время действует версия 1.12.
Редакционный контроль METS осуществляет редакционная коллегия, в задачи которой входит популяризация использования этого стандарта, ведение реестра профилей METS и выявление примеров наиболее эффективного применения METS. Финансирование METS осуществляется DLF (Digital Library Federation, Федерацией цифровых библиотек) – консорциумом библиотек и других организаций, положивших начало созданию стандарта. Библиотека Конгресса США выполняет функции ведущей организации, в частности, осуществляя хостинг веб-сайта.
В настоящее время METS широко используется цифровыми библиотеками и архивами. Его задача не описание объекта электронной библиотеки в привычном для каталогизатора смысле этого слова. METS позволяет объединить в одном XML-документе всю информацию об объекте: из каких файлов он состоит, где они размещаются, как связаны между собой, какие метаданные относятся к объекту и его компонентам, каковы условия использования объекта, какие действия должна выполнять система при открытии объекта. Важным свойством METS является наличие инструментов для установления связи между объектами METS или их компонентами и соответствующими метаданными. Иными словами, METS можно сравнить с переплетом, обложкой и навигационным инструментом для группы цифровых файлов.
Одно из достоинств METS – его гибкость и наличие большого числа альтернатив. Один и тот же объект может быть описан по-разному, с разной степенью детальности: метаданные могут быть встроены в документ или находиться во внешнем ресурсе; допускается использование различных схем метаданных; перечень файлов может быть организован по-разному (по типу файлов, по назначению и т. д.).
Однако такая гибкость имеет и оборотную сторону – снижает интероперабельность записей METS в том случае, если организации выбрали для себя различные альтернативы, допустимые в METS.
Для решения этой проблемы создаются и используются профили METS. Профиль METS – это XML-документ, представляющий собой согласованное подмножество спецификации METS и отражающий особенности интерпретации и применения стандарта в отдельном проекте или организации либо для отдельных видов объектов. Профили регистрируются Редакционной коллегией METS и публикуются на официальном сайте METS.
Документ METS состоит из семи больших разделов:
- Заголовок METS. Содержит метаданные, описывающие собственно документ METS, включая информацию о его создателе, редакторе, дате и времени последних изменений и т. д.
- Раздел описательных метаданных. Описывает весь цифровой объект или его компоненты. Раздел может содержать описательные метаданные, внешние по отношению к METS-документу (например, MARC-запись в электронном каталоге или запись EAD на веб-сервере), либо внутренние описательные метаданные (т. е. встроенные в документ METS), либо оба типа метаданных одновременно.
- Раздел административных метаданных. Раздел содержит информацию о том, как файлы создавались и хранились, о правах интеллектуальной собственности, о свойствах исходного объекта; сведения о происхождении файлов, составляющих объект электронной библиотеки (т. е. сведения о связи «мастер-копия – производный файл», а также о миграции/трансформации цифровых объектов). Как и в случае описательных метаданных, административные метаданные могут быть либо внешними по отношению к документу METS, либо встроенными в документ METS.
- Раздел файлов. Содержит перечень всех файлов контента, составляющих электронные версии цифрового объекта. Элементы, описывающие отдельные файлы, могут объединяться в группы внутри элементов, для того чтобы обеспечить группировку файлов, например, по формату или по типу использования (это могут быть группы для мастер-копий, пользовательских копий и миниатюр).
- Структурная карта. Это центральная часть документа METS. Она отражает иерархическую структуру цифрового объекта и связывает элементы этой структуры с файлами контента и метаданными, соответствующими каждому элементу.
- Раздел структурных связей. Раздел структурных связей документа METS позволяет создателям документа фиксировать информацию о существовании гиперссылок между иерархическими элементами, указанными в структурной карте. Это имеет особое значение в случае использования METS при архивировании веб-сайтов.
- Раздел сценариев. Раздел может быть использован для связи исполняемых сценариев с контентом конкретного METS-объекта. Каждый сценарий, описанный в разделе, имеет элемент определения интерфейса, который являет собой абстрактное определение действий, представленных конкретным разделом сценариев. Кроме того, каждый сценарий имеет элемент механизма, определяющий модуль исполняемого кода, в котором реализованы и запускаются действия, указанные элементом определения интерфейса.
В 2018 году Президентской библиотекой по согласованию с Редакционной коллегией METS осуществлен перевод документации METS на русский язык. Издан сборник, в который вошли переводы основных документов, входящих в стандарт METS: «Краткое описание и руководство пользователя», «Начальное руководство и краткий справочник», «Схема METS» с комментариями на русском языке.
Что такое метаданные и как они работают?
Часто называемые данными, которые описывают другие данные, метаданные — это структурированные справочные данные, которые помогают сортировать и идентифицировать атрибуты информации, которую они описывают. В книге Zen and the Art of Metadata Maintenance Джон Уоррен описывает метаданные как «и вселенную, и ДНК».
Мета — это префикс, который в большинстве случаев использования информационных технологий означает «основное определение или описание». Метаданные обобщают основную информацию о данных, которая может облегчить поиск, использование и повторное использование конкретных экземпляров данных.
Например, автор, дата создания, дата изменения и размер файла являются примерами очень простых метаданных файла документа. Возможность поиска определенного элемента (или элементов) этих метаданных значительно упрощает поиск определенного документа.
Помимо файлов документов, метаданные используются для:
- компьютерные файлы
- фото
- реляционные базы данных
- таблиц
- видео
- аудиофайлов
- веб-страниц
Использование метаданных на веб-страницах может быть очень важным.Метаданные содержат описания содержимого страницы, а также ключевые слова, связанные с содержимым. Эти метаданные часто отображаются в результатах поиска поисковыми системами, а это означает, что их точность и детали могут повлиять на решение пользователя о посещении сайта. Эта информация обычно выражается в виде метатегов.
Поисковые системы оценивают метатеги, чтобы определить релевантность веб-страницы. Мета-теги использовались как ключевой фактор при определении позиции в поиске до конца 1990-х годов.Рост поисковой оптимизации (SEO) к концу 1990-х годов привел к тому, что многие веб-сайты стали наполнять свои метаданные ключевыми словами, чтобы обмануть поисковые системы, заставляя их веб-сайты казаться более актуальными, чем другие.
С тех пор поисковые системы стали меньше полагаться на метатеги, хотя они по-прежнему учитываются при индексировании страниц. Многие поисковые системы также пытаются препятствовать способности веб-страниц обманывать свою систему, регулярно меняя свои критерии ранжирования, при этом Google печально известен тем, что часто меняет свои алгоритмы ранжирования.
Метаданные можно создавать вручную или путем автоматической обработки информации. Создание вручную обычно бывает более точным, позволяя пользователю вводить любую информацию, которую он считает актуальной или которая поможет описать файл. Автоматическое создание метаданных может быть гораздо более элементарным, обычно отображая только такую информацию, как размер файла, расширение файла, когда файл был создан и кто создал файл.
Сценарии использования метаданныхМетаданные создаются каждый раз, когда документ, файл или другой информационный ресурс изменяется, включая его удаление.Точные метаданные могут помочь продлить срок службы существующих данных, помогая пользователям находить новые способы их применения.
Метаданные организуют объект данных с помощью терминов, связанных с этим конкретным объектом. Это также позволяет идентифицировать несходные объекты и объединять их с похожими объектами, чтобы помочь оптимизировать использование активов данных. Как уже отмечалось, поисковые системы и браузеры определяют, какой веб-контент отображать, интерпретируя теги метаданных, связанные с документом HTML.
Язык метаданных написан так, чтобы быть понятным как компьютерным системам, так и людям, уровень стандартизации, который способствует лучшей совместимости и интеграции между разрозненными приложениями и информационными системами.
Компании в области цифровых публикаций, проектирования, финансовых услуг, здравоохранения и производства используют метаданные для сбора информации о способах улучшения продуктов или процессов обновления. Например, поставщики потокового контента автоматизируют управление метаданными интеллектуальной собственности, чтобы их можно было хранить в множестве приложений, тем самым защищая правообладателей и в то же время делая музыку и видео доступными для аутентифицированных пользователей.
Зрелость технологий искусственного интеллекта несколько облегчает традиционное бремя управления метаданными за счет автоматизации ручных процессов каталогизации и маркировки информационных активов.
История и происхождение метаданныхДжек Э. Майерс, основатель компании Metadata Information Partners (ныне The Metadata Co.), утверждает, что придумал этот термин в 1969 году. Майерс зарегистрировал товарный знак на слово «метаданные» без дефиса в 1986 году. Несмотря на это, появляются ссылки на этот термин. в научных статьях, предшествующих заявлению Майерса.
В академической статье, опубликованной в 1967 году, профессора Массачусетского технологического института Дэвид Гриффель и Стюарт Макинтош описали метаданные как «запись… записей данных», которые возникают, когда библиографические данные по теме собираются из дискретных источников.Исследователи пришли к выводу, что необходим «металингвистический подход» или «метаязык», чтобы компьютерная система могла правильно интерпретировать эти данные и их контекст для других соответствующих фрагментов данных. В отличие от Майерса, Гриффель и Макинтош рассматривали «мета» как префикс к «данным».
В 1964 году бакалавр компьютерных наук по имени Филип Р. Бэгли начал работу над своей диссертацией, в которой он утверждал, что усилия по «созданию составных элементов данных» в конечном итоге основываются на способности «явно связываться» со вторым и связанным с ним элементом данных. , который «мы могли бы назвать» элементом метаданных.«Хотя его диссертация была отклонена, работа Бэгли, включая его ссылку на метаданные, впоследствии была опубликована в качестве отчета по контракту с Управлением научных исследований ВВС США в январе 1969 года.
Типы метаданных и примерыМетаданные классифицируются по-разному в зависимости от функции, которую они выполняют в управлении информацией.
- Административные метаданные позволяют администраторам устанавливать правила и ограничения, регулирующие доступ к данным и разрешения пользователей.Он также предоставляет информацию о необходимом обслуживании и управлении ресурсами данных. Часто используемые в контексте текущих исследований административные метаданные включают такие детали, как дата создания, размер и тип файла, а также требования к архивированию.
- Описательные метаданные идентифицируют определенные характеристики части данных, такие как библиографические данные, ключевые слова, названия песен, номера томов и т. Д.
- Юридические метаданные предоставляют информацию о лицензировании творческих работ, например об авторских правах, лицензировании и роялти.
- Сохранение метаданных направляет размещение элемента данных в иерархической структуре или последовательности.
- Метаданные процесса описывает процедуры, используемые для сбора и обработки статистических данных. Статистические метаданные — это еще один термин для метаданных процесса.
- Метаданные происхождения , также известные как происхождение данных, отслеживают историю части данных при их перемещении по организации. Исходные документы сопоставляются с метаданными, чтобы гарантировать достоверность данных или исправить ошибки в качестве данных.Проверка происхождения — обычная практика в управлении данными.
- Справочные метаданные относятся к информации, описывающей качество статистического контента.
- Статистические метаданные описывает данные, которые позволяют пользователям правильно интерпретировать и использовать статистику из отчетов, опросов и сборников.
- Структурные метаданные показывают, как собираются различные элементы составного объекта данных. Структурные метаданные часто используются в цифровом мультимедийном контенте, например, для описания того, как страницы аудиокниги должны быть организованы для формирования главы, и как главы должны быть организованы для формирования томов и т. Д.Термин «технические метаданные» — это синоним, наиболее тесно связанный с элементами электронных библиотек.
- Использовать метаданные — это данные, которые сортируются и анализируются каждый раз, когда пользователь обращается к ним. На основе анализа метаданных использования бизнес может определять тенденции в поведении клиентов и с большей готовностью адаптировать свои продукты и услуги к своим потребностям.
Ускоренный рост объемов данных вызвал новый интерес к потенциальной бизнес-ценности, которую можно извлечь из метаданных.Существуют различные структуры данных, которые представляют как возможности, так и проблемы.
Управление метаданными обеспечивает организационную структуру для гармонизации дискретных наборов данных, хранящихся в различных системах. Он также обеспечивает организационный консенсус для описания информации, часто с разбивкой на коммерческие, эксплуатационные и технические данные.
Компании внедряют управление метаданными, чтобы отсеять старые данные и разработать таксономию для классификации данных в соответствии с их коммерческой ценностью.Компонент этого — каталог или центральная база данных, которая служит репозиторием метаданных, также известным как словарь данных.
Помимо классификации данных, стратегии управления метаданными используются для улучшения аналитики данных, разработки политики управления данными и создания контрольного журнала для соблюдения нормативных требований.
По своей сути, управление метаданными позволяет людям идентифицировать атрибуты определенного фрагмента данных с помощью пользовательского веб-интерфейса. Атрибутом может быть имя файла, его автор, идентификационный номер клиента и т. Д.Таким образом, человек, запрашивающий документ, может видеть и понимать различные атрибуты данных, корпоративную систему, в которой они находятся, и причины, по которым эти атрибуты были созданы.
По состоянию на ноябрь 2020 года, Alation, ASG, Alex Solutions, Collibra, Erwin, IBM, Informatica, Oracle, SAP и SmartLogic входят в число ведущих поставщиков платформ управления метаданными по данным аналитической компании Gartner в своем Magic Quadrant for Metadata Management Solutions.
Стандартизация метаданныхБыл разработан ряд отраслевых стандартов, чтобы сделать метаданные более полезными.Эти стандарты обеспечивают единообразие общего языка, формата, написания и других атрибутов, используемых для описания данных. Каждый стандарт основан на определенной схеме, которая обеспечивает всеобъемлющую структуру для всех его метаданных.
Стандарты метаданных гарантируют единообразие общего языка, формата, орфографии и других аспектов, используемых для описания данных. Каждый стандарт основан на конкретной схеме, обеспечивающей всеобъемлющую структуру для всех его метаданных.Dublin Core — широко используемый общий стандарт, первоначально разработанный для помощи в индексировании каталогов физических библиотечных карточек.С тех пор стандарт был адаптирован для цифровых метаданных в Интернете. Dublin Core описывает атрибуты 15 основных элементов данных: заголовок, создатель, тема, описание, издатель, участники, дата, тип, формат, идентификатор, источник, язык, отношение, охват и управление правами.
Аналогичным стандартом библиографических метаданных является схема описания объектов метаданных, основанная на XML схема для библиотек, созданная Управлением по развитию сетей и стандартов Библиотеки Конгресса США в качестве преемника стандартов машиночитаемых каталогов, разработанных в 1960-х годах.
Более новый стандарт schema.org основан на сотрудничестве с открытым исходным кодом, который предоставляет набор схем метаданных, предназначенных для структурированных данных в Интернете, электронной почты и других форм цифровых данных.
Отраслевая схема метаданных
Ряд стандартных схем метаданных был разработан для удовлетворения уникальных требований определенных дисциплин и отраслевых вертикалей.
Искусство и гуманитарные науки:
- Text Encoding Initiative — это консорциум учреждений, разрабатывающих стандарты, определяющие методы кодирования для представления машиночитаемого текста в цифровой форме.
- VRA Core, совместно разработанная Библиотекой Конгресса и Ассоциацией визуальных ресурсов, описывается как «стандарт данных для описания произведений визуальной культуры, а также изображений, которые их документируют».
Культура и общество:
Наук:
Что такое метаданные? | Основы онтекста, серия
Метаданные представляют данные о данных. Метаданные обогащают данные информацией, что упрощает обнаружение, использование и управление.
Существует множество метаданных в зависимости от их назначения, формата, качества и объема. Некоторые из широко используемых категорий метаданных: описательные, структурные, административные и статистические.
Одним из примеров метаданных является все, что написано на конверте письма, чтобы помочь фактическому содержанию — письму — быть доставленным получателю. В качестве другого примера теги HTML инструктируют веб-браузеры о том, как создавать макеты страниц, чтобы людям было легче читать их и переходить по ссылкам на другие страницы.
Семантические метаданные помогают компьютерам интерпретировать значение данных через ссылки на концепции, формально описанные в графе знаний. Семантические метаданные часто являются частью самих графов знаний.
Любовная записка в будущее
Наиболее распространенное определение метаданных состоит в том, что метаданные — это «информация о данных». К счастью, есть еще один способ взглянуть на это, помимо сухого описания. «Любовная записка в будущее» — так Джейсон Скотт относится к метаданным.
Метаданные, видите ли, на самом деле любовная записка — она может быть для вас самих, но на самом деле это любовная записка для человека после вас или машины после вас, где вы сэкономили кому-то столько времени, чтобы найти что-то, рассказывая им, что это за штука.
Cit. Блог Джейсона Скотта
Описание физических и цифровых объектов — это и есть метаданные. Он помогает классифицировать, получать доступ и хранить цифровые активы всех видов. Именно с помощью метаданных возможно кодирование знаний в любом элементе данных.
Типы метаданных
Метаданные бывают разных форм и видов, неся дополнительную информацию о том, где был создан ресурс, кем, когда в последний раз к нему обращались, о чем они и многое другое.
Подобно библиотечным карточкам, описывающим книгу, метаданные описывают объекты и добавляют больше детализации к способу их представления. Существуют три основных типа метаданных: описательные, структурные и административные.
- Описательные метаданные добавляют информацию о том, кто создал ресурс, и самое главное — о чем этот ресурс и что он включает. Лучше всего использовать семантическую аннотацию.
- Структурные метаданные включают дополнительные данные о способе организации элементов данных — их взаимосвязях и структуре, в которой они существуют.
- Административные метаданные предоставляют информацию о происхождении ресурсов, их типах и правах доступа.
Примеры метаданных
Метаданные повсюду, это цифровой след всего, что мы делаем в информационном пространстве.В тот момент, когда мы переходим на цифровой формат, в дело вступают метаданные.
Примеры метаданных варьируются от размера и тематики наших электронных писем до дат созданных нами файлов, последних обращений к ним или их изменения, данных датчиков с наших смартфонов и последнего фильма, который мы искали на YouTube. Облегчение навигации и представления ресурсов метаданные также включают теги, семантические аннотации, номера страниц, разделы документов и ресурсов и многое другое.
Другой, более свежий пример — то, как RDF-star (также известный как RDF *) предлагает альтернативный подход к аннотированию операторов в RDF, позволяя прикреплять метаданные к ребрам в графе знаний.
Как помогают метаданные?
Метаданные лежат в основе каждого цифрового объекта и имеют решающее значение для управления, организации и использования.
При правильном создании и обработке метаданные служат для ясности и последовательности информации. Метаданные облегчают обнаружение релевантной информации, а также поиск и извлечение ресурсов. Любой цифровой объект, помеченный метаданными, может быть автоматически связан с другими релевантными элементами, что упрощает организацию и обнаружение.Это помогает пользователям устанавливать связи, которые в противном случае они бы не установили.
С помощью метаданных вы можете:
- Искать ресурсы по всевозможным критериям;
- Определить различные ресурсы;
- Собирать ресурсы по темам;
- Трассировка ресурсов.
Семантические метаданные: метаданные, которые заставляют вещи происходить автоматически
Метаданные — это мощный инструмент, но семантические метаданные еще мощнее.
Семантические метаданные (то есть метаданные, выраженные с помощью семантической технологии) позволяют этим «любовным запискам в будущее» полностью раскрыть свой потенциал.
Управление метаданными с учетом семантических технологий заставляет вещи происходить автоматически (если использовать слово Дэвида Вайнбергера из его книги Everything is Miscellaneous ).
Семантические метаданные упрощают организацию и соединение. А когда все взаимосвязано, элементы легче ремикшировать, собирать вместе, перепрофилировать и, в конечном итоге, осмыслить.
Хотите узнать, как разобраться в метаданных и преобразовать их в инструмент управления контентом?
Информационный документ: более интеллектуальный контент с помощью платформы динамической семантической публикацииПревратите контент в интеллектуальные фрагменты данных! |
Что такое метаданные и почему они важны?
Информация нуждается в контексте, и мы должны предоставить этот контекст таким образом, чтобы не обременять пользователей, а, наоборот, поддерживать их.Это означает, что нам необходимо в полной мере использовать преимущества технологий распознавания и аналитики, чтобы оптимизировать и автоматизировать процесс разработки этого контекста.
Одним из таких инструментов являются метаданные. Метаданные предлагают значительные преимущества с точки зрения понимания информации по-новому и возможности использовать этот интеллект для стимулирования инноваций и повышения качества обслуживания клиентов.
Что такое метаданные?
Не существует единого определения «метаданных», которое было бы международным и универсально согласованным — скорее, существует множество аналогичных определений или описаний, которые в основном охватывают одни и те же вопросы.Вам следует выбрать наиболее подходящий и актуальный для контекста вашей деятельности по управлению информацией и организации, в которой вы работаете.
Стандарт управления записями ISO 15489 дает следующее простое определение:
«Данные, описывающие содержание, содержание и структуру записей, а также управление ими во времени».
Министерство обороны США имеет определение метаданных в своем стандарте DoD 5015.2, который также аналогичен стандартам ISO, а именно:
«Данные, описывающие хранимые данные: то есть данные, описывающие структуру, элементы данных, взаимосвязи и другие характеристики электронных записей.«
Это иллюстрирует несколько других целей, которым служат метаданные в системах электронного управления записями (ERM).
Наконец, NISO, Национальная организация по информационным стандартам США , определяет метаданные как:
«Структурированная информация, которая описывает, объясняет, определяет местонахождение или иным образом упрощает поиск, использование или управление информационным ресурсом».
Обратите внимание на сходство и различие в этих определениях и подумайте, как они соотносятся с контекстом вашей собственной работы.Метаданные часто называют данными о данных или информацией об информации .
Какова ценность метаданных для бизнеса?
Основная ценность метаданных заключается в том, как они согласованы с конкретными бизнес-целями и задачами и поддерживают их. Вот несколько способов, которыми метаданные приносят пользу бизнесу:
- Классификация — Метаданные играют ключевую роль в классификации или организации хранения вашего контента — Метаданные можно использовать для отслеживания таких вещей, как даты, связанные с расписанием записи связанного документа.
- Информационная безопасность — Метаданные могут использоваться для отметки настроек безопасности, проверки прав доступа и редактирования и, таким образом, управления распространением.
- Качество обслуживания клиентов — Метаданные также можно использовать как способ фиксировать оценку контента пользователями, например, указывая, что контент является «ценным, или« бесполезным », или даже« устаревшим ».
- Информация «Возможность поиска » — метаданные чрезвычайно ценны как механизм улучшения поиска и извлечения, позволяя пользователям нацеливать запрос на определенное поле, такое как автор, тема, дата и т. Д.
Метаданные — важная часть этапов сбора, создания и организации контента в жизненном цикле контента. Если связанные метаданные не собираются одновременно с контентом, вы быстро создадите коллекцию контента, которым сложно управлять, искать и извлекать.
Короче говоря, метаданные — одна из основ для эффективного и действенного управления информацией.
Что это такое и как используется?
Метаданные, часто описываемые как данные о данных, являются основополагающим элементом, используемым для преобразования данных в актив в масштабе предприятия.Метаданные помогают понять стоящие за ними данные и отражают их использование, а также являются ключом к поддержке инициатив по управлению данными, нормативным требованиям и процессам управления данными.
Это критически важно для управления данными, потому что оно предоставляет важную информацию об активах данных организации:
- Что это за данные
- Когда данные были созданы
- Где они находятся
- Как они были изменены
- Кто имеет доступ
- Кто владеет
В простом смысле метаданные — это сводка и описание ваших данных, которые используются для классификации, организации, маркировки и понимания данных, что значительно упрощает сортировку и поиск данных.
Без него компании не могут управлять огромными объемами данных, создаваемых и собираемых на предприятии. Он нужен им для понимания и эффективного развертывания информационных ресурсов для поддержки различных бизнес-процессов и обеспечения расширенной аналитики.
Однако разные отделы имеют разные точки зрения на то, как это организовать и интерпретировать.
Определение различных точек зрения
Метаданные обеспечивают полное понимание того, где находятся данные в организации и как они развертываются.Чтобы все пользователи данных понимали метаданные организации, компании должны собирать, упорядочивать и управлять ими с трех различных точек зрения — физической, логической и концептуальной.
- Физические метаданные охватывают специфические особенности: в пределах которых находятся системные данные, уровень детализации схемы, таблицы и столбца или значения ключа. Эта информация генерируется машиной и автоматически извлекается из программных систем.
- Логические метаданные предоставляют подробные сведения о том, как данные связываются вместе для формирования более крупных наборов.Он также описывает, как данные проходят через системы и процессы, от создания до хранения, преобразования и потребления. По сути, он устанавливает дорожную карту на пути данных через цепочку поставки данных, включая их использование и изменения с течением времени.
- Концептуальные метаданные обеспечивают бизнес-контекст для данных — они детализируют значение и назначение данных на предприятии. Он предоставляет важную информацию об использовании данных, включая полученные знания экспертов в данной области в организации.Этот тип метаданных получен от людей. В результате это наиболее сложный тип для сбора и обновления, поскольку он требует вмешательства человека и процессов управления для постоянного обновления.
Как только организация идентифицирует эти три типа, она может дать бизнесу возможность создать глоссарий и сделать его доступным для всех пользователей.
Прочтите нашу электронную книгу
Узнайте, как используются метаданные и почему они важны для поддержки инициатив по управлению данными
Создание глоссария метаданных
Глоссарий метаданных обеспечивает прозрачность активов данных как для бизнес-пользователей, так и для технических пользователей.Создание глоссария начинается со стратегии управления данными в масштабе предприятия, в которой особое внимание уделяется качеству данных.
Комплексная программа управления данными помогает стимулировать общение между владельцами данных, распорядителями данных и пользователями, чтобы развивать совместный подход к созданию общих описаний данных. Когда все работают вместе над интерпретацией и документированием метаданных, организации могут установить взаимное понимание активов данных, сводя к минимуму любую путаницу, с которой бизнес-пользователи сталкиваются при просмотре глоссария.Путем автоматизации и отслеживания этих процессов генерируются предупреждения, когда элемент данных выходит из строя.
При полном участии всего предприятия управление данными обеспечивает полную прозрачность цепочки поставок данных организации, так что бизнес-пользователи могут легко определять, измерять, отслеживать и управлять своими активами данных.
Управление данными также обеспечивает подотчетность для отдельных активов данных. Устанавливая четкие границы ответственности, компании гарантируют, что метаданные всегда согласованы и точны.Компоненты управления данными могут затем соединять дескрипторы метаданных и оценки качества данных, чтобы гарантировать, что данные останутся точными, надежными, заслуживающими доверия и пригодными для использования.
Кроме того, программы управления данными помогают идти в ногу с постоянно растущим спросом и предложением данных. Сегодня возможности машинного обучения, встроенные в программу управления данными, автоматизируют сбор и обработку метаданных, устраняя некоторые ручные усилия, что экономит время и деньги предприятий.
Управление метаданными
После того, как они были определены в контексте более масштабной программы управления данными, последним критическим шагом является определение инструмента управления метаданными, который поможет их собирать, обрабатывать, оценивать и хранить.Это должен быть автоматизированный процесс для облегчения отслеживания данных и подотчетности. Конечно, это можно сделать с помощью электронных таблиц, так как поддержание информации в актуальном состоянии вызовет серьезные головные боли. Сбор, публикация и обновление метаданных по каждому текущему и будущему проекту данных сократит время получения аналитических сведений, помогая бизнесу быстрее принимать более обоснованные бизнес-решения.
Понимая и оценивая его с различных точек зрения, вместе с интегрированной программой управления данными, организации могут успешно создать исчерпывающий глоссарий, защитить решение для управления и предоставить всем пользователям данных возможность пользоваться преимуществами надежных данных.
Для получения дополнительной информации прочтите нашу электронную книгу: Почему управление метаданными является важным элементом управления данными
6 типов метаданных, которые вам нужно знать
Метаданные — отличный способ сортировать и упростить важной информации, но есть это варианты, которые следует учитывать. Большинство списков предоставляют три основных типа метаданных и называют это днем. Не я. Вместо этого в этой статье подробно рассматриваются шесть наиболее важных типов. Начнем с краткого изложения того, что такое метаданные.
Что такое метаданные?
Популярное определение метаданных — «данные, описывающие другие данные». Это немного сложнее, поскольку метаданные широко используются для сортировки и преобразования (так сказать) сложных данных во что-то более управляемое и понятное.
Имея в виду это определение, давайте взглянем на шесть типов метаданных, с которыми вы столкнетесь.
Описательные метаданные
Описательные метаданные в своей наиболее упрощенной версии представляют собой идентификацию конкретных данных.Это часто относится к таким элементам, как заголовки, даты и ключевые слова. Когда пользователь, например, загружает видеофайл, время выполнения фильма будет описательными метаданными.
Описательные метаданные часто являются наиболее часто используемыми и используемыми метаданными, поскольку они доступны, видимы и актуальны для популярных типов файлов.
Это также один из наиболее простых для понимания типов метаданных, который предоставляет основную информацию о таких вещах, как названия книг, имя автора, дата и т. Д.Единственный раз, когда описательные метаданные становятся более сложными или сложными, — это когда они используются для идентификации уникальных элементов, таких как проекты, основанные на коде, и веб-сайты.
Структурные метаданные
Структурные метаданные предоставляют информацию о конкретном объекте или ресурсе. Это часто относится к цифровым медиа. Вот наглядный пример: фильм в формате DVD состоит из множества разделов. Каждый раздел имеет определенную продолжительность показа фильма, и эти разделы вписываются в формат в определенном порядке.
В более широком смысле, структурные метаданные записывают информацию о том, как можно сортировать конкретный объект или ресурс. В приведенном выше примере DVD структурные метаданные будут информировать пользователей о правильном размещении этих разделов на диске.
Сохранение метаданных
Метаданные сохранения предлагают информацию, которая может усилить всю процедуру сохранения определенного цифрового объекта / файла. Эта информация может включать в себя важные детали, необходимые системе для связи или взаимодействия с конкретным файлом.
Сохранение метаданных обеспечивает целостность цифрового объекта или файла от начала до конца или до тех пор, пока они не перестанут использоваться или не понадобятся.
Обычно используется модель PREMIS (стратегии сохранения метаданных). Это позволяет выявить общие факторы, важные для сохранения и обслуживания, включая информацию, которая показывает действия, предпринятые с цифровым файлом, или связанные с ним права.
Метаданные происхождения
Самый простой способ представить себе метаданные происхождения — это сначала рассмотреть определение происхождения, которое примерно соответствует «самой ранней известной истории чего-либо.”
С метаданными происхождения это означает, что они наиболее актуальны, когда что-то изменяется или часто дублируется. Для физических объектов это гораздо менее важно, поскольку мы не дублируем их так часто. Однако в цифровой сфере это происходит постоянно.
Что делает метаданные происхождения такими важными, так это то, что они предоставляют данные о цифровом файле или истории ресурса, которые помогают отслеживать их на протяжении всего жизненного цикла. Вещи, которые могут затрагивать метаданные происхождения, — это компании или пользователи, которые повлияли на цифровой объект, и какие типы вещей они с ним сделали или методологии, которые они использовали.
Использовать метаданные
Использовать метаданные — это данные, которые сортируются каждый раз, когда пользователь обращается к определенному цифровому фрагменту данных и использует его. Метаданные использования собираются для четкой и прямой попытки сделать потенциально полезные прогнозы о будущем поведении пользователя.
Для демонстрации рассмотрим вымышленный книжный магазин, который регистрирует свои продажи в программной системе. Метаданные использования могут дать представление о продажах конкретной книги в магазине.
Например, предположим, что они были сбиты с толку колебаниями продаж книги под названием «Летние бризы, украшенные.Использование метаданных сообщит им, сколько копий они продают каждый год, когда клиенты покупают книгу, включая день недели и время дня, а также книги, купленные (если таковые имелись) в рамках одной транзакции (той же покупатель).
Эта информация может выявить характерные закономерности. Книжный магазин может определить, что «Летние бризы украшены» больше всего продаются, когда на улице теплее. Они также могут делать продажи чаще утром и днем, чем ночью.Они могут использовать этот тип информации, чтобы изменить порядок своего магазина на основе этих данных и стимулировать выявленные закономерности в отношении продаж конкретных книг.
Административные метаданные
Административные метаданные информируют пользователей, какие типы инструкций, правил и ограничений помещены в файл. Этот тип данных помогает администраторам ограничивать доступ к файлам в зависимости от квалификации пользователя. Административные метаданные являются исчерпывающими — они предоставляют информацию об определенных данных в целом от начала до конца.Это дает пользователям возможность управлять широким спектром файлов данных.
Административные метаданные похожи на базовую версию фрагмента данных. Даже если конкретный набор данных чрезвычайно сложен, их метаданные будут гораздо более подробными. Таким образом, административные метаданные предназначены для контроля — управления этими сложными частями и упрощения их для ясности.
Заключительные мысли
Множество типов метаданных помогают нам разобраться в наших файлах и данных, предоставляя ценную информацию.Расширяя свои знания обо всех различных типах метаданных, вы увеличиваете шансы разумной сортировки и сохранения ценных данных.
РуководствоForum по метаданным — Глава 1. Что такое метаданные и почему они важны?
Глава 1. Что такое метаданные и почему они важны?
В этой главе вводится понятие метаданных или данных о данных, особенно как связанных с образовательными агентствами и системами данных об образовании. Глава 1 определяет термин и объясняет, почему метаданные являются важным компонентом надежных данных об образовании. системы и управление данными.
Обзор
Мы все слышали предупреждение о «сравнении яблок с апельсинами». Но знать, что что-то является «яблоком» или «апельсином», не всегда так просто как это выглядит. Например, в аварии на орбитальном аппарате NASA Mars Orbiter инженеры не удалось распознать, что система скоростей Орбитального аппарата была измерена в метрических единицах («яблоки»), а его траектория измерялась в английских единицах («апельсины»). В результаты были поистине катастрофическими (см. экспонат 1.1). Хотя потеря жизни не проблема данные об образовании, при неправильном использовании данных могут возникнуть серьезные проблемы, возможно влияет на карьеру учителей, школьный бюджет и, самое главное, на образование детей.
Метаданные 1 определены как «данные о данных». Более технически точное определение «структурированная информация, которая описывает, объясняет, определяет местонахождение или иным образом делает ее легче получать, использовать или управлять информацией ». 2 Другими словами, метаданные предоставляют контекст, в котором следует интерпретировать данные и информацию.Например, в случае НАСА Орбитальный аппарат, метаданные помогли бы аналитикам определить меры метрическую и переведите их в английские единицы, чтобы избежать путаницы и ошибок. В то время как потеря Орбитального корабля — крайний пример ценности метаданных, бесчисленных данных системы, включая системы данных об образовании, могут значительно улучшить качество данных и использование данных путем создания надежных систем метаданных.
В сложном мире данных об образовании ответы на даже кажущиеся простые вопросы часто зависят от очень сложных технических данных.Возьмем, к примеру, «простой» вопрос: Сколько учителей английского языка в восьмом классе учатся? ваши школы? Иллюстрация 1.2 показывает, как «правильный» ответ зависит от определения. каждого отдельного слова или фразы в вопросе. На одном конце спектра не могут быть сертифицированными учителями английского языка на полную ставку, преподающими английский язык только Учащиеся восьмого класса единой средней школы округа в этом семестре. На В то же время, 50 или более учителей, работающих полный или неполный рабочий день, могут руководить чтением, письмом, или языковые курсы с хотя бы одним восьмиклассником в какой-то момент во время академический год.Ясно, что «правильный» ответ зависит от контекста вопроса и данные, которые используются для ответа на него, и метаданные предоставляют этот контекст.
Многочисленные случаи в сфере образования дополнительно иллюстрируют потребность в метаданных. Например, подумайте об удивлении директора школы, когда она не ложится спать допоздна. подготовка презентации, в которой используются онлайн-данные в режиме реального времени, а затем поиск результатов на следующее утро перед ее аудиторией будут другими, потому что база данных была обновлено в одночасье.Доступ к метаданным о цикле обновления базы данных будет наверняка помогли этому суперинтенданту. Или рассмотрим государственное образовательное агентство, которое потратил 1000000 долларов на новое программное приложение, но затем не может обновить его без потратить дополнительно 500000 долларов, потому что система не была должным образом задокументирована во время его первоначального развития. Техническая и управленческая запись метаданных выбор на протяжении всей разработки приложения, вероятно, решил бы этот источник проблемы с кодом и допускаются менее дорогостоящие обновления.
При использовании актуальных данных в презентации и правильном документировании технические характеристики всегда были важны, концепция метаданных или данных о данных, никогда прежде не было так важно для преподавателей. В эту эпоху управления данными принятия решений, образовательные организации и их избиратели занимают огромное место ценность использования данных для информирования учебных и управленческих практик. Наоборот, 20 лет назад преподаватели редко использовали данные для принятия решений в качестве стандартного бизнеса. упражняться; вместо этого руководители школ часто полагались на впечатления, мнения и даже инстинкты.Сегодняшнее расширенное использование данных еще больше осложняется огромным объемом собранная информация. С большим количеством данных для систематизации, доступа и понимания, чем когда-либо раньше система метаданных была важным инструментом для получения этой жизненно важной информации. управленческие задачи.
Верх
1 Термин «метаданные» был введен в обращение в 1969 году Джеком Э. Майерсом и зарегистрирован как торговая марка. в 1986 году его компанией The Компания метаданных ( http: //www.metadata.com ). Версия, зарегистрированная как торговая марка, написана с заглавной буквы «М». и отличается от публичного использования термина «метаданные» и «метаданные».
2 Согласно определению Национальной организации информационных стандартов (NISO), некоммерческой ассоциации аккредитован Американским национальным институтом стандартов (ANSI) для выявления, разработки, поддержки и публиковать технические стандарты. http://www.niso.org/ (последнее посещение — 8 января 2007 г.)
Что такое метаданные? Объяснение данных, описывающих данные
«Метаданные» — одно из тех модных словечек, которые вы часто слышите в дискуссиях о конфиденциальности, хранении данных в Интернете и социальных сетях.
Существует множество применений метаданных, некоторые из которых могут быть вам полезны в своей онлайн-жизни.
Вот все, что вам нужно знать о метаданных и о том, как они применимы к вашим привычкам в Интернете.
Что такое метаданные?Существует несколько разновидностей метаданных, но в двух словах метаданные — это просто данные, которые описывают атрибуты другого набора или наборов данных.Метаданные могут описывать размер, время создания и другие аспекты данных.
Например, когда вы составляете эссе в Microsoft Word, слова в файле .doc представляют данные в документе. С другой стороны, метаданные — это атрибуты файла .doc, которые могут включать время последнего изменения .doc, время создания .doc или размер файла в мегабайтах.
Если щелкнуть правой кнопкой мыши файл.doc и выберите «Получить информацию», вам будут предоставлены все описательные метаданные, связанные с этим файлом. Грейс Элиза Гудвин / Insider Типы метаданныхНиже приведены несколько наиболее распространенных типов метаданных, из которых наиболее распространен «описательный».
- Описательные метаданные: Описательные метаданные можно рассматривать как тип, проливающий свет на основную биографию части данных — такие детали, как название, дата публикации и автор.Метаданные, описанные в примере Microsoft Word выше, известны как «описательные» метаданные.
- Использовать метаданные: Другой тип метаданных — это метаданные «использования», также известные как метаданные отслеживания, которые представляют собой данные, которые фиксируют, когда и как часто пользователь взаимодействует с частью цифровых данных. Такие метаданные могут, например, помочь информировать влиятельного человека, в какое время дня лучше всего публиковать сообщения в Instagram.
- Административные метаданные: Этот тип также иногда называют метаданными сохранения.Эти метаданные хранят запись о том, кто владел цифровым объектом или изменил его, и сохраняют права, разрешения и конкретные инструкции для получения доступа к данным.
- Метаданные происхождения: Это относится к данным, которые часто изменяются или реплицируются. Одним из примеров метаданных происхождения может быть раздел «История изменений» на странице Википедии.
- Структурные метаданные: Внутри широких категорий метаданных есть «структурные» метаданные, которые представляют собой информацию, имеющую отношение к правильной организации или реорганизации разделов в наборе данных, который описывают метаданные.
Метаданные используются способами, которые влияют на все аспекты жизни, особенно в Интернете.
- Лучшие результаты при поиске в Google не случайны. От ключевых слов веб-сайта до наименования его файлов .jpg — эти результаты содержат метаданные, которые помогают укрепить их отношение к вашему онлайн-запросу и определить, насколько высоко они отображаются на странице результатов.
- Если вы когда-либо получали неожиданное электронное письмо от интернет-магазина, это могло быть связано с использованием метаданных (также известных как отслеживание). Например, если вы взяли длительный перерыв в покупке косметики, использование метаданных компанией может вызвать электронное письмо с просьбой перезагрузить вашу зависимость от косметических товаров.
- Говоря о метаданных, которые отслеживают вас, вы когда-нибудь замечали, что реклама интернет-магазинов, которые вы посещали в прошлом, похоже, преследует вас повсюду? Это не в вашей голове, но на самом деле это еще один экземпляр метаданных в действии.
- Время, когда вы можете добавить свои собственные метаданные, — это если вы ди-джей, который хочет видеть дополнительные атрибуты данных в своей цифровой музыкальной библиотеке, например количество ударов в минуту или тональность песни.
- Вы можете использовать описательные метаданные, чтобы следить за памятью вашего компьютера или телефона, сортируя и обрезая самые большие файлы с устройства.