BigData следит за тобой!

[Olej]

Для тех, кто до зелёных соплей мечтает о анонимности в сети и вопит об ограничениях их сокровенных свобод в Интернет ... попались мне на глаза интересные данные:
- техникой анализа и обработки BigData ...
- 36 лайков, которые вы поставили (возможно непроизвольно) в Интернет (за всю свою жизнь) на 100% достаточно чтобы определить ваш пол, характер, уровень образования, уровня дохода и т.д.
- 300 лайков, которые вы оставили в Интернет достаточно, чтобы получить о вас информации больше, чем знают о вас члены вашей семьи.

Вот откуда идёт такой бешеный интерес к алгоритмике и математическим основам BigData технологий обработки информации!
Всплеснувшийся в последние 3-5 лет.

[ALEXX]

Вопрос скорее в раздел пофлудить... Переношу...
Предлагаете инструкцию как себя спрятать?
Могу организовать проксю - через проксю.... Нужно кому на форуме?
Или лучше тором будем пользоваться?

[Olej]

Вопрос скорее в раздел пофлудить... Переношу...
Предлагаете инструкцию как себя спрятать?
Могу организовать проксю - через проксю.... Нужно кому на форуме?
Или лучше тором будем пользоваться?

Вы чего-то недопоняли: все ваши прокси с торами, в данном случае, в этом контексте - до фени. Объяснять надо почему?
Инструкцию не предлагаю, а хотел бы, напротив, выслушать соображения на счёт... или информацию.

P.S. А в флудилку - напрасно перенесли, потому что эта тема - мировоззренческая, идеологическая + куда интересней, чем все остальные темы форума, вместе взятые.

[ALEXX]

Вы чего-то недопоняли: все ваши прокси с торами, в данном случае, в этом контексте - до фени. Объяснять надо почему?
Инструкцию не предлагаю, а хотел бы, напротив, выслушать соображения на счёт... или информацию.

P.S. А в флудилку - напрасно перенесли, потому что эта тема - мировоззренческая, идеологическая + куда интересней, чем все остальные темы форума, вместе взятые.

Это именно пофлудить, а не руководство к боевым действиям... Смогли рассказать как следят -расскажи как спрятаться.

[Oleg65]

Тут вопрос анализа. Хотя не уверен, что с точность определяют все параметры, девиация должна быть достаточно большая...

[Olej]

Тут вопрос анализа.

Вот это (и информация об этом) и представляется особо интересным!
Как? Алгоритмика? ...

[Oleg65]

Тут вопрос анализа.

Вот это (и информация об этом) и представляется особо интересным!
Как? Алгоритмика? ...

Скорее всего, ведь не персонал же сидит и анализирует такой поток данных... Вот на чем она основана, эта алгоритмика , что-то из психоанализа?

[Olej]

Скорее всего, ведь не персонал же сидит и анализирует такой поток данных...

Да нет.
BigData - это совершенно технический и строгий термин. Это новая техника математической обработки очень больших объёмов данных, их перекрёстного анализа. Ещё не так давно просто вычислительных мощностей, требуемых для алгоритмики BigData, технически не присутствовало в природе (или присутствовало в виде уникальных суперкомпьютеров). А на сегодня эти техники могут быть перенесены на достаточно рядовые вычислительные средства.

[Olej]

Большие данные

Больши́е да́нные (англ. big data, [ˈbɪɡ ˈdeɪtə]) — совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце 2000-х годов, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence[1][2][3].

В широком смысле о «больших данных» говорят как о социально-экономическом феномене, связанном с появлением технологических возможностей анализировать огромные массивы данных, в некоторых проблемных областях — весь мировой объём данных, и вытекающих из этого трансформационных последствий[4].

Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduce

21 сентября 2015 в 18:47
Термин Big Data появился сравнительно недавно. Google Trends показывает начало активного роста употребления словосочетания начиная с 2011 года.

При этом уже сейчас термин не использует только ленивый. Особенно часто не по делу термин используют маркетологи. Так что же такое Big Data на самом деле? Раз уж я решил системно изложить и освятить вопрос – необходимо определиться с понятием.
В своей практике я встречался с разными определениями:
· Big Data – это когда данных больше, чем 100Гб (500Гб, 1ТБ, кому что нравится)
· Big Data – это такие данные, которые невозможно обрабатывать в Excel
· Big Data – это такие данные, которые невозможно обработать на одном компьютере

Таким образом под Big Data я буду понимать не какой-то конкретный объём данных и даже не сами данные, а методы их обработки, которые позволяют распредёлено обрабатывать информацию. Эти методы можно применить как к огромным массивам данных (таким как содержание всех страниц в интернете), так и к маленьким (таким как содержимое этой статьи).

Приведу несколько примеров того, что может быть источником данных, для которых необходимы методы работы с большими данными:
· Логи поведения пользователей в интернете
· GPS-сигналы от автомобилей для транспортной компании
· Данные, снимаемые с датчиков в большом адронном коллайдере
· Оцифрованные книги в Российской Государственной Библиотеке
· Информация о транзакциях всех клиентов банка
· Информация о всех покупках в крупной ритейл сети и т.д.
Количество источников данных стремительно растёт, а значит технологии их обработки становятся всё более востребованными.

[Olej]

Большие данные

Исходя из определения Big Data, можно сформулировать основные принципы работы с такими данными:

1. Горизонтальная масштабируемость. Поскольку данных может быть сколь угодно много – любая система, которая подразумевает обработку больших данных, должна быть расширяемой. В 2 раза вырос объём данных – в 2 раза увеличили количество железа в кластере и всё продолжило работать.

2. Отказоустойчивость. Принцип горизонтальной масштабируемости подразумевает, что машин в кластере может быть много. Например, Hadoop-кластер Yahoo имеет более 42000 машин (по этой ссылке можно посмотреть размеры кластера в разных организациях). Это означает, что часть этих машин будет гарантированно выходить из строя. Методы работы с большими данными должны учитывать возможность таких сбоев и переживать их без каких-либо значимых последствий.

3. Локальность данных. В больших распределённых системах данные распределены по большому количеству машин. Если данные физически находятся на одном сервере, а обрабатываются на другом – расходы на передачу данных могут превысить расходы на саму обработку. Поэтому одним из важнейших принципов проектирования BigData-решений является принцип локальности данных – по возможности обрабатываем данные на той же машине, на которой их храним.

Все современные средства работы с большими данными так или иначе следуют этим трём принципам. Для того, чтобы им следовать – необходимо придумывать какие-то методы, способы и парадигмы разработки средств разработки данных. Один из самых классических методов я разберу в сегодняшней статье.

Исходя из того, что обработку в технике Big Data реализуется на компьютерных кластерах, это имеет прямое и непосредственное отношение к Linux, поскольку подавляющее большинство суперкомпьютеров (кластеров) в мире работают под управлением Linux - Практические применения Linux

... общий top-500, в котором вы можете сами отобрать по любому критерию, в том числе и по ОС:

Linux - 462
UNIX - 24
Windows - 2

Вот свежие статистики (ноябрь 2016) по используемым ОС для суперкомпьютеров: