Команда IT специалистов выполнит подготовку инфраструктуры для вашего бизнеса.
Внедрение самых передовых решений и технологий.
Поддержка и сопровождение ваших сервисов.
Выполнение работ под "ключ", от покупки сервера, до настройки автоматизации процессов. 8(977)608-78-62 adm@nixm.ru
Внедрение самых передовых решений и технологий.
Поддержка и сопровождение ваших сервисов.
Выполнение работ под "ключ", от покупки сервера, до настройки автоматизации процессов. 8(977)608-78-62 adm@nixm.ru
BigData следит за тобой!
BigData следит за тобой!
Для тех, кто до зелёных соплей мечтает о анонимности в сети и вопит об ограничениях их сокровенных свобод в Интернет ... попались мне на глаза интересные данные:
- техникой анализа и обработки BigData ...
- 36 лайков, которые вы поставили (возможно непроизвольно) в Интернет (за всю свою жизнь) на 100% достаточно чтобы определить ваш пол, характер, уровень образования, уровня дохода и т.д.
- 300 лайков, которые вы оставили в Интернет достаточно, чтобы получить о вас информации больше, чем знают о вас члены вашей семьи.
Вот откуда идёт такой бешеный интерес к алгоритмике и математическим основам BigData технологий обработки информации!
Всплеснувшийся в последние 3-5 лет.
- техникой анализа и обработки BigData ...
- 36 лайков, которые вы поставили (возможно непроизвольно) в Интернет (за всю свою жизнь) на 100% достаточно чтобы определить ваш пол, характер, уровень образования, уровня дохода и т.д.
- 300 лайков, которые вы оставили в Интернет достаточно, чтобы получить о вас информации больше, чем знают о вас члены вашей семьи.
Вот откуда идёт такой бешеный интерес к алгоритмике и математическим основам BigData технологий обработки информации!
Всплеснувшийся в последние 3-5 лет.
- ALEXX
- Администратор
- Сообщения: 1350
- Зарегистрирован: 21 дек 2014, 14:59
- Откуда: Королёв
- Контактная информация:
Re: BigData следит за тобой!
Вопрос скорее в раздел пофлудить... Переношу...
Предлагаете инструкцию как себя спрятать?
Могу организовать проксю - через проксю.... Нужно кому на форуме?
Или лучше тором будем пользоваться?
Предлагаете инструкцию как себя спрятать?
Могу организовать проксю - через проксю.... Нужно кому на форуме?
Или лучше тором будем пользоваться?
Re: BigData следит за тобой!
Вы чего-то недопоняли: все ваши прокси с торами, в данном случае, в этом контексте - до фени. Объяснять надо почему?hotmax писал(а):Вопрос скорее в раздел пофлудить... Переношу...
Предлагаете инструкцию как себя спрятать?
Могу организовать проксю - через проксю.... Нужно кому на форуме?
Или лучше тором будем пользоваться?
Инструкцию не предлагаю, а хотел бы, напротив, выслушать соображения на счёт... или информацию.
P.S. А в флудилку - напрасно перенесли, потому что эта тема - мировоззренческая, идеологическая + куда интересней, чем все остальные темы форума, вместе взятые.
- ALEXX
- Администратор
- Сообщения: 1350
- Зарегистрирован: 21 дек 2014, 14:59
- Откуда: Королёв
- Контактная информация:
Re: BigData следит за тобой!
Это именно пофлудить, а не руководство к боевым действиям... Смогли рассказать как следят -расскажи как спрятаться.Olej писал(а): Вы чего-то недопоняли: все ваши прокси с торами, в данном случае, в этом контексте - до фени. Объяснять надо почему?
Инструкцию не предлагаю, а хотел бы, напротив, выслушать соображения на счёт... или информацию.
P.S. А в флудилку - напрасно перенесли, потому что эта тема - мировоззренческая, идеологическая + куда интересней, чем все остальные темы форума, вместе взятые.
- Oleg65
- Местный говорун
- Сообщения: 859
- Зарегистрирован: 18 янв 2015, 10:56
- Откуда: г.Коломна Моск.обл.
Re: BigData следит за тобой!
Тут вопрос анализа. Хотя не уверен, что с точность определяют все параметры, девиация должна быть достаточно большая...
Re: BigData следит за тобой!
Вот это (и информация об этом) и представляется особо интересным!Oleg65 писал(а):Тут вопрос анализа.
Как? Алгоритмика? ...
- Oleg65
- Местный говорун
- Сообщения: 859
- Зарегистрирован: 18 янв 2015, 10:56
- Откуда: г.Коломна Моск.обл.
Re: BigData следит за тобой!
Скорее всего, ведь не персонал же сидит и анализирует такой поток данных... Вот на чем она основана, эта алгоритмика , что-то из психоанализа?Olej писал(а):Вот это (и информация об этом) и представляется особо интересным!Oleg65 писал(а):Тут вопрос анализа.
Как? Алгоритмика? ...
Re: BigData следит за тобой!
Да нет.Oleg65 писал(а):Скорее всего, ведь не персонал же сидит и анализирует такой поток данных...
BigData - это совершенно технический и строгий термин. Это новая техника математической обработки очень больших объёмов данных, их перекрёстного анализа. Ещё не так давно просто вычислительных мощностей, требуемых для алгоритмики BigData, технически не присутствовало в природе (или присутствовало в виде уникальных суперкомпьютеров). А на сегодня эти техники могут быть перенесены на достаточно рядовые вычислительные средства.
Re: BigData следит за тобой!
Большие данные
Big Data от А до Я. Часть 1: Принципы работы с большими данными, парадигма MapReduceБольши́е да́нные (англ. big data, [ˈbɪɡ ˈdeɪtə]) — совокупность подходов, инструментов и методов обработки структурированных и неструктурированных данных огромных объёмов и значительного многообразия для получения воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети, сформировавшихся в конце 2000-х годов, альтернативных традиционным системам управления базами данных и решениям класса Business Intelligence[1][2][3].
В широком смысле о «больших данных» говорят как о социально-экономическом феномене, связанном с появлением технологических возможностей анализировать огромные массивы данных, в некоторых проблемных областях — весь мировой объём данных, и вытекающих из этого трансформационных последствий[4].
21 сентября 2015 в 18:47
Термин Big Data появился сравнительно недавно. Google Trends показывает начало активного роста употребления словосочетания начиная с 2011 года.
При этом уже сейчас термин не использует только ленивый. Особенно часто не по делу термин используют маркетологи. Так что же такое Big Data на самом деле? Раз уж я решил системно изложить и освятить вопрос – необходимо определиться с понятием.
В своей практике я встречался с разными определениями:
· Big Data – это когда данных больше, чем 100Гб (500Гб, 1ТБ, кому что нравится)
· Big Data – это такие данные, которые невозможно обрабатывать в Excel
· Big Data – это такие данные, которые невозможно обработать на одном компьютере
Таким образом под Big Data я буду понимать не какой-то конкретный объём данных и даже не сами данные, а методы их обработки, которые позволяют распредёлено обрабатывать информацию. Эти методы можно применить как к огромным массивам данных (таким как содержание всех страниц в интернете), так и к маленьким (таким как содержимое этой статьи).
Приведу несколько примеров того, что может быть источником данных, для которых необходимы методы работы с большими данными:
· Логи поведения пользователей в интернете
· GPS-сигналы от автомобилей для транспортной компании
· Данные, снимаемые с датчиков в большом адронном коллайдере
· Оцифрованные книги в Российской Государственной Библиотеке
· Информация о транзакциях всех клиентов банка
· Информация о всех покупках в крупной ритейл сети и т.д.
Количество источников данных стремительно растёт, а значит технологии их обработки становятся всё более востребованными.
Re: BigData следит за тобой!
Olej писал(а):Большие данные
Исходя из того, что обработку в технике Big Data реализуется на компьютерных кластерах, это имеет прямое и непосредственное отношение к Linux, поскольку подавляющее большинство суперкомпьютеров (кластеров) в мире работают под управлением Linux - Практические применения LinuxИсходя из определения Big Data, можно сформулировать основные принципы работы с такими данными:
1. Горизонтальная масштабируемость. Поскольку данных может быть сколь угодно много – любая система, которая подразумевает обработку больших данных, должна быть расширяемой. В 2 раза вырос объём данных – в 2 раза увеличили количество железа в кластере и всё продолжило работать.
2. Отказоустойчивость. Принцип горизонтальной масштабируемости подразумевает, что машин в кластере может быть много. Например, Hadoop-кластер Yahoo имеет более 42000 машин (по этой ссылке можно посмотреть размеры кластера в разных организациях). Это означает, что часть этих машин будет гарантированно выходить из строя. Методы работы с большими данными должны учитывать возможность таких сбоев и переживать их без каких-либо значимых последствий.
3. Локальность данных. В больших распределённых системах данные распределены по большому количеству машин. Если данные физически находятся на одном сервере, а обрабатываются на другом – расходы на передачу данных могут превысить расходы на саму обработку. Поэтому одним из важнейших принципов проектирования BigData-решений является принцип локальности данных – по возможности обрабатываем данные на той же машине, на которой их храним.
Все современные средства работы с большими данными так или иначе следуют этим трём принципам. Для того, чтобы им следовать – необходимо придумывать какие-то методы, способы и парадигмы разработки средств разработки данных. Один из самых классических методов я разберу в сегодняшней статье.
Вот свежие статистики (ноябрь 2016) по используемым ОС для суперкомпьютеров:
... общий top-500, в котором вы можете сами отобрать по любому критерию, в том числе и по ОС:Linux - 462
UNIX - 24
Windows - 2
Последний раз редактировалось Olej 06 апр 2017, 18:44, всего редактировалось 1 раз.