от 17/10/2014
- Sublime Text - модный текстовый редактор, часто используется как среда разработки. Уроки и хитрости можно посмотреть здесь
- python - один из самых широко распространенных (пожалуй, второй после javascript) высокоуровневый язык програмирования. Python - это серверный язык, однако так-же часто используется и для написания скриптов.
- R - язык программирования для статистики и обработки данных. Рекомендуется использовать в среде R-studio
###Scraping (автоматизированный сбор данных в web):
Скрейпинг - это процесс сбора данных из интернета через html-страницы. Скрейпинг является худшим (по сравнению с API) вариантом сбора данных, однако нередко - единственно возможным. Существует множество методов и инструментов для скрейпинга, существенно различающихся по сложности и функционалу.
#####Основной набор инструментов
- Scraper (Chrome extention) - простое хром-приложение для сохранения хтмл-таблиц
- Kimonify - великолепной приложение по сбору данных
- Scraperwiki - python (и R) и база данных из коробки, готовые собирать для вас данные
- WebScraper (Chrome extention) - Никогда им не пользовался, но, возможно, стоит
###Data Processing
- OpenRefine - один из ключевых инструментов, может применяться и для скрейпинга. Документация здесь
- Google Spreadsheets
- Python pandas - библиотека Python по работе с данными, аналогичен R
Основная часть процессинга так или иначе проводится в языках программирования (Python, R, может проводится и в Grasshopper)
###Visualisation
- Tableau Public — очень крутой и простой сервис для визуализации и веб-паблишинга данных
- Google fusion table — автоматический геокодинг и нанесение на карту
- Tilemill2 - инструмент настройки дизайна карт, позволяет визуализировать простые картографические данные
- DataWrapper - простая визуализация графиков
- RAW - сложные графики в вектор и онлайн
- Carto.db - сервис визуализации геоданных
- MapBox Studio - продвинутая и усложненная версия TileMill, слишком сложна для пробной визуализации, но позволяет делать очень красивые карты
###Interactive Visualization
###Books (Книги)
- Пособие по журналистике данных
- Scraping for Journalists
- Finding stories in a spreadsheet
- Data Source Handbook
- Big data Glossary
- Visualize this (added by Alexander Ayupov)
- Data points (added by Alexander Ayupov)
- Data Analysis with open source tools
- ...
###Web
- StackExchange для Дата-аналитиков
- StackExchange для картографов
- ...
#####Наши источники
- Infographics
- Tools
- DataSets
- Visual Programming
###Other
- Каталог типов визуализации
- Overview, анализатор-кластеризатор наборов текстов
- GeoJson.io - Маппинг и генерация geojson
- JsonValidator - простой инструмент форматирования json
- CSS Selectors - селекторы CSS-поиска
- Универсальный детектор кодировки - определение кодировки текста
- DataConverter - форматирование данных в удобную структуру
- ColorBrewer - подбор цветов для карты
- RegEx формирование на основе текста
- Проверка орфографии
- StackEdit
Written with StackEdit.