Группа инвесторов, среди которых YCombinator, New Enterprise Associates и Эштон Кутчер, вложила $2,1 млн в стартап MemSQL, планирующий разработать высокопроизводительную базу данных, которая за основу берет работу в DRAM-памяти, а не на диске. Большинство используемых сегодня баз данных зародились как дисковые, после чего к ним был додуман высокопроизводительный модуль для хранения структур данных в...
В комментариях к записи о Level DB подсказали релиз Rethink DB, которая поддерживает протокол Memcached и теоретически может сервер Memcached полностью заменить. Попутно предлагая такие вещи как поддержку обьектов весом до 10 мег, оптимизацию под хранилища solid state и ускорение производительности. Упор на сохранение данных, поэтому все пишет на диск. Распространяется бесплатно, однако компания...
LevelDB – база для хранения данных в нереляционном формате key-value. От BerkeleyDB отличается скоростью, от Redis возможностью хранения данных на жестком диске, от Tokyo Cabinet улучшенной скоростью записи данных и другой внутренней структурой данных (LSM-tree, а не btree).
Джон Чианкутти из Netflix опубликовал пять уроков, через которые пришлось пройти при миграции инфраструктуры компании на амазоновские вэб-сервисы. Скорость работы сети в облаке будет пониже, чем в собственном дата-центре. Итого пришлось переработать некоторые API, которые отправляли частые запросы. Процессы приходится программировать с расчетом на то, что в какой-то момент их надо будет убить (из-за...
Каннан на странице Facebook Engineering опубликовал небольшую заметку о выборе системы хранения данных для новых сообщений на Facebook. Выбор пал между тремя пакетами: MySQL, который вроде как все знают, и который в компании с первого дня, когда Марк запустил сайт на платном хостинге. Ссылку ставить даже нет смысла. Cassandra, которая теперь под крылом Apache...
Kак Netflix отгружает и сайт, и цифровые фильмы с ресурсов Amazon Web Services. Для контекста – по некоторым оценкам 20% даунстрим-трафика в США в 2009 пришлось на видео с Netflix. Все началось с оцифровки в Лос-Анджелесе – у Netflix есть целое подразделение, лицензирующее фильмы у киностудий, в результате чего Netflix получает иногда цифровую копию,...
Cloudera подняла еще $25 млн на развитие Hadoop для предприятий. Последний раз когда я столкнулся с моим экс-коллегой, их нынешним вице-президентом, в аэропорту, тот как раз улетал на какую-то фармацевтическую конференцию. Ибо вроде как все деньги там – клинические исследования, и т.д. Ну или в настройке Хадупа для различных долиновских стартапов.
Cloudant – попытка максимально упростить облачное использование апачевского CouchDB. В максимально короткие сроки обещают создание и поддержку новых баз данных. Это в довесок к тому, что CouchDB (книгу по которой можно бесплатно почитать здесь) уже не особо требовательна к платформе: клиент под нее публикует/обновляет/удаляет записи с помощью глаголов HTTP, зашифрованные соединения обеспечиваются через HTTPS,...
Интересный вывод о лучшей среде для NoSQL: Но в итоге пришли к неожиданному выводу. Мы используем "только MySQL". Да, мы используем memcached для кеширования на стороне front-end (например, предварительно обработанный HTML, рассчитанную или сводную информацию), но мы не используем memcached для кеширования отдельных строк. Мы не используем NoSQL. Вообще. Почему? Потому что мы смогли...
Amazon начал раздавать самые доступные варианты хостинга бесплатно. Пакет предусмотрен не для тех, кому надоел народ.ру, а для народа, исследующего возможности EC2, но не желающего пока в него вкладываться. Забесплатно ежемесячно дают: 750 часов Linux-сервера с 613 МВ памяти 750 часов балансировки нагрузки 10 гиг для хранения данных Elastic Block 5 гиг хранения в...
4 октября сервис Foursquare ушел в довольно длительный даун. На следующий день компания опубликовала пост-мортем касательно проблем, которые испытывал сервис, разрешив заодно заглянуть в инфраструктуру весьма крупного проекта. Foursquare использует MongoDB в качестве базы данных, которая до этого работала всего на двух серверах в амазоновском EC2. В какой-то момент потребление памяти одним из серверов...
Компания Clustrix на конференции Web 2.0 Expo представила миру свой новый продукт – вроде как быстро масштабируемую базу данных с поддержкой SQL и транзакций. Компания основана выходцами из Isilon Systems, которая работает на рынке кластеров для хранения данных. Продукт позиционируется вроде как конкурент тому же MySQL Cluster, конфигурация сервера – 2 четырехядерных процессора, 32...
Компания Fusion IO, проводящая весьма интересные эксперименты в области флэш-дисков и в числе своих сотрудников насчитывающая Стива Возняка, заполучила первого крупного клиента – социальная сеть MySpace переключилась полностью на флэш-диски от Fusion IO. Пока карточки поставляются размерами 160, 320 и 640 гигабайт. Интерес Web-компаний к флэш-дискам основан на двух параметрах: скорость чтения данных (Fusion...
Полку онлайн-бэкаперов прибыло. Очередной сервис, предлагающий неограниченное хранилище архивных данных за $5 в месяц – Backblaze. Однако вместо уверений в высококачественности услуг и рассказах об уникальной технологии хранения данных инженеры компании просто описали процесс создания сервера хранения данных. (Тем более, что те, кто хорошими словами рассказывают о том, что все будет надежно и классно,...
SQL Antipatterns – презентация в 250 слайдов от разработчика Билла Карвина касательно самых распространенных ошибок в области создания баз данных. Sql Antipatterns Strike Back View more documents from Bill Karwin.
А счастливым обладателем компании Sun Microsystems стала … (открываем конверт) … Oracle, после того как от Sun отвернулся предыдущий покупатель IBM. Итого у Oracle в наличии появляется полный архитектурный набор: операционная система (они распространяют свой дистрибутив Linux), язык программирования и платформа разработки приложений Java, плюс аж два популярных пакета баз данных – одноименный и...
AppScale – это клон Google App Engine. Поддерживает те же методы, что и Google App Engine SDK, однако позволяет хоститься на Amazon EC2. В качестве храбилища данных поддерживаются HBase и Hypertable. В дальнейшем планируется улучшить поддержку баз данных, плюс добавить распределенную обработку данных через Hadoop. Разработано в университете штата Калифорния в Санта-Барбаре.
Серия видео-лекций (со слайдами в ПДФе) о распределенных вычислениях с использованием Hadoop и Hive от компании Cloudera. Cloudera Hadoop Training: Thinking at Scale from Cloudera on Vimeo.
Открытый проект Hadoop, предназначенный для прогона задач map/reduce на кластере, теперь получил первую компанию, занимающуюся его поддержкой. Cloudera в числе основателей и сотрудников содержит Амра Авадалла из Yahoo! Search (вице-президент по монетизации), Майкла Олсона – экс-гендиректора Sleepycat, которые делали Berkeley DB, Кристофа Бисиглию из Google, где он занимался cloud-компьютингом, и моего экс-коллегу Джеффа Хаммербахера,...
Компания Continuent, занимающаяся разработкой инструментов для MySQL, PostgreSQL и Oracle, выложила ряд своих продуктов в открытый доступ. Основной интерес из плеяды продуктов вроде как вызывает именно репликатор, и интересно, какие конкретно проблемы в MySQL он решает. На сайте O’Reilly есть презентация, позвященная Tungsten, которая вроде как объясняет необходимость нового инструмента.