Я написал библиотеку json, которая использует flex и bison для анализа serialized-json (т.е. строк) и десериализации их для объектов json. Это прекрасно работает для небольших струн.

Тем не менее, он не работает с очень большими строками (я пробовал строки почти 3 GB) с этой ошибкой:

‘fatal flex scanner internal error--end of buffer missed’

Я хочу знать, каков максимальный размер буфера, который я могу передать этой функции:

//js: serialized json stored in std::string yy_scan_bytes(js.data(), js.size());

и как заставить flex / bison работать с большими буферами?

Решение

Мне кажется, что вы используете старую версию гибкого каркаса (и, следовательно, гибкого), в которой длины струн должны были соответствовать int s. Сообщение об ошибке, которое вы наблюдаете, вероятно, является результатом int переполнение до отрицательного значения.

Я полагаю, что если вы перейдете на версию 2.5.37 или более новую, вы обнаружите, что большинство из них int с стали size_t и у вас не должно быть проблем с вызовом yy_scan_bytes с входным буфером, размер которого превышает 2 гигабайта. (Прототип этой функции теперь занимает size_t а не int , например.)

Однако мне трудно поверить, что это хорошая идея. Для начала, yy_scan_bytes копирует всю строку , потому что лексический сканер хочет строку, которую ему разрешено изменять, и потому что он хочет убедиться, что строка имеет два NUL байтов в конце. Создание этой копии будет бесполезно занимать много памяти, и если вы все равно собираетесь копировать буфер, вы можете скопировать его в виде управляемых кусков (скажем, 64 КБ или даже 1 МБ). Это может оказаться проблематичным, только если у вас есть одиночные токены, которые значительно больше, чем размер чанка, потому что flex определенно не оптимизирован для больших одиночных токенов. Но для всех нормальных случаев использования это, вероятно, будет работать намного лучше.

Flex не предоставляет интерфейс для разбиения огромного входного буфера на куски, но вы можете сделать это очень легко, переопределив YY_INPUT макро. (Если вы сделаете это, вы, вероятно, в конечном итоге использовать yyin как указатель на вашу собственную структуру буфера, которая теоретически не переносима. Тем не менее, он будет работать на любой архитектуре Posix, где все указатели объектов имеют одинаковое представление.)

Конечно, обычно вы не хотите ждать, пока в памяти накопится 3 ГБ данных, чтобы начать ее анализ. Вы можете анализировать пошагово по мере чтения данных. (Возможно, вам все еще нужно переопределить YY_INPUT в зависимости от того, как вы читаете данные.)

Влияние буфера на производительность жесткого диска

Владимир Леонов

Современные серии жестких дисков всех производителей можно разделить на две категории, различающиеся размером внутреннего буфера (2 или 8 Мбайт). Просмотр прайс-листов показал, что разница в цене дисков одного объема с разным размером буфера в Москве сейчас колеблется от 3 до 19 долл. и зависит от производителя и продавца. В этой статье мы попробуем показать влияние размера внутреннего буфера на производительность жесткого диска.

равнение производительности мы проведем на примере жестких дисков HDS722516VLAT20 и HDS722516VLAT80 из семейства Deskstar 7K250 компании Hitachi. Если быть более точным, то с прошлого года выпуском жестких дисков в компании Hitachi занимается новое подразделение HGST (Hitachi Global Storage Technologies), образованное в результате объединения собственного дискового производства и мощностей, приобретенных у компании IBM. Оба диска имеют объем 160 Гбайт и полностью повторяют друг друга по конструкции механической части. Тестировавшиеся диски имели одинаковую версию прошивки - V340A60A и отличались только размером внутреннего буфера (2 и 8 Мбайт соответственно).

Сравнение производительности мы проводили под управлением операционной системы Windows XP Professional.SP1 на компьютере следующей конфигурации:

Материнская плата — MSI 875P Neo (MS-6758);

Процессор — Intel Pentium 4 3,06 ГГц (533 FSB);

Память — 1 Гбайт (2Ѕ512 Мбайт Kingston PC2700 DDR SDRAM);

Жесткий диск — Hitachi Deskstar IC35L090AVV207-0.

Тестируемые диски поочередно подключались как Secondary Master.

Для сравнения производительности мы взяли тесты, имитирующие работу дисковой подсистемы в реальных условиях и различающиеся способом оценки производительности:

Ziff Davis WinBench 99 v. 2.0;

Futuremark PCMark2004;

FileCopy Test v. 0.5.3 (разработан компанией «Ф-Центр»).

В тесте Ziff Davis WinBench 99 v. 2.0 определяется производительность дисковой подсистемы при работе реальных приложений. Это хороший тест, но, к сожалению, он уже не поддерживается разработчиком и версии приложений, используемые в тесте, сильно устарели. Кроме производительности в тесте определяются среднее время доступа к диску и график зависимости скорости чтения от места расположения данных на диске (рис. 1 и 2).

Как и следовало ожидать, диски имеют одинаковое время доступа (табл. 1) и графики зависимости скорости чтения от места расположения данных на диске для обоих дисков совпадают. По производительности во всех подтестах впереди жесткий диск HDS722516VLAT80, и можно сказать, что это преимущество полностью определяется работой буфера. Как видно из табл. 1, при использовании файловой системы FAT-32 влияние буфера обычно более заметно.

Набор тестов PCMark04 от компании Futuremark основан на реальных приложениях и предназначен для детального исследования производительности компьютера. Пакет состоит из нескольких разделов, один из которых предназначен для определения производительности дисковой подсистемы. Для тестирования дисковой подсистемы применяются так называемые трассы - заранее записанные на некотором эталонном компьютере последовательности дисковой активности при выполнении различных задач. Показателем быстродействия служит скорость обработки трассы, измеренная в мегабайтах в секунду. Используются четыре трассы, воспроизводящие работу жесткого диска при выполнении различных задач. Назначение трасс понятно из их названия. Это загрузка операционной системы, открытие и закрытие нескольких популярных приложений, копирование файлов и имитация работы пользователя. Результаты приведены в табл. 2. Как и в предыдущем тесте, впереди жесткий диск HDS722516VLAT80. Наиболее сильно влияние увеличенного буфера сказывается на операциях копирования и меньше всего - на загрузке операционной системы.

Утилита FileCopy Test v. 0.5.3 разработана специалистами компании «Ф-Центр» и предназначена для определения производительности жесткого диска при создании (записи) файлов на диске, чтении файлов с диска и копировании файлов с одного участка диска на другой. В качестве результатов показываются время выполнения операции и скорость, измеряемая в мегабайтах в секунду (Мбайт/с). При создании файлов используются заранее подготовленные паттерны - списки, содержащие информацию о длине и количестве файлов, которые необходимо создать. Паттерн можно создать либо вручную, либо автоматически по любой папке, воспользовавшись опцией Scan, что позволяет легко создать паттерн с реальным распределением файлов по размерам. Мы использовали паттерны, входящие в комплект дистрибутива программы. По названию паттернов легко догадаться об их содержании. Результаты теста приведены в табл. 3. Из таблицы видно, что степень влияния размера буфера на производительность жесткого диска зависит от выполняемой операции и среднего размера обрабатываемого файла. Так, при раздельном выполнении операций записи и чтения файлов большой длины (паттерн ISO) размер буфера почти не влияет на производительность, а при копировании таких файлов влияние размера буфера проявляется наиболее сильно.

Из вышеприведенных результатов видно, что увеличение размера буфера дает значительный прирост производительности при выполнении большинства операций. Только при записи и чтении файлов большой длины, то есть в режиме, когда диск фактически работает в режиме последовательного чтения/записи, размер буфера не оказал влияния на производительность.

Возможно, на жестких дисках других производителей и даже на тестировавшихся жестких дисках с другой версией прошивки влияние размера буфера будет сказываться немного по-другому, но вряд ли различие будет значительным. На наш взгляд, установка в компьютер жесткого диска с увеличенным буфером является более выгодной в плане эффективности вложения средств.

Раздел очень прост в использовании. В предложенное поле достаточно ввести нужное слово, и мы вам выдадим список его значений. Хочется отметить, что наш сайт предоставляет данные из разных источников – энциклопедического, толкового, словообразовательного словарей. Также здесь можно познакомиться с примерами употребления введенного вами слова.

Значение слова буфер

буфер в словаре кроссвордиста

Толковый словарь русского языка. Д.Н. Ушаков

буфер

буфера, мн. буфера, м. (англ. buffer). Железный диск на концах вагона, снабженный пружиной, смягчающей взаимные толчки вагонов (ж.-д.)

перен. То, что (или тот, кто) находится между сталкивающимися, борющимися сторонами (книжн.). Эта группа играла в партии роль буфера между правыми и левыми.

Толковый словарь русского языка. С.И.Ожегов, Н.Ю.Шведова.

буфер

А, мн. -а, -ов, м.

У вагонов, локомотивов, автомобилей: специальное устройство для смягчения силы удара, толчка при столкновении.

перен. О том, кто (что) ослабляет конфликт, столкновение между двумя сторонами. Служить буфером кому-чему-н. (для кого-чвго-н.).

прил. буферный, -ая, -ое.

Новый толково-словообразовательный словарь русского языка, Т. Ф. Ефремова.

буфер

Приспособление для смягчения удара при соприкосновении вагонов, локомотивов и т.п.

перен. Кто-л., что-л., ослабляющее столкновение борющихся, враждебных сторон.

Энциклопедический словарь, 1998 г.

буфер

БУФЕР (англ. buffer, от buff - смягчать толчки) приспособление для смягчения ударов на транспортных средствах (локомотивах, вагонах и др.). Автомобильный буфер называется бампером.

Буфер

(англ. buffer, от buff ≈ смягчать толчки), приспособление для смягчения ударов. Б. на локомотивах и вагонах служат для восприятия продольных ударных и сжимающих усилий, возникающих при следовании подвижного состава в поезде, а также при соударениях на манёврах. При наличии автосцепки Б., как правило, теряют своё значение и снимаются. Автомобильные Б. (бамперы) служат главным образом для восприятия и смягчения случайных аварийных ударов о внешние препятствия.

Википедия

Буфер (информатика)

В информатике буфер - это область памяти, используемая для временного хранения данных при вводе или выводе. Обмен данными может происходить как с внешними устройствами, так и с процессами в пределах компьютера. Буферы могут быть реализованы в аппаратном или программном обеспечении, но подавляющее большинство буферов реализуется в программном обеспечении. Буферы используются, когда существует разница между скоростью получения данных и скоростью их обработки, или в случае, когда эти скорости переменны, например, при буферизации печати.

Буфер

Бу́фер :

• Буфер - устройство, устанавливаемое на различных видах транспорта, служащее для гашения продольных ударных и сжимающих усилий.
  • Буфер - буфер на ж/д вагонах и локомотивах.
  • Бампер - буфер на автомобилях.
• Буфер - программа или носитель данных, использующийся для компенсации разницы в скорости потоков данных между устройствами.
• Буфер - область памяти, используемая для временного хранения данных ввода-вывода.
• Буфер обмена.
• Буферное государство - территория, разделяющая враждебные страны для предотвращения конфликта.
• Буфер - вещество или комбинация веществ, имеющая склонность поддерживать постоянное значение pH при добавлении кислот или щелочей в небольших концентрациях.
• Буферный усилитель - усилитель с единичным коэффициентом усиления, изолирующий маломощный источник сигнала от низкоомной нагрузки.
• Буфер - в XIX в. употреблялся для смягчения удара некоторых частей лафетной системы.

Буфер (железнодорожный)

буфер и цепи с гирями - сцепное устройство на узкоколейных железных дорогах (вагон детской железной дороги)

Ранние буфера представляли собой обычные деревянные бруски, которые жёстко крепились на раме вагона. Такие неподвижные устройства довольно скоро были заменены подвижными. Наибольшее распространение получили буфера, у которых в качестве амортизаторов служила спиральная заметно превышают размерами сам корпус буфера. Такие буфера могут крепиться как по центру, так и по краям бруса. Также получили некоторое распространение так называемые плунжерные буфера , у которых штоки двух установленных на одном брусе буферов соединены посредством центральной листовой рессоры, которая, в свою очередь, работает также по принципу рычага. Такие буфера в основном используются в сцепке паровоза с тендером.

Основной недостаток буферов - их высокая потенциальная опасность для железнодорожников-сцепщиков, особенно при применении винтовой упряжи. Раздавливание между буферов сцепляемых вагонов являлось одной из основных причин смертельного травматизма на железнодорожном транспорте. В знаменитом романе Льва Толстого « Анна Каренина » в эпизоде на вокзале есть сцена, где один из железнодорожников погибает, будучи раздавлен между буферов. При переводе подвижного состава на автосцепку, где продольные усилия и удары гасятся поглощающим аппаратом, необходимость в буферах отпадает. Так в Советском Союзе, в связи с полным переходом на автосцепку СА-3 , начиная с 1957 года локомотивы и большинство вагонов стали проектировать без учёта установки буферов. Тем не менее буфера ещё применяются на пассажирском подвижном составе, так как позволяют гасить поперечные колебания вагонов относительно друг друга.

Буфер (артиллерия)

мортирный лафет(черт. 15) устроен особенно прочно; С. представляет собой род коробки - станины почти на всем протяжении сверху и снизу скреплены сплошными листами; стрельба ведется прицельно и навесно. При малых углах скорость отката настолько велика, что задержка чем-либо хобота привела бы к опрокидыванию лафета - приняты, поэтому, меры к тому, чтобы хобот не зарывался при откате, предельный угол вращения системы уменьшен расположением оси цапф над боевой осью, отчего хобот меньше обременяется; при больших углах возвышения ось становится на тумбы (1), подвешенные на шарнирах к проушинам лобовых клепаней (2); подошвы обеих тумб скреплены железной доской (3) с отогнутыми ребрами; тумбы подвешены так, что при выстреле сначала колеса слегка врезаются в землю и только тогда ось опирается на тумбы, подрессоренные каучуковыми буферами;

Примеры употребления слова буфер в литературе.

Однако, поскольку в памяти, подлежащей освобождению, располагаются передаваемые новой программе параметры, ядро первым делом копирует их из адресного пространства в промежуточный буфер на время, пока не будут отведены области для нового пространства памяти.

По умолчанию Бейсик устанавливает число буферов равное 8, но Вы можете изменить это число на другое от 4 до 15.

Рождение ребенка, социальные революции, видообразования в живой природе происходят из-за исчерпания буфера развития.

Устройство выборки команд имеет свой собственный буфер преобразования адресов на 4 строки.

Было время, когда он имел десятки советников и фаворитов, выступавших в роли буфера между ним, Двором, баронами и прочими затруднениями его правления.

И оба эти брата, как два вагона, идут на меня, и я между ними, как сцепщик, растерялся, еще момент, и они раздавят меня буферами , и поезд пойдет без меня, но этого быть не может, без меня на земле останется одна математика и тесто в деже, все вычисленное и равномерно распределенное на пайки.

Ядро связывает индексы в хеш-очереди и включает их в список свободных индексов подобно тому, как связывает буферы в буферные хеш-очереди и включает их в список свободных буферов.

Команда аннулирования восстанавливает буфер , возвращая его в состояние, которое он имел перед последней командой модификации буфер а.

Молодые негры, мечтавшие о каком-то будущем, кончают игорным притоном или буферами товарного поезда, потому что никто не хочет дать им возможности испытать себя на настоящей работе.

При этом также нужна индексирующая переменная, которая будет фиксировать позицию текущего символа в буфере .

Эта функция занимается подкачиванием данных из буферов в пользовательском адресном пространстве в рабочую область ядра.

Вагонный парк к этой поре уже шибко пострадал от войны, вагоны пожгли и побили немцы, взамен их насобирали старые, со сплошь заржавелой, немазаной сцепкой, худыми воздушными рукавами, расхлябанной тормозной системой, с буферами , которые звякали по-боевому громко, но так и норовили вывалиться на ногу или расплющить тебя.

Когда прокрутка сообщения закончится, отключите функцию текстового буфера .

Отметим, что есчи размер записи равен 512 байтам и размер буфера тоже 512 байт, то это приводит к ускорению дисковых операций.

К счастью операционная система предоставляет различные процедуры для чтения кодов из буфера клавиатуры, включая средства для получения сразу целой строки.

Обладательницей самой большой в мире груди официально является Макси Маундс. Вес бюста Макси составляет около 20 кг, а окружность - более 150 см. Однако, такие пышные формы - это не щедрый подарок природы, а тщательно спланированная хирургическая операция. Макси с юности занималась танцами в клубах, а позже начала сниматься в фильмах для взрослых. Такие необычные способы заработка требовали соответствующей внешности, и девушка решилась на операцию по увеличению груди. Процесс затянул Макси, и она повторила процедуру несколько раз. Врачи установили в ее грудь полипропиленовые - они впитывают жидкость внутри тела и расширяются сами по себе, благодаря чему грудь достигает внушительных размеров.

Сейчас полипропиленовые импланты не используются - врачи признали их вред для организма.

Ближайшая конкурентка мисс Маундс

За титул обладательницы самого внушительного бюста борется и Челси Чармс. Челси также работала танцовщицей и в какой-то момент , что ей недостаточно стандартного третьего размера груди. В результате двух пластических операций мисс Чармс стала обладательницей внушительного бюста, весящего, по ее словам, 24 кг. Кстати, импланты Челси тоже сделаны из полипропилена. Челси уверяет, что ее грудь больше форм Макси Маундс, но для подтверждения результата женщине нужно дождаться одобрения от комитета Книги рекордов Гиннеса. А пока мисс Чармс зарабатывает фотосессиями для журналов и интервью на различных телешоу.

Самый большой недостаток имплантов из полипропилена - они могут вырасти неравномерно, в результате чего одна грудь будет больше другой.

Самый большой натуральный бюст

Невероятно, но самая большая натуральная грудь может ничем не уступать по размерам искусственной. Живой пример этому - китаянка Тинг Хиафен. В подростковом возрасте ее бюст начал усиленно расти, и через полгода его вес составлял целых 10 кг, а чуть позже увеличился вдвое. Процесс продолжался, девушку мучали боли в спине, она с трудом передвигалась. В конечном итоге Тинг решилась на операцию. Но девушка быстро сообразила, что объемный бюст может принести достаточно денег, поэтому уменьшила грудь только на треть. Сейчас вес бюста Тинг составляет около 15 кг, девушка активно снимается для журналов и календарей.

Еще одна обладательница огромной натуральной груди - Энни Хокинс-Тернер. Миссис Хокинс-Тернер сама по себе обладает достаточно крупным телосложением, но ее грудь заслуживает особого упоминания. По словам самой Энни, вес каждой груди составляет около 20 кг, а - 105ZZZ. В отличие от Тинг Хиафен, женщина никогда не собиралась делать операцию, она гордится своими параметрами и работает топлесс-моделью.