В 1959 г. Александр Гинзбург, Генрих Сапгир и еще несколько человек, принимавших участие в “неофициальной” культурной активности того времени, обсуждали идею создания машинописного журнала, в котором публиковались бы литературные произведения, — в первую очередь, поэзия, — публикация которых встречает препятствия со стороны цензуры. В конце года Гинзбург составил и распространил среди знакомых первый номер поэтического альманаха "Синтаксис". В альманах были включены неопубликованные стихи Сапгира, Холина, Чудакова, Глазкова, Аронова, Окуджавы, Ахмадулиной и ряда других поэтов.

“Синтаксис” был, по-видимому, не первым изданием такого рода; но предыдущие попытки выпускать неподцензурные журналы не выходили за пределы узкого круга “издателей” и не имели широкого общественного резонанса. С “Синтаксисом” вышло по-другому: о нем заговорили, он довольно широко перепечатывался (по некоторым оценкам, общий тираж достигал 300 экземпляров) — словом, он стал заметным явлением культурной и общественной жизни. Большинство исследователей полагает, что именно “Синтаксис” следует считать первенцем самиздатской периодики.

Принципиально новым стало и то, что альманах издавался не подпольно (в традиционном смысле этого слова), а открыто: на его обложке были проставлены фамилия и адрес издателя. По свидетельствам современников, это обстоятельство производило большое впечатление на читателей. Таким образом, издательская деятельность Гинзбурга предвосхитила некоторые ключевые принципы диссидентской активности второй половины 1960-х и 1970-х гг.

О “Синтаксисе” писали за рубежом; журнал “Грани” (1985, №58) воспроизвел его на своих страницах. Откликнулась и советская пресса: в 1960 г. в “Известиях” появилась пасквильная статья А. Иващенко “Бездельники карабкаются на Парнас”.

Гинзбург успел выпустить 3 номера "Синтаксиса" и частично подготовить 4-й и 5-й номера (по замыслу составителя, 4–й номер должен был быть посвящен ленинградской поэзии — Г. Горбовский, А. Кушнер, Н.Горбаневская, Д. Бобышев, И.Бродский, а 5-й — поэтам республик Прибалтики). Тираж каждого номера составлял 200-300 экземпляров.

Однако в июле 1960 г. Гинзбург был арестован. После его ареста выпуск “Синтаксиса” не возобновлялся.