Записи исчезают в цикле транзакций PDO mssql

Рассматривали ли вы возможность использования Sprocs вместо операторов вставки? запись ЛЮБОГО количества записей последовательно - по одной за раз - это пустая трата времени / энергии ... это просто не так быстро, как должно быть.

Вы уверены, что не можете использовать BULK INSERT или XML вместо того, чтобы вставлять несколько строк одновременно?

У меня была эта проблема раньше. Для меня мне пришлось сделать «SET NOCOUNT ON» перед INSERTS, потому что SQL Server пытался вернуть мне «одна добавленная строка» для каждой INSERT, и очередь сообщений была заполнена, и он просто перестал вставлять данные, не возвращая никаких ошибок!

Так что вам обязательно нужно попробовать сделать «SET NOCOUNT ON» перед INSERTS. Держу пари, это решит твою проблему.

Вы используете sleep() 0,15 секунды, чтобы отложить выполнение, однако возникает вопрос: что произойдет, если INSERT займет больше времени, чем 0,15 секунды? Скрипт для запуска и таблица могут быть заблокированы из-за предыдущей фиксации.

Затем попробуйте подход с несколькими INSERT за один прогон в базе данных. Попробуйте что-то вроде этого:

INSERT INTO example (example_id, name, value, other_value)VALUES
(100, 'Name 1', 'Value 1', 'Other 1'), (101, 'Name 2', 'Value 2', 'Other 2'),
(102, 'Name 3', 'Value 3', 'Other 3'), (103, 'Name 4', 'Value 4', 'Other 4');

Для этого выполните:

$sql = ' INSERT INTO example (example_id, name, value, other_value)VALUES';
while (($sLine = fgets ($oCSV, 8000)) !== FALSE) {
    // generate VALUES to INSERT in a $sql .= '(..., ..., ...),'
}

А потом беги!

@Саратис,

Рассматривали ли вы создание простого sproc, который выполняет желаемое действие с помощью MERGE? Слияние потребует значительных накладных расходов, однако я всегда знал, что это очень надежный способ синхронизации записей из «главного» источника данных в зависимый источник данных.

Я придерживаюсь философии, согласно которой база данных должна контролировать, КАК используются данные, а код должен контролировать, КОГДА база данных делает то, что она делает. Я предпочитаю хранить все, что касается данных, в хранимой процедуре и вызывать хранимые процедуры с кодом, когда происходят определенные условия/события. Однако ваша ситуация может быть достаточно уникальной, и это не совсем лучшая практика.

Приведенный ниже фрагмент кода предоставлен Microsoft в качестве примера выполнения слияния:

MERGE Production.UnitMeasure AS target
USING (SELECT @UnitMeasureCode, @Name) AS source (UnitMeasureCode, Name)
ON (target.UnitMeasureCode = source.UnitMeasureCode)
WHEN MATCHED THEN 
    UPDATE SET Name = source.Name
WHEN NOT MATCHED THEN   
    INSERT (UnitMeasureCode, Name)
    VALUES (source.UnitMeasureCode, source.Name)
    OUTPUT deleted.*, $action, inserted.* INTO #MyTempTable;

Вот ссылка на всю статью, которая охватывает несколько различных сценариев: http://technet.microsoft.com/en-us/library/bb510625.aspx

Теперь, чтобы получить информацию в SQL Server из CSV, по следующей ссылке объясняется, как этого можно добиться, используя путь к файлу как часть предложения FROM и указав разделитель в предложении WITH.

Он также охватывает BULK INSERT, если это может работать лучше для вас, однако я неравнодушен к MERGE, потому что он обрабатывает как INSERT для новых записей, так и UPDATES для существующих записей. http://sqlserverpedia.com/blog/sql-server-bloggers/so-you-want-to-read-csv-files-huh/

К вашему сведению, BULK INSERT работает только в том случае, если файлы расположены на тех же дисках, что и экземпляр SQL Server. Моя компания по понятным причинам не предоставит мне доступ к локальным дискам SQL Server, поэтому мне придется протестировать это дома сегодня вечером, чтобы получить рабочий пример для работы.