Я уже закодировал веб-сервер, используя Koa (nodeJs). Мне нужно вернуть большой объем данных из базы данных монго. Большой означает массив из примерно 750 000 данных json. Каждый элемент json содержит несколько строк.
Как правильно закодировать такой сервер, чтобы избежать его сбоя? Я открыт для всех советов :)
PS: моим клиентом будет Unity (c# или js).
Node по умолчанию использует кодирование передачи по частям для HTTP, и с помощью потоков вы можете без проблем возвращать петабайты данных в одном запросе, по крайней мере, без проблем на сервер — наличие клиента для анализа этих данных — это совсем другая история.
Проблема заключается в сериализации больших данных в JSON, которая обычно является блокирующей операцией, требующей, чтобы все данные находились в памяти. Но доступны кодировщики потокового JSON.
Например, см. Big-Friendly JSON — функции асинхронной потоковой передачи для больших наборов данных JSON:
Смотрите также другие модули:
Также вам не нужно отправлять один большой JSON, вы можете разбить его на несколько объектов. И вам не нужно использовать JSON для сериализации данных. Вы можете использовать CSV, TSV или что-то еще, где ваши данные подходят. Вы ничего не сказали нам о своих данных, поэтому трудно дать вам конкретную рекомендацию.
Поскольку данные настолько велики, вы действительно хотите, чтобы все они были на клиенте одновременно? Если нет, другой простой вариант - разбить данные на страницы по нескольким запросам.
Запрос монго можно легко отменить с помощью параметров ограничения и пропуска в запросе поиска.
Вы можете передать это, используя параметры запроса http://example.com/large_data?skip=5000&limit=1000.
