Мне нужно немного понять, я ни на чем не застрял, но я пытаюсь понять что-то лучше.
Почему при загрузке хранилища данных всегда предлагается сначала загрузить данные в хранилище BLOB-объектов или в озеро данных? Я понимаю, что вытащить данные оттуда очень быстро, однако по моему опыту есть пара подводных камней. Во-первых, существует ограничение на размер файла, и если вы загружаете слишком много данных в 1 файл, как я видел, это приводит к ошибке загрузки, и в этот момент мы должны переключить загрузку на инкрементную. Это подводит меня ко второй проблеме. Я всегда думал, что смысл загрузки в хранилище BLOB-объектов заключается в том, чтобы выбросить туда все данные, чтобы вы могли получить к ним доступ в будущем, не нагружая интерфейсные системы, если я не могу этого сделать из-за файловые ограничения, то какой смысл даже использовать хранилище больших двоичных объектов, мы могли бы также загружать данные прямо в промежуточные таблицы. Это просто кажется мне ненужным шагом, поскольку в прошлом я запускал хранилища данных без участия этой части, и для меня они работали лучше.
В любом случае, мое понимание этой части не так хорошо, как хотелось бы, и я пытался найти статьи, которые отвечают на эти конкретные вопросы, но ни одна из них не объяснила мне концепцию правильно. Буду очень признателен за любую помощь или ссылки на хорошие статьи, которые я мог прочитать.
