Apa cara bersih untuk memecah DataTable menjadi beberapa bagian dengan ukuran tetap dengan Linq?

Ini sepertinya kasus penggunaan yang ideal untuk metode Lewati dan Ambil Linq, tergantung pada apa yang ingin Anda capai dengan pemotongan tersebut. Ini benar-benar belum teruji, tidak pernah dimasukkan dalam kode IDE, namun metode Anda mungkin terlihat seperti ini.

private List<List<DataRow>> ChunkifyTable(DataTable table, int chunkSize)
{
    List<List<DataRow>> chunks = new List<List<DataRow>>();
    for (int i = 0; i < table.Rows.Count / chunkSize; i++)
    {
        chunks.Add(table.Rows.Skip(i * chunkSize).Take(chunkSize).ToList());
    }
    
    return chunks;
}

Ini cukup mudah dibaca dan hanya mengulangi urutannya satu kali, mungkin menyelamatkan Anda dari karakteristik kinerja yang agak buruk dari panggilan Skip() / Take() yang berulang-ulang:

public IEnumerable<IEnumerable<DataRow>> Chunkify(DataTable table, int size)
{
    List<DataRow> chunk = new List<DataRow>(size);

    foreach (var row in table.Rows)
    {
        chunk.Add(row);
        if (chunk.Count == size)
        {
            yield return chunk;
            chunk = new List<DataRow>(size);
        }
    }

    if(chunk.Any()) yield return chunk;
}

Inilah pendekatan yang mungkin berhasil:

public static class Extensions
{
    public static IEnumerable<IEnumerable<T>> InPages<T>(this IEnumerable<T> enumOfT, int pageSize)
    {
        if (null == enumOfT) throw new ArgumentNullException("enumOfT");
        if (pageSize < 1) throw new ArgumentOutOfRangeException("pageSize");
        var enumerator = enumOfT.GetEnumerator();
        while (enumerator.MoveNext())
        {
            yield return InPagesInternal(enumerator, pageSize);
        }
    }
    private static IEnumerable<T> InPagesInternal<T>(IEnumerator<T> enumeratorOfT, int pageSize)
    {
        var count = 0;
        while (true)
        {
            yield return enumeratorOfT.Current;
            if (++count >= pageSize) yield break;
            if (false == enumeratorOfT.MoveNext()) yield break;
        }
    }
    public static string Join<T>(this IEnumerable<T> enumOfT, object separator)
    {
        var sb = new StringBuilder();
        if (enumOfT.Any())
        {
            sb.Append(enumOfT.First());
            foreach (var item in enumOfT.Skip(1))
            {
                sb.Append(separator).Append(item);
            }
        }
        return sb.ToString();
    }
}
[TestFixture]
public class Tests
{
    [Test]
    public void Test()
    {
        // Arrange
        var ints = new[] { 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 };
        var expected = new[]
        {
            new[] { 1, 2, 3 },
            new[] { 4, 5, 6 },
            new[] { 7, 8, 9 },
            new[] { 10      },
        };

        // Act
        var pages = ints.InPages(3);

        // Assert
        var expectedString = (from x in expected select x.Join(",")).Join(" ; ");
        var pagesString = (from x in pages select x.Join(",")).Join(" ; ");

        Console.WriteLine("Expected : " + expectedString);
        Console.WriteLine("Pages    : " + pagesString);

        Assert.That(pagesString, Is.EqualTo(expectedString));
    }
}

tulis Yakub

Ini sepertinya kasus penggunaan yang ideal untuk metode Lewati dan Ambil Linq, tergantung pada apa yang ingin Anda capai dengan pemotongan tersebut. Ini benar-benar belum teruji, tidak pernah dimasukkan dalam kode IDE, namun metode Anda mungkin terlihat seperti ini.

private List<List<DataRow>> ChunkifyTable(DataTable table, int chunkSize)
{
    List<List<DataRow>> chunks = new List<List<DaraRow>>();
    for (int i = 0; i < table.Rows.Count / chunkSize; i++)
    {
        chunks.Add(table.Rows.Skip(i * chunkSize).Take(chunkSize).ToList());
    }

    return chunks;
}

Terima kasih untuk ini Jacob - berguna bagi saya, tetapi menurut saya tes dalam contoh Anda seharusnya ‹= tidak ‹. Jika Anda menggunakan ‹ dan jumlah barisnya kurang dari chunkSize maka loop tidak akan pernah dimasukkan. Demikian pula, potongan sebagian terakhir tidak ditangkap, hanya potongan penuh. Seperti yang telah Anda nyatakan, contohnya belum diuji, dll jadi ini hanya sekedar FYI kalau-kalau ada orang lain yang menggunakan kode Anda kata demi kata ;-)

Ini adalah pendekatan yang sangat berbeda. Tidak ada memori yang dialokasikan untuk potongan tersebut.

public static IEnumerable<IEnumerable<DataRow>> Chunkify(
    this DataTable dataTable, int chunkSize)
{
    for (int i = 0; i < dataTable.Rows.Count; i += chunkSize)
    {
        yield return GetChunk(i, Math.Min(i + chunkSize, dataTable.Rows.Count));
    }
    IEnumerable<DataRow> GetChunk(int from, int toExclusive)
    {
        for (int j = from; j < toExclusive; j++)
        {
            yield return dataTable.Rows[j];
        }
    }
}

Contoh penggunaan:

var dataTable = GetTonsOfData();
foreach (var chunk in dataTable.Chunkify(1000))
{
    Console.WriteLine($"Processing chunk of {chunk.Count()} rows");
    foreach (var dataRow in chunk)
    {
        Console.WriteLine(dataRow[0]);
    }
}