I have method, which responsible for downloading several huge gz archives with csv files inside, from url.
chunk_size = 1024*1024
async def download_and_save(link, session):
compressor = zlib.decompressobj(zlib.MAX_WBITS | 32)
out_file_path = link.split("/")[-1][:-3]
try:
async with session.get(
'http://123.22.122.234/test/2021-02/gg/' + link) as resp:
with open(out_file_path, 'wb') as outfile:
async for chunk in resp.content.iter_chunked(chunk_size):
data = compressor.decompress(chunk)
outfile.write(data)
But, when this code finished with exit code 0, i have every files which have 100 000 000 bytes.
For example: i have response. with content length 44 699 909 bytes. After than i download and unpack this response by the chunk, i have a file which have 100 000 000 bytes.
How i should correct read this huge data by the chunks from response and save it?
UPD: Added some stdout for debagging
chunk len:13032
chunk len:28960
chunk len:1448
chunk len:40544
chunk len:15928
chunk len:4344
chunk len:37648
chunk len:7240
chunk len:46768
chunk len:2896
chunk len:9704
chunk len:18824
chunk len:36200
chunk len:1448
chunk len:5792
chunk len:41992
chunk len:10136
chunk len:27512
chunk len:39096
chunk len:18824
chunk len:2896
chunk len:10136
chunk len:10136
chunk len:2896
chunk len:30408
chunk len:24616
chunk len:7240
chunk len:18824
chunk len:34752
chunk len:43440
chunk len:30408
chunk len:46336
chunk len:43440
chunk len:2896
chunk len:40544
chunk len:20272
chunk len:20272
chunk len:34752
chunk len:30408
chunk len:43440
chunk len:44888
chunk len:21720
chunk len:20272
chunk len:43440
chunk len:97016
chunk len:2896
chunk len:262144
chunk len:262144
chunk len:201160
chunk len:30408
chunk len:10136
chunk len:7240
chunk len:34752
chunk len:70952
chunk len:34752
chunk len:8688
chunk len:72400
chunk len:40544
chunk len:28960
chunk len:26064
chunk len:39096
chunk len:23168
chunk len:7240
chunk len:21720
chunk len:21720
chunk len:5792
chunk len:13032
chunk len:4344
chunk len:33304
chunk len:24616
chunk len:31856
chunk len:43440
chunk len:7240
chunk len:27512
chunk len:57920
chunk len:91224
chunk len:56472
chunk len:52128
chunk len:20272
chunk len:24616
chunk len:4344
chunk len:39096
chunk len:30408
chunk len:20272
chunk len:24616
chunk len:18824
chunk len:4344
chunk len:21720
chunk len:37648
chunk len:34752
chunk len:14480
chunk len:44888
chunk len:39096
chunk len:33304
chunk len:62264
chunk len:1448
chunk len:37648
chunk len:31856
chunk len:34752
chunk len:14480
chunk len:40544
chunk len:11584
chunk len:13032
chunk len:14480
chunk len:40544
chunk len:17376
chunk len:44888
chunk len:11584
chunk len:8688
chunk len:33304
chunk len:52128
chunk len:33304
chunk len:81088
chunk len:39096
chunk len:41992
chunk len:36200
chunk len:56472
chunk len:17376
chunk len:2896
chunk len:39096
chunk len:43440
chunk len:10136
chunk len:17376
chunk len:26064
chunk len:20272
chunk len:28960
chunk len:28960
chunk len:21720
chunk len:34752
chunk len:13032
chunk len:85432
chunk len:43440
chunk len:41992
chunk len:4344
chunk len:86880
chunk len:31856
chunk len:36200
chunk len:21720
chunk len:4344
chunk len:8688
chunk len:24616
chunk len:41992
chunk len:27512
chunk len:11584
chunk len:40544
chunk len:34752
chunk len:36200
chunk len:36200
chunk len:37648
chunk len:23168
chunk len:53576
chunk len:18824
chunk len:36200
chunk len:43440
chunk len:20272
chunk len:31856
chunk len:34752
chunk len:10136
chunk len:28960
chunk len:4344
chunk len:14480
chunk len:24616
chunk len:36200
chunk len:33304
chunk len:30408
chunk len:50680
chunk len:31856
chunk len:11584
chunk len:39096
chunk len:24616
chunk len:46336
chunk len:39096
chunk len:4344
chunk len:26064
chunk len:24616
chunk len:23168
chunk len:17376
chunk len:8688
chunk len:40544
chunk len:36200
chunk len:36200
chunk len:44888
chunk len:8688
chunk len:18824
chunk len:40544
chunk len:24616
chunk len:11584
chunk len:24616
chunk len:1448
chunk len:46336
chunk len:36200
chunk len:39096
chunk len:2896
chunk len:21720
chunk len:21720
chunk len:24616
chunk len:37648
chunk len:39096
chunk len:36200
chunk len:39096
chunk len:20272
chunk len:30408
chunk len:31856
chunk len:40544
chunk len:26064
chunk len:39096
chunk len:44888
chunk len:33304
chunk len:28960
chunk len:26064
chunk len:30408
chunk len:37648
chunk len:40544
chunk len:36200
chunk len:24616
chunk len:27512
chunk len:36200
chunk len:31856
chunk len:34752
chunk len:26064
chunk len:39096
chunk len:24616
chunk len:44888
chunk len:23168
chunk len:10136
chunk len:39096
chunk len:34752
chunk len:28960
chunk len:26064
chunk len:46336
chunk len:40544
chunk len:23168
chunk len:4344
chunk len:40544
chunk len:18824
chunk len:59368
chunk len:26064
chunk len:41992
chunk len:34752
chunk len:2896
chunk len:36200
chunk len:37648
chunk len:39096
chunk len:36200
chunk len:39096
chunk len:31856
chunk len:11584
chunk len:31856
chunk len:40544
chunk len:24616
chunk len:39096
chunk len:30408
chunk len:10136
chunk len:41992
chunk len:39096
chunk len:33304
chunk len:43440
chunk len:47784
chunk len:30408
chunk len:33304
chunk len:40544
chunk len:33304
chunk len:21720
chunk len:39096
chunk len:27512
chunk len:8688
chunk len:36200
chunk len:34752
chunk len:39096
chunk len:37648
chunk len:39096
chunk len:40544
chunk len:20272
chunk len:27512
chunk len:50680
chunk len:50680
chunk len:40544
chunk len:39096
chunk len:34752
chunk len:1448
chunk len:28960
chunk len:34752
chunk len:33304
chunk len:37648
chunk len:31856
chunk len:41992
chunk len:11584
chunk len:24616
chunk len:43440
chunk len:40544
chunk len:34752
chunk len:36200
chunk len:21720
chunk len:47784
chunk len:23168
chunk len:1448
chunk len:34752
chunk len:34752
chunk len:21720
chunk len:39096
chunk len:46336
chunk len:46336
chunk len:24616
chunk len:33304
chunk len:33304
chunk len:40544
chunk len:31856
chunk len:33304
chunk len:24616
chunk len:37648
chunk len:30408
chunk len:30408
chunk len:30408
chunk len:18824
chunk len:31856
chunk len:33304
chunk len:24616
chunk len:37648
chunk len:40544
chunk len:49232
chunk len:36200
chunk len:37648
chunk len:47784
chunk len:30408
chunk len:39096
chunk len:40544
chunk len:30408
chunk len:23168
chunk len:26064
chunk len:20272
chunk len:37648
chunk len:26064
chunk len:28960
chunk len:47784
chunk len:2896
chunk len:33304
chunk len:33304
chunk len:55024
chunk len:30408
chunk len:34752
chunk len:36200
chunk len:33304
chunk len:36200
chunk len:43440
chunk len:40544
chunk len:46336
chunk len:27512
chunk len:7240
chunk len:39096
chunk len:34752
chunk len:8688
chunk len:39096
chunk len:37648
chunk len:39096
chunk len:33304
chunk len:5792
chunk len:30408
chunk len:30408
chunk len:41992
chunk len:37648
chunk len:24616
chunk len:34752
chunk len:49232
chunk len:46336
chunk len:28960
chunk len:27512
chunk len:11584
chunk len:14480
chunk len:56472
chunk len:37648
chunk len:23168
chunk len:30408
chunk len:20272
chunk len:28960
chunk len:44888
chunk len:24616
chunk len:44888
chunk len:26064
chunk len:40544
chunk len:50680
chunk len:24616
chunk len:37648
chunk len:49232
chunk len:40544
chunk len:33304
chunk len:43440
chunk len:34752
chunk len:40544
chunk len:31856
chunk len:11584
chunk len:21720
chunk len:41992
chunk len:37648
chunk len:23168
chunk len:13032
chunk len:31856
chunk len:44888
chunk len:40544
chunk len:30408
chunk len:44888
chunk len:39096
chunk len:37648
chunk len:18824
chunk len:26064
chunk len:41992
chunk len:40544
chunk len:39096
chunk len:34752
chunk len:33304
chunk len:33304
chunk len:39096
chunk len:17376
chunk len:37648
chunk len:39096
chunk len:36200
chunk len:39096
chunk len:33304
chunk len:15928
chunk len:36200
chunk len:27512
chunk len:37648
chunk len:37648
chunk len:40544
chunk len:26064
chunk len:47784
chunk len:59368
chunk len:34752
chunk len:1448
chunk len:26064
chunk len:18824
chunk len:41992
chunk len:31856
chunk len:11584
chunk len:15928
chunk len:27512
chunk len:34752
chunk len:20272
chunk len:7240
chunk len:37648
chunk len:34752
chunk len:44888
chunk len:27512
chunk len:40544
chunk len:39096
chunk len:27512
chunk len:50680
chunk len:37648
chunk len:40544
chunk len:39096
chunk len:33304
chunk len:39096
chunk len:33304
chunk len:31856
chunk len:33304
chunk len:33304
chunk len:37648
chunk len:31856
chunk len:39096
chunk len:40544
chunk len:31856
chunk len:40544
chunk len:20272
chunk len:52128
chunk len:39096
chunk len:24616
chunk len:34752
chunk len:47784
chunk len:26064
chunk len:21720
chunk len:55024
chunk len:43440
chunk len:31856
chunk len:43440
chunk len:40544
chunk len:4344
chunk len:17376
chunk len:37648
chunk len:37648
chunk len:40544
chunk len:34752
chunk len:40544
chunk len:27512
chunk len:30408
chunk len:36200
chunk len:37648
chunk len:37648
chunk len:39096
chunk len:30408
chunk len:41992
chunk len:40544
chunk len:39096
chunk len:36200
chunk len:37648
chunk len:37648
chunk len:40544
chunk len:15928
chunk len:30408
chunk len:28960
chunk len:28960
chunk len:41992
chunk len:39096
chunk len:39096
chunk len:28960
chunk len:60816
chunk len:36200
chunk len:40544
chunk len:26064
chunk len:23168
chunk len:33304
chunk len:33304
chunk len:28960
chunk len:36200
chunk len:40544
chunk len:23168
chunk len:15928
chunk len:37648
chunk len:37648
chunk len:39096
chunk len:2896
chunk len:24616
chunk len:28960
chunk len:68056
chunk len:27512
chunk len:1448
chunk len:31856
chunk len:26064
chunk len:24616
chunk len:72400
chunk len:37648
chunk len:36200
chunk len:49232
chunk len:63712
chunk len:2896
chunk len:15928
chunk len:37648
chunk len:36200
chunk len:10136
chunk len:2896
chunk len:18824
chunk len:30408
chunk len:34752
chunk len:40544
chunk len:34752
chunk len:36200
chunk len:40544
chunk len:31856
chunk len:37648
chunk len:46336
chunk len:14480
chunk len:40544
chunk len:52128
chunk len:23168
chunk len:46336
chunk len:43440
chunk len:27512
chunk len:30408
chunk len:37648
chunk len:34752
chunk len:14480
chunk len:31856
chunk len:34752
chunk len:23168
chunk len:5792
chunk len:26064
chunk len:44888
chunk len:8688
chunk len:79640
chunk len:49232
chunk len:44888
chunk len:41992
chunk len:41992
chunk len:36200
chunk len:39096
chunk len:49232
chunk len:14480
chunk len:39096
chunk len:26064
chunk len:24616
chunk len:30408
chunk len:44888
chunk len:43440
chunk len:43440
chunk len:33304
chunk len:39096
chunk len:37648
chunk len:39096
chunk len:37648
chunk len:40544
chunk len:36200
chunk len:37648
chunk len:33304
chunk len:27512
chunk len:43440
chunk len:37648
chunk len:34752
chunk len:34752
chunk len:33304
chunk len:47784
chunk len:31856
chunk len:40544
chunk len:37648
chunk len:39096
chunk len:39096
chunk len:33304
chunk len:41992
chunk len:37648
chunk len:36200
chunk len:33304
chunk len:46336
chunk len:37648
chunk len:33304
chunk len:43440
chunk len:30408
chunk len:34752
chunk len:43440
chunk len:26064
chunk len:52128
chunk len:39096
chunk len:28960
chunk len:43440
chunk len:30408
chunk len:34752
chunk len:21720
chunk len:28960
chunk len:72400
chunk len:24616
chunk len:46336
chunk len:34752
chunk len:28960
chunk len:47784
chunk len:1448
chunk len:30408
chunk len:27512
chunk len:14480
chunk len:36200
chunk len:21720
chunk len:40544
chunk len:40544
chunk len:33304
chunk len:39096
chunk len:39096
chunk len:39096
chunk len:34752
chunk len:17376
chunk len:36200
chunk len:17376
chunk len:69504
chunk len:43440
chunk len:37648
chunk len:36200
chunk len:39096
chunk len:40544
chunk len:39096
chunk len:34752
chunk len:37648
chunk len:37648
chunk len:40544
chunk len:37648
chunk len:26064
chunk len:15928
chunk len:31856
chunk len:36200
chunk len:37648
chunk len:40544
chunk len:37648
chunk len:39096
chunk len:23168
chunk len:15928
chunk len:68056
chunk len:44888
chunk len:21720
chunk len:33304
chunk len:53576
chunk len:31856
chunk len:27512
chunk len:44888
chunk len:23168
chunk len:60816
chunk len:18824
chunk len:40544
chunk len:43440
chunk len:40544
chunk len:41992
chunk len:31856
chunk len:31856
chunk len:39096
chunk len:33304
chunk len:39096
chunk len:21720
chunk len:23168
chunk len:46336
chunk len:31856
chunk len:37648
chunk len:34752
chunk len:39096
chunk len:37648
chunk len:36200
chunk len:39096
chunk len:39096
chunk len:40544
chunk len:31856
chunk len:40544
chunk len:41992
chunk len:40544
chunk len:31856
chunk len:40544
chunk len:37648
chunk len:37648
chunk len:36200
chunk len:33304
chunk len:33304
chunk len:52128
chunk len:31856
chunk len:43440
chunk len:33304
chunk len:39096
chunk len:39096
chunk len:39096
chunk len:36200
chunk len:18824
chunk len:28960
chunk len:8688
chunk len:40544
chunk len:33304
chunk len:37648
chunk len:44888
chunk len:31856
chunk len:40544
chunk len:34752
chunk len:28960
chunk len:40544
chunk len:28960
chunk len:28960
chunk len:40544
chunk len:39096
chunk len:39096
chunk len:36200
chunk len:37648
chunk len:24616
chunk len:40544
chunk len:57920
chunk len:53576
chunk len:34752
chunk len:34752
chunk len:15928
chunk len:26064
chunk len:36200
chunk len:26064
chunk len:24616
chunk len:39096
chunk len:33304
chunk len:24616
chunk len:36200
chunk len:24616
chunk len:36200
chunk len:30408
chunk len:37648
chunk len:33304
chunk len:30408
chunk len:30408
chunk len:34752
chunk len:36200
chunk len:30408
chunk len:33304
chunk len:40544
chunk len:43440
chunk len:37648
chunk len:27512
chunk len:47784
chunk len:24616
chunk len:28960
chunk len:20272
chunk len:57920
chunk len:43440
chunk len:27512
chunk len:4344
chunk len:31856
chunk len:30408
chunk len:28960
chunk len:36200
chunk len:49232
chunk len:20272
chunk len:40544
chunk len:26064
chunk len:24616
chunk len:31856
chunk len:20272
chunk len:26064
chunk len:47784
chunk len:27512
chunk len:7240
chunk len:27512
chunk len:41992
chunk len:33304
chunk len:27512
chunk len:39096
chunk len:27512
chunk len:21720
chunk len:31856
chunk len:8688
chunk len:52128
chunk len:17376
chunk len:39096
chunk len:10136
chunk len:23168
chunk len:49232
chunk len:39096
chunk len:24616
chunk len:70952
chunk len:44888
chunk len:10136
chunk len:20272
chunk len:111496
chunk len:43440
chunk len:13032
chunk len:79640
chunk len:39096
chunk len:8688
chunk len:21720
chunk len:33304
chunk len:66608
chunk len:43440
chunk len:15928
chunk len:27512
chunk len:41992
chunk len:31856
chunk len:20272
chunk len:36200
chunk len:37648
chunk len:24616
chunk len:26064
chunk len:26064
chunk len:34752
chunk len:27512
chunk len:37648
chunk len:85432
chunk len:37648
chunk len:49232
chunk len:27512
chunk len:36200
chunk len:59368
chunk len:39096
chunk len:50680
chunk len:26064
chunk len:27512
chunk len:41992
chunk len:33304
chunk len:20272
chunk len:24616
chunk len:43440
chunk len:55024
chunk len:65160
chunk len:20272
chunk len:52128
chunk len:33304
chunk len:83984
chunk len:34752
chunk len:33304
chunk len:62264
chunk len:50680
chunk len:17376
chunk len:47784
chunk len:28960
chunk len:31856
chunk len:30408
chunk len:31856
chunk len:24616
chunk len:43440
chunk len:28960
chunk len:4344
chunk len:31856
chunk len:30408
chunk len:118736
chunk len:18824
chunk len:88328
chunk len:63712
chunk len:43440
chunk len:33304
chunk len:39096
chunk len:40544
chunk len:24616
chunk len:14480
chunk len:31856
chunk len:39096
chunk len:62264
chunk len:21720
chunk len:40544
chunk len:50680
chunk len:55024
chunk len:28960
chunk len:39096
chunk len:49232
chunk len:62264
chunk len:39096
chunk len:39096
chunk len:33304
chunk len:43440
chunk len:28960
chunk len:33304
chunk len:79640
chunk len:33304
chunk len:36200
chunk len:55024
chunk len:17376
chunk len:60816
chunk len:21720
chunk len:44888
chunk len:70952
chunk len:82536
chunk len:28960
chunk len:31856
chunk len:70952
chunk len:97016
chunk len:43440
chunk len:76744
chunk len:30408
chunk len:56472
chunk len:18824
chunk len:91224
chunk len:21720
chunk len:52128
chunk len:27512
chunk len:33304
chunk len:88328
chunk len:27512
chunk len:85432
chunk len:37648
chunk len:79640
chunk len:43440
chunk len:26064
chunk len:59368
chunk len:44888
chunk len:88328
chunk len:26064
chunk len:72400
chunk len:27512
chunk len:40544
chunk len:83984
chunk len:78192
chunk len:27512
chunk len:91224
chunk len:59368
chunk len:24616
chunk len:78192
chunk len:92672
chunk len:13032
chunk len:55024
chunk len:72400
chunk len:11584
chunk len:89776
chunk len:86880
chunk len:72400
chunk len:21720
chunk len:81088
chunk len:63712
chunk len:37648
chunk len:59368
chunk len:44888
chunk len:78192
chunk len:75296
chunk len:24616
chunk len:88328
chunk len:23168
chunk len:52128
chunk len:89776
chunk len:43440
chunk len:11584
chunk len:36200
chunk len:86880
chunk len:89776
chunk len:43440
chunk len:57920
chunk len:95568
chunk len:46336
chunk len:94120
chunk len:41992
chunk len:14480
chunk len:24616
chunk len:81088
chunk len:75296
chunk len:75296
chunk len:21720
chunk len:124528
chunk len:31856
chunk len:125976
chunk len:24616
chunk len:41992
chunk len:72400
chunk len:40544
chunk len:62264
chunk len:128872
chunk len:57920
chunk len:79640
chunk len:59368
chunk len:73848
chunk len:70952
chunk len:70952
chunk len:27512
chunk len:59368
chunk len:75296
chunk len:53576
chunk len:98464
chunk len:49232
chunk len:41992
chunk len:79640
chunk len:75296
chunk len:94120
chunk len:66608
chunk len:75296
chunk len:36200
chunk len:70952
chunk len:72400
chunk len:50680
chunk len:118736
chunk len:70952
chunk len:27512
chunk len:97016
chunk len:57920
chunk len:92672
chunk len:73848
chunk len:115840
chunk len:79640
chunk len:57920
chunk len:30408
chunk len:39096
chunk len:112944
chunk len:76744
chunk len:72400
chunk len:39096
chunk len:73848
chunk len:85432
chunk len:110048
chunk len:59368
chunk len:75296
chunk len:57920
chunk len:70952
chunk len:47784
chunk len:55024
chunk len:78192
chunk len:88328
chunk len:144800
chunk len:68056
chunk len:76744
chunk len:47784
chunk len:43440
chunk len:68056
chunk len:75296
chunk len:72400
chunk len:104256
chunk len:85432
chunk len:102808
chunk len:83984
chunk len:92672
chunk len:85432
chunk len:92672
chunk len:76744
chunk len:108600
chunk len:70952
chunk len:79640
chunk len:76744
chunk len:72400
chunk len:56472
chunk len:139008
chunk len:76744
chunk len:68056
chunk len:83984
chunk len:112944
chunk len:68056
chunk len:41992
chunk len:115840
chunk len:55024
chunk len:115840
chunk len:40544
chunk len:170864
chunk len:88328
chunk len:23168
chunk len:69504
chunk len:76744
chunk len:81088
chunk len:163624
chunk len:73848
chunk len:144800
chunk len:28960
chunk len:89776
chunk len:53576
chunk len:69504
chunk len:75296
chunk len:114392
chunk len:72400
chunk len:79640
chunk len:91224
chunk len:81088
chunk len:133216
chunk len:59368
chunk len:118736
chunk len:102808
chunk len:69504
chunk len:117288
chunk len:101360
chunk len:107152
chunk len:62264
chunk len:133216
chunk len:94120
chunk len:102808
chunk len:21869
Total len: 44699909
It seams, what trouble in this part:
data = compressor.decompress(chunk)
outfile.write(data)
Resolve my problem by another way.
downloaded_file = BytesIO(await resp.content.read())
with gzip.open(file, 'rt') as file:
with open('test.csv', 'w') as new_file:
shutil.copyfileobj(file, new_file)