Ketma-ket va tasodifiy o‘qish: Sequential vs Random I/O
Oldingi maqolada disk ma'lumotlarni qanday o‘qishi va yozishini o‘rgandik. Disklar ma'lumotlar bilan alohida baytlar emas, balki sektorlar yoki bloklar orqali ishlashini ko‘rdik. Endi boshqa bir muhim savolga javob topamiz.
Agar diskdan juda ko‘p ma'lumot o‘qish kerak bo‘lsa, ularni qanday tartibda o‘qiganimizning ahamiyati bormi?
Tasavvur qiling, diskda 1000 ta blok mavjud va dastur ushbu bloklarning barchasini o‘qishi kerak.
Birinchi holatda dastur bloklarni boshidan oxirigacha ketma-ket o‘qiydi.
Ikkinchi holatda esa diskning turli joylariga murojaat qilib, bloklarni tartibsiz o‘qiydi.
Har ikkala holatda ham o‘qilgan ma'lumot hajmi bir xil.
Ammo o‘qish uchun sarflangan vaqt sezilarli farq qilishi mumkin.
Ayniqsa HDD disklarida bunday farq yuzlab baravarga yetishi mumkin.
Buning sababi diskning ichki tuzilishi va ma'lumotlarga qanday murojaat qilinishiga bog‘liq.
Ushbu maqolada ikkita tushunchani batafsil o‘rganamiz:
- Sequential I/O — ketma-ket o‘qish va yozish.
- Random I/O — tasodifiy manzillardan o‘qish va yozish.
Bu tushunchalarni bilish fayl tizimlari, ma'lumotlar bazalari, log yozuvchi dasturlar, xabarlar navbati va boshqa backend tizimlari qanday ishlashini yaxshiroq tushunishga yordam beradi.
Maqola davomida HDD va SSD disklarining farqini ko‘ramiz, Linux qanday optimallashtirishlardan foydalanishini o‘rganamiz va oxirida fio dasturi yordamida amaliy tajribalar o‘tkazamiz.
Bir xil ma'lumotni o‘qish nega har xil vaqt oladi?
Tasavvur qiling, sizga arxivdan 100 ta hujjatni olib chiqish topshirildi.
Birinchi holatda barcha hujjatlar bitta javonda ketma-ket joylashgan.
Siz javon oldiga borasiz, kerakli hujjatlarni birma-bir olasiz va ishni tugatasiz.
Ikkinchi holatda esa hujjatlar arxivning turli xonalariga joylashtirilgan.
Bitta hujjat birinchi xonada, ikkinchisi boshqa qavatda, uchinchisi esa eng oxirgi javonda turibdi.
Endi har bir hujjatni olish uchun qayta-qayta yurishingiz, kerakli javonni qidirishingiz va keyingi joyga o‘tishingiz kerak.
Ikkala holatda ham 100 ta hujjat olasiz.
Ammo ikkinchi holatda ancha ko‘p vaqt sarflaysiz.
Sababi vaqtning katta qismi hujjatlarni olishga emas, ular joylashgan manzilga yetib borishga ketadi.
HDD disklarida ham shunga o‘xshash jarayon sodir bo‘ladi.
Diskning o‘qish kallagi bir-biridan uzoq joylashgan ma'lumotlarga murojaat qilganda, har safar kerakli joyga siljishi kerak.
Agar ma'lumotlar ketma-ket joylashgan bo‘lsa, kallakning ortiqcha harakati kamayadi.
Natijada bir xil hajmdagi ma'lumotni o‘qish vaqti ancha farq qilishi mumkin.
SSD disklarida harakatlanuvchi kallak yo‘q. Lekin ularda ham ko‘plab kichik so‘rovlar va katta ketma-ket so‘rovlarning samaradorligi bir xil emas.
Sequential I/O va Random I/O nima?
Diskdan ma'lumot o‘qish va unga yozish amallari umumiy qilib I/O (Input/Output) deb ataladi.
Disk I/O operatsiyalarini ma'lumotlarga qanday tartibda murojaat qilinishiga qarab ikki turga ajratish mumkin.
Sequential I/O — ketma-ket o‘qish va yozish
Sequential I/O — ma'lumotlarning ketma-ket manzillariga tartib bilan murojaat qilish.
Masalan, dastur faylni boshidan oxirigacha o‘qiyapti.
Disk bloklari:
[1][2][3][4][5][6][7][8][9][10]
O‘qish tartibi:
1 → 2 → 3 → 4 → 5 → 6 → 7 → 8 → 9 → 10
Agar faylning bloklari diskda ham yonma-yon joylashgan bo‘lsa, qurilma ularni samarali o‘qishi mumkin.
HDD diskda o‘qish kallagining ortiqcha harakati kamayadi.
Operatsion tizim esa keyingi bloklarni oldindan o‘qib qo‘yishi mumkin.
Bu ketma-ket o‘qishning asosiy afzalliklaridan biridir.
Random I/O — tasodifiy o‘qish va yozish
Random I/O — ma'lumotlarning turli manzillariga tartibsiz murojaat qilish.
Masalan:
Bunda keyingi o‘qiladigan blok avvalgisining yonida bo‘lishi shart emas.
HDD diskda har bir yangi manzilga murojaat qilish o‘qish kallagining siljishini talab qilishi mumkin.
SSD diskda esa ko‘plab kichik, alohida so‘rovlarni qayta ishlash xarajati yuzaga keladi.
Shuning uchun tasodifiy o‘qish va yozish ko‘pincha ketma-ket I/O operatsiyalariga qaraganda kamroq samarali bo‘ladi.
Muhim tushuncha
Sequential I/O har doim tez, Random I/O esa har doim sekin degan qat'iy qoida yo‘q.
Haqiqiy tezlik qurilma turiga, so‘rov hajmiga, keshga, bir vaqtda bajarilayotgan so‘rovlar soniga va boshqa omillarga bog‘liq.
Ammo bir xil sharoitda katta hajmdagi ma'lumotni ketma-ket o‘qish odatda ko‘plab kichik tasodifiy murojaatlardan samaraliroq bo‘ladi.
Disk tezligini baholash: Latency, IOPS va Throughput
Diskning ishlash tezligini tushunish uchun uchta muhim ko‘rsatkichni bilish kerak.
Ular:
- Latency.
- IOPS.
- Throughput.
Bu ko‘rsatkichlar bir-biriga bog‘liq bo‘lsa ham, har xil narsani o‘lchaydi.
| Ko‘rsatkich | Ma'nosi | O‘lchov birligi |
|---|---|---|
| Latency | Bitta I/O so‘rovi bajarilishiga ketgan vaqt | ms yoki µs |
| IOPS | Bir soniyada bajarilgan I/O operatsiyalari soni | IOPS |
| Throughput | Bir soniyada uzatilgan ma'lumot hajmi | MB/s yoki GB/s |
Ularni alohida ko‘rib chiqamiz.
Latency — bitta murojaat qancha vaqt oladi?
Latency — bitta I/O so‘rovining bajarilishiga ketadigan vaqt.
Masalan, dastur diskdan 4 KB ma'lumot o‘qishni so‘radi.
Disk 10 millisekunddan keyin ma'lumotni qaytardi.
Demak, ushbu operatsiyaning kechikishi taxminan 10 ms.
Latency qancha kichik bo‘lsa, alohida so‘rov shuncha tez bajariladi.
Ayniqsa navbatdagi ishni boshlashdan oldin oldingi so‘rov natijasini kutadigan dasturlar uchun bu ko‘rsatkich muhim.
IOPS — bir soniyada nechta amal bajariladi?
IOPS — Input/Output Operations Per Second so‘zlarining qisqartmasi.
Bu ko‘rsatkich bir soniyada nechta o‘qish yoki yozish operatsiyasi bajarilganini bildiradi.
Masalan, disk bir soniyada 100 ta alohida o‘qish so‘rovini bajarsa:
Agar bir soniyada 10 000 ta o‘qish bajarilsa:
IOPS ayniqsa kichik va tasodifiy I/O so‘rovlarida muhim.
Ma'lumotlar bazalari ko‘pincha bunday ish yuklariga duch keladi.
Masalan, dastur jadvaldagi turli yozuvlarni izlayotganda bir nechta alohida ma'lumot sahifalariga murojaat qilishi mumkin.
Throughput — bir soniyada qancha ma'lumot uzatiladi?
Throughput diskning ma'lum vaqt ichida qancha hajmdagi ma'lumotni o‘qiganini yoki yozganini bildiradi.
Masalan, disk bir soniyada 200 MB ma'lumot o‘qisa:
Bu ko‘rsatkich katta fayllarni ko‘chirish, video fayllarni o‘qish va zaxira nusxa olishda juda muhim.
IOPS va Throughput qanday bog‘liq?
Agar har bir I/O operatsiyasi bir xil hajmdagi ma'lumotni uzatsa, throughputni quyidagicha hisoblash mumkin:
Masalan, disk bir soniyada 200 ta operatsiya bajaradi.
Har bir operatsiyada 4 KB ma'lumot o‘qiladi.
Demak, disk bir soniyada taxminan 0.8 MB ma'lumot o‘qimoqda.
Endi shu disk ketma-ket rejimda katta bo‘laklar bilan ishlasin.
Bunday holatda u, masalan, 150 MB/s tezlikka chiqishi mumkin.
Bu yerda diskning o‘zi o‘zgarmadi.
Faqat o‘qish usuli va har bir so‘rovning hajmi o‘zgardi.
Natijada throughput sezilarli oshdi.
Disk reklamalaridagi raqamlar
SSD ishlab chiqaruvchilari ko‘pincha quyidagiga o‘xshash tezliklarni ko‘rsatadi:
- Ketma-ket o‘qish: 7000 MB/s gacha.
- Tasodifiy o‘qish: 1 000 000 IOPS gacha.
Bu ikkala raqam turli sharoitlarda o‘lchanadi.
7000 MB/s odatda katta hajmdagi ketma-ket o‘qishlarda olinadi.
1 000 000 IOPS esa kichik bloklar bilan juda ko‘p parallel so‘rov yuborilganda olinishi mumkin.
Bitta so‘rovning javobini kutib, keyin navbatdagisini yuboradigan oddiy dastur bunday maksimal ko‘rsatkichlarga erishmasligi mumkin.
HDD diskda sequential va random I/O qanday ishlaydi?
HDD disklarida ketma-ket va tasodifiy o‘qish o‘rtasidagi farq ayniqsa katta.
Buning sababi HDD ichida mexanik qismlar mavjud.
HDD ichki tuzilishi
HDD ichida magnit plastinkalar mavjud.
Plastinkalar doimiy ravishda katta tezlikda aylanadi.
Ma'lumotlarni o‘qish va yozish uchun maxsus kallaklardan foydalaniladi.
Kallaklar harakatlanuvchi mexanizm yordamida plastinkaning kerakli joyiga olib boriladi.
Magnit plastinka yuzasida aylana shaklidagi yo‘laklar mavjud. Ular track deb ataladi.
Har bir track sektorlardan tashkil topadi.
Magnit plastinka
┌──────────────────┐
┌──┘ └──┐
│ ┌────────────┐ │
│ │ ┌────────┐ │ │
│ │ │ ● │ │ │
│ │ └────────┘ │ │
│ └────────────┘ │
└──┐ ┌──┘
└──────────────────┘
Ichki aylanalar — tracklar
\
\________ O‘qish kallagi
Disk ma'lumotni o‘qishi uchun kerakli sektor kallak ostiga kelishi kerak.
Bu jarayon vaqt talab qiladi.
HDD bitta blokni qanday o‘qiydi?
HDD diskdan bitta tasodifiy blokni o‘qish jarayonini uch bosqichga ajratish mumkin.
1. Seek — kerakli yo‘lakka o‘tish
O‘qish kallagi kerakli track joylashgan tomonga siljiydi.
Bu harakat uchun ma'lum vaqt ketadi.
Masofa va disk modeliga qarab seek vaqti farq qiladi.
Misol tariqasida 4–10 ms oralig‘ini olishimiz mumkin.
2. Rotational latency — kerakli sektor kelishini kutish
Kallak kerakli yo‘lakka kelganidan keyin ma'lumot joylashgan sektor uning ostiga aylanishini kutadi.
Bu kutish vaqti diskning aylanish tezligiga bog‘liq.
3. Transfer — ma'lumotni o‘qish
Kerakli sektor kallak ostiga kelgach, ma'lumot o‘qiladi va kompyuterga uzatiladi.
Demak, tasodifiy o‘qishda umumiy vaqtning katta qismi ma'lumotga yetib borish uchun sarflanishi mumkin.
7200 RPM nimani anglatadi?
HDD disklari uchun 5400 RPM va 7200 RPM kabi ko‘rsatkichlarni uchratish mumkin.
RPM — Revolutions Per Minute, ya'ni bir daqiqadagi aylanishlar soni.
7200 RPM diskning magnit plastinkasi bir daqiqada 7200 marta aylanishini bildiradi.
Bitta to‘liq aylanish qancha vaqt olishini hisoblaymiz:
1 daqiqa = 60 soniya
7200 aylanish = 60 soniya
Bitta aylanish:
60 / 7200 = 0.00833 soniya
0.00833 soniya = 8.33 ms
Demak, bitta to‘liq aylanish taxminan 8.33 ms davom etadi.
Tasodifiy joylashgan sektorga murojaat qilganda o‘rtacha yarim aylanish kutishga to‘g‘ri keladi.
Bu raqam faqat aylanish kutishini bildiradi.
Bunga o‘qish kallagining harakatlanish vaqti ham qo‘shiladi.
Masalan:
Seek: 5 ms
Aylanish kutishi: 4.17 ms
Ma'lumotni uzatish: kichik qo‘shimcha vaqt
Jami: taxminan 9–10 ms
Albatta, har bir murojaat aynan shuncha vaqt olmaydi.
Ayrim sektorlar kallakka yaqin bo‘ladi, ayrimlari esa uzoqroq joylashadi.
Ammo o‘rtacha qiymatlar tasodifiy I/O nima uchun sekinligini tushuntirishga yordam beradi.
HDD tasodifiy o‘qishda qancha IOPS beradi?
Faraz qilaylik, bitta tasodifiy o‘qish o‘rtacha 10 ms davom etadi.
Bir soniyada 1000 millisekund bor.
Shuning uchun:
Demak, ketma-ket bajariladigan tasodifiy so‘rovlarda disk taxminan 100 IOPS ko‘rsatishi mumkin.
Agar har bir so‘rov 4 KB bo‘lsa:
Bu taxminan 0.4 MB/s.
HDD disk bir soniyada 150–250 MB ma'lumotni ketma-ket o‘qiy olishi mumkin bo‘lgan holatda, tasodifiy 4 KB o‘qishdagi throughput bundan yuzlab baravar kichik bo‘lishi mumkin.
Nega ketma-ket o‘qish tezroq?
Endi HDD diskda ma'lumotlar ketma-ket joylashgan deb tasavvur qilamiz.
Dastur quyidagi bloklarni o‘qiydi:
Birinchi blokni topish uchun kallak kerakli yo‘lakka boradi.
Ammo keyingi bloklar unga yaqin joylashgan bo‘lsa, kallak har safar diskning boshqa joyiga siljishi shart emas.
Plastinka aylanayotganda keyingi sektorlar kallak ostidan o‘tadi.
Ma'lumot uzluksiz o‘qilishi mumkin.
Tasodifiy o‘qishda esa:
Blok 7 ni topish
|
v
Blok 2 ni topish
|
v
Blok 9 ni topish
|
v
Blok 1 ni topish
|
v
Blok 6 ni topish
Har bir yangi manzil o‘qish kallagining qayta harakatlanishini talab qilishi mumkin.
Shuning uchun ketma-ket o‘qish juda katta ustunlikka ega.
Lekin katta fayl bir nechta trackda joylashishi mumkinligini ham unutmaslik kerak. Ketma-ket o‘qishda disk hech qachon seek bajarmaydi, deyish noto‘g‘ri.
To‘g‘ri tushuncha shuki: ketma-ket o‘qishda ortiqcha seek va aylanish kutishlari odatda ancha kamayadi.
HDD tezligini solishtiramiz
Quyidagi jadval 7200 RPM HDD uchun taxminiy natijalarni ko‘rsatadi.
| I/O turi | Taxminiy tezlik |
|---|---|
| Ketma-ket o‘qish | 150–250 MB/s |
| Tasodifiy 4 KB o‘qish | 80–150 IOPS |
| Tasodifiy o‘qish throughput | 0.3–0.6 MB/s |
| Tezlik farqi | Yuzlab baravargacha |
Masalan:
Demak, ushbu misolda ketma-ket o‘qish 500 baravar yuqori throughput beradi.
Bu aniq bir disk uchun kafolatlangan natija emas.
Farq faylning joylashuvi, so‘rovlar hajmi, disk modeli, kesh va boshqa omillarga bog‘liq.
HDD tashqi va ichki yo‘laklari
HDD plastinkasining tashqi aylanalari ichki aylanalardan uzunroq bo‘ladi.
Ko‘plab HDDlarda tashqi yo‘laklarda bir aylanish davomida ko‘proq ma'lumot o‘qish mumkin.
Shu sababli diskning tashqi yo‘laklariga to‘g‘ri keladigan hududlarida ketma-ket o‘qish tezligi ichki hududlarga qaraganda yuqoriroq bo‘lishi mumkin.
Zamonaviy HDDlarda ma'lumotning fizik joylashuvi qurilma tomonidan boshqariladi. Shu sababli mantiqiy manzil va fizik yo‘lak o‘rtasidagi bog‘liqlik har doim oddiy emas.
SSD diskda sequential va random I/O
SSD disklarda HDDdagi kabi aylanadigan magnit plastinka yoki harakatlanuvchi o‘qish kallagi yo‘q.
Ma'lumotlar NAND flash xotira chiplarida saqlanadi.
Shu sababli SSD disklar tasodifiy murojaatlarni HDDga qaraganda ancha tez bajaradi.
Ammo bu SSD uchun sequential va random I/O o‘rtasida umuman farq yo‘q degani emas.
SSD disklarida ham ketma-ket va tasodifiy I/O operatsiyalarining tezligi farqlanadi.
Buning bir nechta sababi bor.
1. Har bir I/O so‘rovini qayta ishlash kerak
Dastur SSD diskdan ma'lumot o‘qishni so‘raganda bir nechta jarayon bajariladi.
- Operatsion tizim I/O so‘rovini tayyorlaydi.
- So‘rov SSD kontrolleriga yuboriladi.
- Kontroller kerakli mantiqiy blok manzilini aniqlaydi.
- FTL orqali ma'lumotning NAND flash xotirasidagi joyi topiladi.
- Ma'lumot o‘qiladi.
- Natija kompyuterga qaytariladi.
Bitta kichik so‘rovni bajarish tez bo‘lishi mumkin.
Ammo minglab kichik so‘rovlarni alohida yuborish qo‘shimcha xarajatlarni yuzaga keltiradi.
Masalan, dastur 1 MB ma'lumotni o‘qishi kerak.
Birinchi holatda u 4 KB dan o‘qiydi.
Ikkinchi holatda esa 1 MB ma'lumotni bitta katta so‘rov orqali olishga harakat qiladi.
Ikkinchi holatda tizim chaqiriqlari va I/O so‘rovlarini boshqarish xarajatlari kamayishi mumkin.
Biroq har bir katta so‘rov SSD ichkarisida bir nechta kichik amallarga bo‘linishi mumkin.
Shuning uchun katta so‘rovning xarajati doim faqat bir marta to‘lanadi, deyish ham to‘g‘ri emas.
Asosiy ustunlik — qo‘shimcha boshqaruv xarajatlarining kamayishi va ma'lumotlarni samaraliroq uzatish imkoniyatidir.
2. SSD bir vaqtning o‘zida bir nechta xotira chipi bilan ishlaydi
Zamonaviy SSD disklarida bir nechta NAND flash chiplar va xotira kanallari mavjud.
Bularni SSD kontrolleri boshqaradi.
Kontroller bir vaqtning o‘zida turli kanallarda bir nechta operatsiyani bajarishi mumkin.
Bu ichki parallellik deb ataladi.
Quyidagi chizma soddalashtirilgan SSD tuzilishini ko‘rsatadi.
SSD kontrolleri
|
┌────────────┼────────────┐
| | |
Kanal 0 Kanal 1 Kanal 2
| | |
[Chip] [Chip] [Chip]
[Chip] [Chip] [Chip]
[Chip] [Chip] [Chip]
| | |
└────────────┼────────────┘
|
Natija
Agar SSDga katta hajmdagi ma'lumotni o‘qish so‘rovi yuborilsa, kontroller ishni bir nechta kanal orqali taqsimlashi mumkin.
Natijada turli NAND chiplar bir vaqtda ishlaydi.
Bu umumiy throughputni oshiradi.
Bitta kichik tasodifiy o‘qish esa SSDning barcha kanallaridan foydalanishi shart emas.
Shuning uchun SSDning maksimal imkoniyatidan foydalanish uchun katta I/O so‘rovlari yoki ko‘plab parallel so‘rovlar kerak bo‘lishi mumkin.
3. Queue depth nima?
SSD tezligini tushunishda yana bir muhim tushuncha bor.
Bu — Queue depth.
Queue depth — qurilmaga yuborilgan, lekin hali bajarilishi tugamagan I/O so‘rovlari soni.
Masalan, dastur diskka bitta so‘rov yuboradi.
Natijani olmaguncha boshqa so‘rov yubormaydi.
Bu holatda navbatda bir vaqtda faqat bitta so‘rov mavjud.
Endi boshqa holatni tasavvur qilamiz.
Dastur birdaniga 32 ta I/O so‘rovi yuboradi.
Bu holatda bir vaqtning o‘zida ko‘plab so‘rovlar bajarilish jarayonida bo‘lishi mumkin.
SSD kontrolleri ushbu so‘rovlarni turli NAND kanallari orasida taqsimlab, parallel bajarishga harakat qiladi.
Bu IOPS ko‘rsatkichini oshirishi mumkin.
Queue depth SSD tezligiga qanday ta'sir qiladi?
Quyidagi jadval zamonaviy NVMe SSD uchun taxminiy qiymatlarni ko‘rsatadi.
| Ishlash tartibi | Taxminiy IOPS | Taxminiy throughput |
|---|---|---|
| 4 KB Random, QD1 | 10 000–20 000 | 40–80 MB/s |
| 4 KB Random, QD32 yoki yuqori | 300 000–1 000 000 | 1–4 GB/s |
| Katta blokli sequential I/O | — | 2–7 GB/s |
Bu qiymatlar barcha SSDlar uchun bir xil emas.
Disk modeli, PCIe avlodi, NAND turi va boshqa omillarga qarab sezilarli farq bo‘ladi.
Jadvaldan ko‘rinadiki, bir xil SSD turli queue depth qiymatlarida juda boshqacha natija berishi mumkin.
Masalan, QD1 holatida SSDning ichki parallelligidan to‘liq foydalanilmasligi mumkin.
QD32 holatida esa bir nechta so‘rov parallel bajarilib, throughput oshadi.
Queue depth va latency
Queue depth oshishi IOPSni ko‘paytirishi mumkin.
Lekin bu har bir so‘rovning alohida bajarilish vaqti kamayadi degani emas.
Qurilma haddan tashqari band bo‘lsa, navbatda kutish vaqti ortib, latency oshishi ham mumkin.
Shuning uchun maksimal IOPSga erishish har doim dastur uchun eng yaxshi natija hisoblanmaydi.
4. SSDda tasodifiy yozish nima uchun murakkabroq?
Oldingi maqolada SSD NAND flash xotirasining ishlashini ko‘rib chiqqandik.
NAND flash xotirasida mavjud ma'lumotning ustidan oddiy RAMdagi kabi yozib bo‘lmaydi.
SSD yangi ma'lumotni boshqa bo‘sh sahifaga yozishi, eski sahifani esa eskirgan deb belgilashi mumkin.
Eskirgan sahifalar ko‘payganda garbage collection mexanizmi ishga tushadi.
Bu jarayonda hali kerakli bo‘lgan ma'lumotlar boshqa joyga ko‘chirilishi mumkin.
Tasodifiy kichik yozishlarda turli erase blocklar ichida foydali va eskirgan sahifalar aralashib ketishi mumkin.
Bu garbage collection ishini murakkablashtiradi.
Natijada SSD ichkarida dastur yuborgan hajmdan ko‘proq ma'lumot yozishi mumkin.
Bu write amplification deb ataladi.
Ketma-ket yozish esa ko‘pincha ma'lumotlarni samaraliroq joylashtirishga yordam beradi.
Shu sababli sequential write SSDning ishlash tezligi va NAND xotira resursidan foydalanish nuqtayi nazaridan foydali bo‘lishi mumkin.
Lekin bu ham barcha SSDlar va barcha ish yuklari uchun mutlaq qoida emas.
Operatsion tizim ketma-ket I/Oni qanday tezlashtiradi?
Ketma-ket o‘qishning afzalligi faqat diskning ichki tuzilishiga bog‘liq emas.
Operatsion tizim ham I/O operatsiyalarini tezlashtirish uchun turli mexanizmlardan foydalanadi.
Linux tizimida bunday mexanizmlarga quyidagilar kiradi:
- Readahead.
- I/O so‘rovlarini birlashtirish.
- Block layer optimallashtirishlari.
- Fayl tizimining ma'lumotlarni joylashtirish usullari.
Ularni alohida ko‘rib chiqamiz.
Readahead — keyingi ma'lumotlarni oldindan o‘qish
Tasavvur qiling, dastur katta faylni boshidan oxirigacha o‘qiyapti.
Dastur birinchi blokni o‘qidi.
Keyin ikkinchi blokni o‘qidi.
Operatsion tizim dastur ketma-ket o‘qiyotganini aniqlashi mumkin.
Shunda u dastur hali so‘ramagan keyingi bloklarni oldindan diskdan o‘qib, page cache ichiga joylashtiradi.
Bu mexanizm readahead deb ataladi.
Masalan:
Dastur so‘radi:
[Blok 1]
Operatsion tizim o‘qishi mumkin:
[1][2][3][4][5][6][7][8]
Keyingi so‘rov:
[Blok 2]
Natija: Page cache ichida mavjud.
Dastur ikkinchi blokni so‘raganda uni diskdan qayta olish shart bo‘lmasligi mumkin.
Chunki operatsion tizim bu blokni oldindan o‘qib qo‘ygan.
Bu ketma-ket o‘qish tezligini oshiradi.
Random I/Oda readahead nega kamroq yordam beradi?
Endi dastur bloklarni quyidagi tartibda o‘qisin:
Bu holatda keyingi o‘qiladigan blokni taxmin qilish qiyin.
Operatsion tizim 17-blokdan keyin 18-blokni o‘qib qo‘yishi mumkin.
Ammo dastur aslida 903-blokni so‘raydi.
Natijada oldindan o‘qilgan ma'lumotdan foydalanilmasligi mumkin.
Shuning uchun tasodifiy I/Oda readahead samarasi odatda kamayadi.
Ayrim holatlarda ortiqcha readahead keraksiz ma'lumotlarni RAMga olib kelib, page cache samaradorligini pasaytirishi ham mumkin.
Linux o‘qish tartibiga qarab readahead hajmini moslashtirishga harakat qiladi.
Ketma-ket o‘qish davom etayotgan bo‘lsa, oldindan o‘qiladigan ma'lumot hajmi oshishi mumkin.
I/O so‘rovlarini birlashtirish
Operatsion tizim diskka yuboriladigan so‘rovlarni tahlil qilib, ayrimlarini birlashtirishi mumkin.
Bu jarayon I/O merging deyiladi.
Masalan, dastur quyidagi qo‘shni bloklarni o‘qishni so‘radi.
Agar sharoit mos bo‘lsa, operatsion tizim ushbu so‘rovlarni kattaroq I/O so‘roviga birlashtirishi mumkin.
Yana bir misol:
Ya'ni 32 ta qo‘shni blokga tegishli so‘rov ayrim holatlarda bitta 128 KB so‘rovga aylantirilishi mumkin.
Bu qurilmaga yuboriladigan buyruqlar sonini kamaytiradi.
Natijada I/O samaradorligi oshishi mumkin.
Tasodifiy va bir-biridan uzoq bloklarga tegishli so‘rovlarni esa bunday tarzda birlashtirish qiyin.
So‘rovlarni birlashtirish cheklovlari
Har qanday qo‘shni I/O so‘rovi albatta birlashtiriladi, deb bo‘lmaydi.
Bunga so‘rovlarning vaqti, turi, o‘lchami, disk navbati va operatsion tizimning block layer mexanizmlari ta'sir qiladi.
Fayl tizimi va fragmentatsiya
Dastur faylni ketma-ket o‘qishi uning bloklari diskda ham albatta yonma-yon joylashganini anglatmaydi.
Buni tushunish uchun fragmentatsiya nima ekanini bilish kerak.
Fragmentatsiya nima?
Fayl tizimi yangi fayl yozilganda uning bloklarini imkon qadar qulay joylashtirishga harakat qiladi.
Ammo disk to‘lib borishi, fayllarning o‘chirilishi va qayta yozilishi natijasida bo‘sh joylar turli joylarga tarqalishi mumkin.
Natijada bitta faylning bloklari diskning turli hududlarida joylashib qolishi mumkin.
Bu fragmentatsiya deb ataladi.
Masalan, fayl beshta blokdan iborat.
Dastur nuqtayi nazaridan:
Ammo diskdagi joylashuvi quyidagicha bo‘lishi mumkin:
Dastur faylni boshidan oxirigacha o‘qiydi.
Ammo disk kerakli bloklarni turli joylardan olishga majbur bo‘lishi mumkin.
HDD diskda bu o‘qish kallagining qo‘shimcha harakatlariga sabab bo‘ladi.
Shu sababli HDD disklarida fragmentatsiya ketma-ket o‘qish tezligiga sezilarli ta'sir qilishi mumkin.
Defragmentatsiya nima?
Defragmentatsiya — faylning tarqalib ketgan qismlarini imkon qadar yaqinroq joylashtirish jarayoni.
Bunda fayl bloklari qayta tashkil etiladi.
Natijada HDD diskda keraksiz seek operatsiyalarini kamaytirish mumkin.
SSD disklarida esa mexanik kallak yo‘q.
Shu sababli fragmentatsiyaning fizik ta'siri odatda ancha kichik.
SSDlar uchun HDD kabi muntazam defragmentatsiya qilish odatda kerak emas.
Mantiqiy va fizik ketma-ketlik
Dastur uchun ketma-ket o‘qish — faylning boshidan oxirigacha tartib bilan o‘qish.
Disk uchun ketma-ketlik esa odatda qo‘shni mantiqiy blok manzillariga murojaat qilishni anglatadi.
Bundan tashqari, SSD ichidagi haqiqiy fizik joylashuv mantiqiy bloklardan farq qilishi mumkin.
Demak, dastur ko‘rayotgan ketma-ketlik bilan diskning ichki fizik joylashuvi har doim bir xil bo‘lavermaydi.
Dasturchi uchun amaliy xulosalar
Sequential va Random I/O o‘rtasidagi farqni tushunish dastur tuzilishini yaxshilashga yordam beradi.
Quyida eng muhim amaliy tamoyillarni ko‘rib chiqamiz.
1. Fayllarni kattaroq bo‘laklarda o‘qing
Faraz qiling, dastur katta faylni o‘qishi kerak.
Agar u har safar 4 KB ma'lumot o‘qisa, juda ko‘p o‘qish operatsiyalari bajariladi.
Masalan, 1 GiB fayl uchun:
Demak, faylni 4 KiB qismlarga ajratib o‘qish uchun dastur darajasida 262 144 ta o‘qish operatsiyasi kerak bo‘ladi.
Agar 1 MiB bo‘laklardan foydalansak:
Endi atigi 1024 ta o‘qish operatsiyasi kerak.
Bu tizim chaqiriqlari sonini sezilarli kamaytiradi.
Ammo blokni haddan tashqari kattalashtirish ham har doim foydali emas.
Bufer uchun ko‘proq RAM kerak bo‘lishi yoki keraksiz ma'lumot o‘qilishi mumkin.
Shuning uchun optimal o‘lcham dastur vazifasiga bog‘liq.
2. Ma'lumotlarni o‘qilish tartibiga mos joylashtiring
Agar dastur ma'lumotlarni doimo ma'lum tartibda o‘qisa, ularni shu tartibda saqlash foydali bo‘lishi mumkin.
Masalan, vaqt bo‘yicha ketma-ket yoziladigan log faylni olaylik.
Agar yangi yozuvlar fayl oxiriga qo‘shib borilsa, ma'lumotlarni vaqt tartibida o‘qish qulay bo‘ladi.
Bu ayniqsa katta hajmdagi loglarni ketma-ket qayta ishlashda foydali.
Ma'lumotlarni birgalikda ishlatilish tartibiga mos joylashtirish data locality tamoyiliga kiradi.
3. Append-only log nima?
Ko‘plab tizimlarda ma'lumotning eski joyini doim yangilash o‘rniga, o‘zgarishlar alohida log faylning oxiriga qo‘shiladi.
Bu yondashuv append-only log deb ataladi.
Masalan, diskda quyidagi ma'lumotlar mavjud.
Dastur A, C, F va H qiymatlarini o‘zgartirmoqchi.
Birinchi yondashuvda har bir ma'lumot o‘z joyida yangilanadi.
Ikkinchi yondashuvda o‘zgarishlar log fayl oxiriga qo‘shiladi.
Bunda yangi yozuvlar ketma-ket qo‘shiladi.
Bu diskka yozish jarayonini samaraliroq tashkil etishga yordam beradi.
Append-only log qayerlarda ishlatiladi?
Ushbu yondashuv turli saqlash tizimlarida uchraydi.
| Tizim | Qanday foydalanadi? |
|---|---|
| ext4, XFS va NTFS | Ayrim metama'lumot o‘zgarishlarini jurnal orqali boshqaradi |
| F2FS | Flash xotira uchun log-structured yondashuvlardan foydalanadi |
| Btrfs va ZFS | Copy-on-write orqali yangi ma'lumotlarni boshqa joylarga yozadi |
| PostgreSQL | O‘zgarishlarni WAL jurnaliga yozadi |
| Kafka | Xabarlarni partition loglariga oxiridan qo‘shadi |
| RocksDB va Cassandra | LSM-tree yondashuvi orqali yozishlarni samarali tashkil etadi |
Bu tizimlarning ichki ishlashi bir xil emas.
Masalan, journaling, copy-on-write va LSM-tree alohida mexanizmlar hisoblanadi.
Ammo ularning ayrimlarida umumiy g‘oya mavjud: ko‘plab kichik o‘zgarishlarni ketma-ket yozish orqali diskdan samaraliroq foydalanish.
Append-only logning kamchiliklari bormi?
Ha.
Faqat fayl oxiriga yozish hamma muammoni hal qilmaydi.
Masalan, bitta ma'lumot bir necha marta o‘zgartirilsa, log ichida uning eski va yangi qiymatlari saqlanib qolishi mumkin.
Vaqt o‘tishi bilan log kattalashadi.
Eski yoki keraksiz ma'lumotlarni tozalash kerak bo‘ladi.
Bunday tizimlarda:
- Compaction.
- Garbage collection.
- Log segmentlarini tozalash.
- Eski yozuvlarni birlashtirish.
kabi mexanizmlardan foydalanilishi mumkin.
Demak, append-only yondashuvi yozishni samaraliroq qilishi mumkin, ammo ma'lumotlarni keyinchalik boshqarish uchun qo‘shimcha ishlar talab etadi.
4. Tasodifiy o‘qishlarni tartiblash
Agar dastur diskning ko‘plab turli joylaridan ma'lumot o‘qishi kerak bo‘lsa, o‘qish tartibini o‘zgartirish foydali bo‘lishi mumkin.
Masalan:
Endi bloklarni manzil bo‘yicha tartiblaymiz.
HDD diskda bu usul o‘qish kallagining ortiqcha oldinga-orqaga harakatlanishini kamaytirishi mumkin.
Ayniqsa bir-biriga yaqin manzillar guruhlangan bo‘lsa, o‘qish samaradorligi oshadi.
SSD diskda esa bu usulning foydasi qurilma va ish yukiga bog‘liq.
5. Tasodifiy o‘qishlarni parallel bajarish
SSD disklarining muhim afzalliklaridan biri — bir vaqtning o‘zida bir nechta I/O operatsiyasini bajarish imkoniyati.
Agar dastur ko‘plab mustaqil ma'lumotlarni o‘qishi kerak bo‘lsa, so‘rovlarni parallel yuborish foydali bo‘lishi mumkin.
Buning uchun:
- Asinxron I/O.
- Bir nechta thread.
- Linux
io_uring. - Boshqa parallel I/O mexanizmlari.
ishlatilishi mumkin.
Masalan, bitta so‘rovning javobini kutib, keyin navbatdagisini yuborish o‘rniga, dastur bir vaqtning o‘zida bir nechta so‘rov yuborishi mumkin.
Bu SSDning ichki parallelligidan foydalanish imkonini beradi.
Lekin parallel so‘rovlar sonini cheksiz oshirish ham to‘g‘ri emas.
Ma'lum chegaradan keyin qurilma band bo‘lib, latency oshishi mumkin.
Indeks orqali o‘qish yaxshimi yoki butun faylni o‘qish?
Bu savol ayniqsa ma'lumotlar bazalari uchun muhim.
Faraz qiling, katta faylda 1 millionta yozuv mavjud.
Dasturga ulardan faqat 10 tasi kerak.
Bunday holatda barcha yozuvlarni ketma-ket o‘qish ortiqcha ish bo‘lishi mumkin.
Agar kerakli yozuvlarning manzilini indeks orqali aniqlash mumkin bo‘lsa, faqat o‘sha joylarga murojaat qilish samaraliroq bo‘ladi.
Kam ma'lumot kerak bo‘lsa
Masalan, kitobdan bitta atamani qidiryapsiz.
Kitobning barcha sahifalarini boshidan oxirigacha o‘qish shart emas.
Oxiridagi atamalar ko‘rsatkichidan foydalanib, kerakli sahifani topasiz.
Ma'lumotlar bazasidagi indeks ham shunga o‘xshash vazifani bajaradi.
Ko‘p ma'lumot kerak bo‘lsa
Endi tasavvur qiling, siz kitobning yarmini o‘qishingiz kerak.
Har bir sahifani alohida ko‘rsatkichdan qidirib, kitobni oldinga-orqaga varaqlash noqulay.
Bunday holatda kitobni ketma-ket o‘qish yaxshiroq.
Diskda ham shunga o‘xshash holat mavjud.
Agar kerakli yozuvlar soni juda ko‘p bo‘lsa, indeks yordamida ko‘plab tasodifiy manzillarga murojaat qilish o‘rniga, ma'lumotlarni ketma-ket o‘qish arzonroq bo‘lishi mumkin.
HDD uchun oddiy hisob-kitob
Faraz qilaylik, diskda 10 000 ta 4 KB blok mavjud.
Jami hajm:
Diskning ketma-ket o‘qish tezligi 200 MB/s bo‘lsin.
Butun faylni o‘qish vaqti:
Endi tasodifiy 4 KB o‘qishning o‘rtacha kechikishi 10 ms deb olamiz.
| O‘qish usuli | Hisoblash | Taxminiy vaqt |
|---|---|---|
| Butun faylni ketma-ket o‘qish | 40.96 MB / 200 MB/s | 0.205 s |
| 10 ta blokni tasodifiy o‘qish | 10 × 10 ms | 0.1 s |
| 100 ta blokni tasodifiy o‘qish | 100 × 10 ms | 1 s |
| 1000 ta blokni tasodifiy o‘qish | 1000 × 10 ms | 10 s |
Bu misoldan qanday xulosa chiqarish mumkin?
Agar dasturga 10 ta blok kerak bo‘lsa, faqat shu bloklarni o‘qish butun faylni o‘qishdan arzonroq.
Agar 100 ta blok kerak bo‘lsa, ularning har biriga alohida tasodifiy murojaat qilish butun faylni ketma-ket o‘qishdan sekinroq bo‘lishi mumkin.
Bizning soddalashtirilgan misolimizda 20–21 ta tasodifiy murojaat vaqti butun faylni ketma-ket o‘qish vaqtiga yaqinlashadi.
Albatta, bu faqat model.
Haqiqiy ma'lumotlar bazasida indeksni o‘qish, kesh, qatorlarni tekshirish, CPU xarajatlari va boshqa omillar ham hisobga olinadi.
PostgreSQLda Index Scan va Sequential Scan
PostgreSQL so‘rov bajarishda turli usullardan foydalanishi mumkin.
Masalan:
Index Scan — indeks orqali kerakli yozuvlarni topish.
Sequential Scan — jadval sahifalarini ketma-ket o‘qib, kerakli yozuvlarni tekshirish.
Agar so‘rov jadvaldagi kam sonli yozuvlarni qaytarsa, Index Scan foydali bo‘lishi mumkin.
Agar so‘rov juda ko‘p yozuvlarni qaytarsa, Sequential Scan samaraliroq bo‘lishi mumkin.
Ammo bu ham qat’iy qoida emas.
PostgreSQL query planner statistik ma'lumotlar va xarajatlar modeliga qarab qaror qabul qiladi.
Shuning uchun indeks mavjud bo‘lsa ham, PostgreSQL ayrim so‘rovlarda Sequential Scan tanlashi mumkin.
Bu har doim xato yoki optimallashtirilmagan so‘rov degani emas.
Linuxda sequential va random I/Oni tekshiramiz
Endi o‘rgangan tushunchalarimizni amaliy tajribalar yordamida ko‘ramiz.
Buning uchun Linux tizimida fio dasturidan foydalanamiz.
fio (Flexible I/O Tester) — disk I/O operatsiyalarini sinash va ularning tezligini o‘lchash uchun ishlatiladigan vosita.
U yordamida quyidagilarni o‘lchash mumkin:
- Sequential read.
- Random read.
- Sequential write.
- Random write.
- IOPS.
- Throughput.
- Latency.
- Queue depth ta'siri.
fio dasturini o‘rnatish
Ubuntu yoki Debian tizimida:
O‘rnatilganini tekshirish:
Docker yordamida ham test muhitini tayyorlash mumkin.
Konteyner ichida:
Docker va virtual mashina
Docker Desktop ishlatilganda konteyner virtual mashina orqali diskka murojaat qilishi mumkin.
Shu sababli benchmark natijalariga virtual disk, fayl tizimi va xost operatsion tizimining keshi ta'sir qilishi mumkin.
Tushunchalarni o‘rganish uchun Docker yetarli.
Lekin aniq disk tezligini baholash uchun testni bevosita Linux tizimida o‘tkazish ma'qul.
1. Disk turi va hajmini aniqlash
Avval kompyuterdagi disklarni ko‘ramiz.
Masalan:
Bu yerda:
NAME — qurilma nomi.
ROTA — disk aylanuvchi mexanik qurilma sifatida ko‘rsatilganmi yoki yo‘qmi.
SIZE — disk hajmi.
MODEL — disk modeli.
Odatda:
Ammo bu ko‘rsatkichning o‘zi diskning barcha texnik xususiyatlarini aniqlab bermaydi.
2. Benchmark uchun test fayl yaratish
O‘qish testlarini boshlashdan oldin mavjud ma'lumotga ega test fayl tayyorlaymiz.
Buning uchun fiodan foydalanamiz.
Quyidagi buyruq 1 GiB hajmdagi test fayl yaratadi.
fio --name=prepare \
--filename=fio_test.bin \
--size=1G \
--rw=write \
--bs=1M \
--direct=1 \
--ioengine=psync \
--end_fsync=1 \
--group_reporting
Bu buyruq test uchun fayl yaratadi va uning ichiga ma'lumot yozadi.
Keyingi tajribalarda aynan shu faylni o‘qiymiz.
Benchmark xavfsizligi
fio bilan test o‘tkazishda qurilma nomi va fayl manziliga alohida e'tibor bering.
Noto‘g‘ri sozlangan yozish testi mavjud ma'lumotlarni o‘chirib yuborishi mumkin.
Ushbu maqoladagi misollarda alohida fio_test.bin fayli ishlatiladi.
Testlarni production serverda yoki muhim ma'lumotlar saqlanadigan diskda o‘tkazish tavsiya qilinmaydi.
3. Ketma-ket o‘qish: 4 KB bloklar
Endi test faylni 4 KB bo‘laklarga ajratib, ketma-ket o‘qiymiz.
fio --name=seq \
--filename=fio_test.bin \
--size=1G \
--rw=read \
--bs=4k \
--direct=1 \
--ioengine=psync \
--runtime=20 \
--time_based \
--group_reporting
Buyruqdagi asosiy parametrlarni tushunamiz.
| Parametr | Vazifasi |
|---|---|
--name=seq |
Test nomi |
--filename |
O‘qiladigan fayl |
--size=1G |
Ishlatiladigan fayl sohasi |
--rw=read |
Ketma-ket o‘qish |
--bs=4k |
Har bir so‘rov 4 KB |
--direct=1 |
Direct I/O ishlatish |
--ioengine=psync |
Sinxron I/O mexanizmi |
--runtime=20 |
Test davomiyligi — 20 soniya |
--time_based |
Belgilangan vaqt davomida qayta ishlash |
--group_reporting |
Natijani umumlashtirish |
Bu yerda --direct=1 odatiy Linux page cache mexanizmini chetlab o‘tish uchun ishlatiladi.
Shu orqali natija disk I/O xususiyatlariga yaqinroq bo‘ladi.
Lekin qurilmaning ichki keshlari va boshqa optimallashtirishlari baribir ta'sir qilishi mumkin.
4. Tasodifiy o‘qish: 4 KB bloklar
Endi xuddi shu faylni tasodifiy manzillardan o‘qiymiz.
fio --name=rand \
--filename=fio_test.bin \
--size=1G \
--rw=randread \
--bs=4k \
--direct=1 \
--ioengine=psync \
--runtime=20 \
--time_based \
--group_reporting
Oldingi testdan asosiy farq:
o‘rniga:
ishlatilgan.
read — ketma-ket o‘qish.
randread — tasodifiy o‘qish.
Har ikkala testda blok hajmi bir xil:
Demak, I/O so‘rovlari hajmini o‘zgartirmasdan, murojaat qilish tartibining ta'sirini solishtiramiz.
5. Natijalarni qanday o‘qiymiz?
fio natijasida bir nechta ko‘rsatkich chiqadi.
Masalan:
Bu natija bir soniyada taxminan 120 ta o‘qish bajarilganini anglatadi.
Har bir o‘qish 4 KiB bo‘lgani uchun:
Boshqa natija:
Bu taxminan 15 000 IOPS va 58.6 MiB/s throughputni bildiradi.
fio natijasida latency ko‘rsatkichlari ham bo‘ladi.
Masalan:
Bu o‘qish operatsiyalarining o‘rtacha kechikishini bildiradi.
Testda faqat throughputga emas, latency va IOPSga ham qarash kerak.
HDD va SSD uchun taxminiy natijalar
| Test | HDD | NVMe SSD |
|---|---|---|
| Sequential 4 KB read | 100–200 MB/s | Qurilmaga qarab yuzlab MB/s yoki undan yuqori |
| Random 4 KB read, QD1 | 0.3–0.6 MB/s | 40–80 MB/s |
| Random read IOPS | 80–150 | 10 000–20 000 |
Bu natijalar umumiy tasavvur berish uchun keltirilgan.
Ayniqsa SSDning ketma-ket 4 KB o‘qishdagi tezligi qurilma va test mexanizmiga kuchli bog‘liq.
Shuning uchun o‘z kompyuteringizdagi natijalar jadvaldagidan farq qilishi mumkin.
6. Katta blok bilan ketma-ket o‘qish
Endi o‘qish blokini 4 KB dan 1 MB ga o‘zgartiramiz.
fio --name=seqbig \
--filename=fio_test.bin \
--size=1G \
--rw=read \
--bs=1M \
--direct=1 \
--ioengine=psync \
--runtime=20 \
--time_based \
--group_reporting
Bu testda:
ishlatiladi.
Ya'ni har bir o‘qish so‘rovi 1 MiB hajmdagi ma'lumotni oladi.
Katta so‘rovlar yordamida tizim chaqiriqlari sonini kamaytirish va diskning ketma-ket uzatish imkoniyatlaridan samaraliroq foydalanish mumkin.
Ko‘p hollarda throughput avvalgi 4 KB testga qaraganda yuqori bo‘lishi mumkin.
Ammo maksimal natija diskning o‘zi, I/O mexanizmi va tizim yuklamasiga bog‘liq.
7. SSDda parallel tasodifiy o‘qish
Endi SSDning ichki parallelligidan foydalanishni sinab ko‘ramiz.
Buning uchun 32 ta I/O so‘rovini bir vaqtda bajarishga harakat qilamiz.
fio --name=randqd32 \
--filename=fio_test.bin \
--size=1G \
--rw=randread \
--bs=4k \
--direct=1 \
--ioengine=libaio \
--iodepth=32 \
--runtime=20 \
--time_based \
--group_reporting
Bu yerda ikkita muhim parametr mavjud.
Linux asinxron I/O mexanizmidan foydalanadi.
Bir vaqtda 32 tagacha I/O so‘rovi bajarilish jarayonida bo‘lishi mumkinligini bildiradi.
Agar SSD bunday parallellikdan foydalanishga mos bo‘lsa, IOPS sezilarli oshishi mumkin.
HDD diskda ham so‘rovlarni navbatlash va qayta tartiblash ayrim foyda berishi mumkin.
Lekin mexanik harakatlar saqlanib qolgani uchun SSDdagidek katta parallellik imkoniyati mavjud emas.
8. Queue depth natijasini tekshirish
fio natijasida I/O navbati haqidagi ma'lumotlar ham chiqishi mumkin.
Masalan:
Bu jadval test davomida I/O so‘rovlari qanday navbat chuqurliklarida bajarilganini ko‘rsatadi.
--iodepth=32 berilgan bo‘lsa ham, amalda queue depth doimo 32 bo‘lib turishi shart emas.
Shuning uchun natijani tahlil qilganda haqiqiy bajarilgan I/O chuqurligini ham tekshirish kerak.
9. Linux readahead sozlamasini ko‘rish
Linux disk qurilmalari uchun readahead sozlamalariga ega.
Masalan:
Natija:
Bu 128 KB readahead qiymatini bildirishi mumkin.
Yana bir usul:
Masalan:
blockdev --getra natijasi 512 baytlik birliklarda ifodalanadi.
Shuning uchun:
Demak, ikkala natija bir xil qiymatni bildiradi.
Readaheadni o‘zgartirish
Readahead qiymatini o‘zgartirish tizimning o‘qish xatti-harakatiga ta'sir qilishi mumkin.
Katta qiymat har doim yaxshiroq degani emas.
Ketma-ket o‘qishda foyda beradigan sozlama tasodifiy o‘qishlarda ortiqcha I/Oga sabab bo‘lishi mumkin.
Shu sababli sozlamani o‘zgartirishdan oldin ish yukini o‘lchash kerak.
Python yordamida sequential va random readni solishtirish
Endi oddiy Python dasturi orqali ham tajriba o‘tkazamiz.
Bizda 1 GiB hajmdagi test fayl mavjud deb hisoblaymiz.
Ikkita vazifani bajarib ko‘ramiz:
- Butun faylni ketma-ket o‘qish.
- Faylning 1000 ta tasodifiy joyidan 4 KB ma'lumot o‘qish.
Python dasturi
import os
import random
import time
PATH = "fio_test.bin"
BLOCK = 4096
size = os.path.getsize(PATH)
blocks = size // BLOCK
def sequential():
with open(PATH, "rb", buffering=0) as f:
while f.read(1024 * 1024):
pass
def random_reads(n):
with open(PATH, "rb", buffering=0) as f:
for _ in range(n):
block_number = random.randrange(blocks)
offset = block_number * BLOCK
f.seek(offset)
f.read(BLOCK)
start = time.perf_counter()
sequential()
elapsed = time.perf_counter() - start
print(f"Ketma-ket o‘qish: {elapsed:.2f} s")
start = time.perf_counter()
random_reads(1000)
elapsed = time.perf_counter() - start
print(f"Tasodifiy o‘qish: {elapsed:.2f} s")
Dastur qanday ishlaydi?
Avval fayl hajmini aniqlaymiz.
Keyin fayl nechta 4 KB blokdan iboratligini hisoblaymiz.
sequential() funksiyasi faylni 1 MiB bo‘laklar bilan boshidan oxirigacha o‘qiydi.
random_reads() funksiyasi esa tasodifiy blok raqamini tanlaydi.
Keyin shu blokning fayldagi manzilini hisoblaydi.
seek() yordamida kerakli joyga o‘tadi.
Va 4096 bayt ma'lumot o‘qiydi.
Tajribadagi muhim cheklov
Yuqoridagi Python dasturida:
ishlatilgan.
Bu Pythonning odatiy foydalanuvchi darajasidagi buferlash mexanizmini o‘chiradi.
Ammo Linux page cache bundan avtomatik ravishda o‘chmaydi.
Demak, ushbu kod O_DIRECT ishlatmaydi.
Agar faylning bir qismi oldindan page cache ichida bo‘lsa, natijaga RAM keshi ta'sir qilishi mumkin.
Shuning uchun aniq disk benchmarki uchun fiodan foydalanish ma'qul.
Page cache ta'sirini kamaytirish
Agar test muhitida page cacheni tozalamoqchi bo‘lsangiz, quyidagi buyruqlar ishlatilishi mumkin:
Lekin bu buyruqlar butun tizim keshiga ta'sir qiladi.
Shu sababli ularni production serverda ishlatmaslik kerak.
Har bir test oldidan bir xil sharoitni tayyorlash muhim.
Aks holda birinchi test diskdan ma'lumot o‘qishi, ikkinchisi esa oldindan keshga tushgan ma'lumotlardan foydalanishi mumkin.
Nega tasodifiy o‘qish sekinroq bo‘lishi mumkin?
Faraz qiling, 1 GiB faylni ketma-ket o‘qish bir necha soniya davom etadi.
Lekin HDD diskda 1000 ta tasodifiy 4 KB blokni o‘qish bundan ham ko‘proq vaqt olishi mumkin.
Bu yerda tasodifiy o‘qilgan ma'lumot hajmi:
Demak, dastur atigi 4 MB atrofida ma'lumot o‘qidi.
Ketma-ket testda esa 1 GiB ma'lumot o‘qilgan.
Shunga qaramay, HDDda ko‘plab tasodifiy murojaatlar sababli kichik hajmdagi o‘qish ko‘proq vaqt olishi mumkin.
Bu sequential va random I/O o‘rtasidagi farqni yaxshi ko‘rsatadi.
Qaysi holatda qaysi usuldan foydalanish kerak?
Hamma vazifada sequential I/O ishlatish shart emas.
Ayrim vaziyatlarda tasodifiy o‘qish ancha samarali.
Masalan, katta ma'lumotlar bazasidan bitta yozuvni topish uchun butun jadvalni o‘qish maqsadga muvofiq bo‘lmasligi mumkin.
Shu sababli I/O usulini tanlash vazifaga bog‘liq.
| Vaziyat | Odatda samarali yondashuv | Sabab |
|---|---|---|
| Katta fayldan kam sonli yozuv kerak | Indeks orqali kerakli joyga murojaat qilish | Butun faylni o‘qish shart emas |
| Katta fayldagi ko‘p yozuv kerak | Ketma-ket o‘qish | Ko‘plab tasodifiy murojaatlar kamayadi |
| SSDda ko‘p mustaqil o‘qish kerak | Parallel I/O | SSD ichki parallelligidan foydalaniladi |
| HDDda turli bloklarni o‘qish kerak | Manzil bo‘yicha tartiblash | Seek xarajatlarini kamaytirishi mumkin |
| Ko‘p mayda yozishlar | Buferlash yoki append-only log | Yozishlarni samaraliroq birlashtirish mumkin |
| Ma'lumot vaqt bo‘yicha o‘qiladi | Ma'lumotni vaqt tartibida joylashtirish | Data locality yaxshilanadi |
Bu jadval umumiy tavsiyalarni ko‘rsatadi.
Aniq tanlovni qilishdan oldin tizimning ish yukini o‘lchash kerak.
Nima uchun hamma tizim append-only ishlamaydi?
Append-only yondashuvi yozishni tezlashtirishi mumkin.
Lekin har bir yangi o‘zgarish alohida yozilsa, eski ma'lumotlar ham saqlanib qoladi.
Natijada:
- Saqlanayotgan ma'lumot hajmi oshishi mumkin.
- O‘qish uchun qo‘shimcha indekslar kerak bo‘ladi.
- Eski yozuvlarni tozalash talab qilinadi.
- Compaction yoki garbage collection ishlari paydo bo‘ladi.
Shuning uchun ko‘plab tizimlar yozish tezligi, o‘qish tezligi, disk hajmi va ishonchlilik o‘rtasida muvozanat saqlashga harakat qiladi.
Eng ko‘p uchraydigan noto‘g‘ri tushunchalar
1. SSDda sequential va random I/O o‘rtasida farq yo‘q
Bu noto‘g‘ri.
SSDda HDDdagi kabi mexanik seek mavjud emas.
Ammo kichik so‘rovlarni qayta ishlash xarajati, NAND kanallarining parallelligi, queue depth va ichki boshqaruv mexanizmlari sababli farq saqlanadi.
Ayniqsa QD1 holatida kichik tasodifiy o‘qishlar maksimal ketma-ket throughputdan ancha past natija berishi mumkin.
2. SSD 7000 MB/s bo‘lsa, har qanday dastur shu tezlikda ishlaydi
Bu ham noto‘g‘ri.
7000 MB/s odatda katta ketma-ket I/O so‘rovlarida o‘lchanadi.
Dastur kichik tasodifiy bloklarni bittalab o‘qisa, uning throughputi ancha past bo‘lishi mumkin.
3. --direct=1 bilan barcha keshlar o‘chadi
Bunday emas.
--direct=1 odatiy Linux buffered I/O va page cache yo‘lini chetlab o‘tishga xizmat qiladi.
Ammo SSD yoki HDD ichki keshlari mavjud bo‘lishi mumkin.
Shuning uchun --direct=1 ishlatilgani barcha keshlarning ta'siri yo‘q degani emas.
4. Indeks mavjud bo‘lsa, qidiruv doimo tezroq bo‘ladi
Bu ham noto‘g‘ri.
Indeks kam sonli yozuvlarni topishda samarali bo‘lishi mumkin.
Ammo juda ko‘p yozuv kerak bo‘lsa, indeks orqali ko‘plab alohida sahifalarga murojaat qilish Sequential Scandan qimmatroq bo‘lishi mumkin.
5. Faylni ketma-ket o‘qisam, disk ham albatta ketma-ket o‘qiydi
Har doim emas.
Fayl fragmentlangan bo‘lishi mumkin.
Bundan tashqari, SSD ichidagi fizik manzillar mantiqiy blok manzillaridan farq qiladi.
Demak, dasturdagi o‘qish tartibi bilan qurilmaning haqiqiy ichki ishlashi bir xil bo‘lishi shart emas.
6. Queue depthni oshirsam, disk doimo tezlashadi
Queue depthni oshirish SSDning parallelligidan foydalanishga yordam berishi mumkin.
Lekin ma'lum chegaradan keyin qo‘shimcha so‘rovlar qurilmani ortiqcha band qiladi.
Natijada IOPS deyarli oshmasligi, latency esa ko‘payishi mumkin.
Shuning uchun optimal queue depthni benchmark orqali aniqlash kerak.
Ish suhbatlari uchun savollar
Quyidagi savollar Linux, backend, database engineering va system design suhbatlarida foydali bo‘lishi mumkin.
1. Latency, IOPS va throughput o‘rtasidagi farq nima?
2. Nima uchun HDD diskda tasodifiy o‘qish ketma-ket o‘qishdan yuzlab baravar past throughput berishi mumkin?
3. SSDda mexanik seek bo‘lmasa ham, sequential va random I/O tezligi nima uchun farq qiladi?
4. Queue depth nima va u SSD IOPS ko‘rsatkichiga qanday ta'sir qiladi?
5. Append-only log nima uchun yozish tezligini oshirishi mumkin?
6. Append-only yondashuvining kamchiliklari nimalardan iborat?
7. Readahead qanday ishlaydi va nima uchun tasodifiy o‘qishda kamroq foyda beradi?
8. Nega indeks mavjud bo‘lsa ham, PostgreSQL ba'zan Sequential Scan tanlaydi?
Mustaqil tekshiruv savollari
1. HDD IOPS hisoblash
7200 RPM HDD diskning o‘rtacha seek vaqti 9 ms.
Aylanish kutish vaqti ham mavjudligini hisobga oling.
Quyidagilarni aniqlang:
- Bitta tasodifiy o‘qishning taxminiy umumiy vaqti.
- Bir soniyada nechta o‘qish bajarilishi mumkinligi.
- Har bir so‘rov 4 KB bo‘lsa, taxminiy throughput.
2. Log faylni o‘qish
Dastur 1 GiB hajmdagi log fayldan oxirgi bir soat ichidagi yozuvlarni topishi kerak.
Log yozuvlari vaqt bo‘yicha ketma-ket qo‘shilgan.
Bunday vaziyatda qaysi usul samaraliroq bo‘lishi mumkin?
Nima uchun?
3. SSD va IOPS
Dastur SSD diskdan tasodifiy 4 KB bloklarni bittalab o‘qimoqda.
Uning throughputi 60 MB/s.
Ammo ishlab chiqaruvchi SSD uchun 1 000 000 IOPS ko‘rsatgan.
Nima uchun bu raqamlar orasida katta farq bor?
Dastur ishlashini qanday optimallashtirgan bo‘lardingiz?
4. WAL va append-only log
Ko‘plab ma'lumot saqlash tizimlari o‘zgarishlarni avval alohida jurnalga yozadi.
Asosiy ma'lumotlar esa keyinroq yangilanadi.
Bu yondashuvning qanday afzalliklari bor?
Sequential I/O va Random I/O tushunchalari bilan bog‘lab tushuntiring.
Xulosa
Ushbu maqolada diskdan ma'lumotlarni qanday tartibda o‘qish va yozish uning tezligiga qanday ta'sir qilishini o‘rgandik.
Eng muhim xulosalarni eslab olamiz.
Birinchidan, sequential va random I/O bir xil miqdordagi ma'lumot bilan ishlasa ham, ularning tezligi farq qilishi mumkin.
Sequential I/O ketma-ket manzillarga murojaat qiladi.
Random I/O esa turli manzillarga murojaat qiladi.
Ikkinchidan, HDD disklarida bu farq ayniqsa katta.
Sababi tasodifiy murojaatlarda o‘qish kallagi harakatlanishi va kerakli sektor kelishini kutishi kerak.
Bu qo‘shimcha vaqt tasodifiy I/O tezligini sezilarli pasaytiradi.
Uchinchidan, SSD disklarida mexanik harakat mavjud emas.
Lekin so‘rovlarni qayta ishlash xarajati, NAND kanallari va ichki parallellik sababli sequential va random I/O o‘rtasidagi farq saqlanadi.
To‘rtinchidan, SSD uchun queue depth muhim.
Bir vaqtning o‘zida ko‘proq mustaqil I/O so‘rovlarini yuborish uning ichki parallelligidan foydalanishga yordam beradi.
Ammo juda katta queue depth latency oshishiga olib kelishi mumkin.
Beshinchidan, Linux operatsion tizimi readahead va I/O so‘rovlarini birlashtirish kabi mexanizmlar bilan ketma-ket o‘qishni tezlashtiradi.
Oltinchidan, disk tezligini baholashda latency, IOPS va throughputni birgalikda hisobga olish kerak.
Bitta ko‘rsatkichning o‘zi diskning barcha ish yuklaridagi tezligini ifodalamaydi.
Yettinchidan, ma'lumotlarni saqlash tizimlarida append-only log, indeks, compaction va data locality kabi mexanizmlar I/O samaradorligini oshirishga xizmat qiladi.
Sakkizinchidan, kerakli yozuvlar kam bo‘lsa, indeks orqali ularni alohida olish foydali bo‘lishi mumkin.
Kerakli yozuvlar juda ko‘p bo‘lsa, ma'lumotlarni ketma-ket o‘qish samaraliroq bo‘lishi mumkin.
Dasturchi sifatida ushbu bilimlar yordamida fayllarni qanday o‘qish va yozishni to‘g‘ri tanlash, ortiqcha I/O operatsiyalarini kamaytirish va dastur ishlashidagi sekinlik sabablarini aniqlash mumkin.
Ayniqsa PostgreSQL, Kafka, RocksDB, Linux va boshqa ma'lumot saqlash tizimlari bilan ishlaganda sequential va random I/O o‘rtasidagi farqni tushunish muhim.
Keyingi mavzu
Page va Buffer Pool: ma'lumotlar bazalari diskka murojaatlarni qanday kamaytiradi?
Keyingi maqolada ma'lumotlar bazalari sahifalardan qanday foydalanishini, buffer pool nima ekanini va diskdagi ma'lumotlar operativ xotirada qanday boshqarilishini o‘rganamiz.
Shuningdek, PostgreSQL shared_buffers, Linux page cache va database page o‘rtasidagi bog‘liqlikni amaliy misollar yordamida ko‘rib chiqamiz.