Processor architecture
- Sep 2022
-
-
-
Green500
The Green500 is a biannual ranking of supercomputers, from the TOP500 list of supercomputers, in terms of energy efficiency.
https://en.wikipedia.org/wiki/Green500 https://www.top500.org/lists/green500/list/2022/06/
-
Top500
file:///C:/Users/ngduc/Downloads/Hardware-Oriented_Krylov_Methods_for_High-Performa.pdf
Until the early 2000s, the increase of performance was due to an increase of the frequency of the processors. Since then, the frequency stagnates at approximately 2 GHz. Due to the higher power consumption and heat production at higher frequencies, it is not efficient to increase the frequency further. Hence, an increase of performance is only possible by an increase of parallelism
-
Build LinPack supercomputers not suited to run real scientificapplications
https://www.osti.gov/servlets/purl/1505370
The popular Linpack benchmark, which solves a dense set of linear equations, can be implemented quite efficiently on modern supercomputers — 80% to 90% of peak floating-point performance is often observed. Unfortunately Linpack is a poor predictor of performance on modern applications, which in most cases use more effective solution algorithms with different character
-
A bit of history. . .
https://www.math-cs.gordon.edu/courses/cps343/presentations/History_and_Overview_of_HPC.pdf
-
100 PFlops/s
100 PFlops/s = 100 peta flops/s = 100 * 10^15 flops/s
-
Flops/s
floating point operations per second
-
- Apr 2022
-
Local file Local file
-
Théorème de CAP
3 thuộc tính cơ bản trong hệ thống phân tán: * Consistency (Tính nhất quán): Tất cả các nút trong hệ thống xem cùng một dữ liệu cùng một lúc
- Availabilité (Tính khả dụng): Nếu một nút bị lỗi các nút khác vẫn có thể truy cập dữ liệu. Cách quản lý nhân rộng: Ít nhất phải phải có 3 bản sao: 2 bản sao trên cùng một data center và 1 trên một data center khác
- Partition tolérance (Dung sai phân vùng): Khả năng chống phân vùng. Hệ thống, ngay cả khi được phân vùng, phải đáp ứng bất kỳ yêu cầu nào (mỗi mạng con phải có thể hoạt động độc lập)
-
Limites dans le contexte distribué
Sự giới hạn trong việc phân tán: * Khó phân tán khi mà toàn bộ dữ liệu phải được lưu trên một server, và dữ liệu có rất nhiều liên kết * Nếu có vấn đề về mạng hoặc dịch vụ thì không có gì để xác thực. Bế tắc [deadlock]: các quá trình đồng thời đang đợi nhau hoặc một quá trình đang đợi chính nó các quá trình bị mắc kẹt ở trạng thái này. *
-
Transaction ACID
-
Transaction: là một tập hợp các hoạt động đọc/ghi xuống database hoặc là chúng đều thực thi thành công hết hoặc không có hoạt động nào được thực thi xuống database.
-
Atomicity: Mọi thay đổi về mặt dữ liệu phải được thục hiện trọn vẹn khi transaction thực hiện thành công hoặc không có bất kì sự thay đổi nào về mặt dữ liệu nếu có xẩy ra sự cố.
-
Consistency: Sau khi một transaction kết thúc thì tất cả dữ liệu phải được nhất quán dù thành công hay thất bại.
-
Isolation: Các transaction khi đông thời thực thi trên hệ thống thì không có bất kì ảnh hưởng gì tời nhau.
-
Durability: Sau khi một transaction thành công thì tác dụng mà nó tạo ra phải bền vững trong cơ sở dữ liệu cho dù hệ thống có xẩy ra lỗi.
Xem thêm vd
-
-
Rappels sur les systèmes relationnels
Database quan hệ: * Dựa trên cơ sở toán học * Sự trừu tượng ở cấp độ vật lý * Dữ liệu được lưu theo cấu trúc bảng và các ràng buộc * Database được lưu trong tệp, cấu trúc trên mô hình quan hệ và không cần thiết có khả năng scale * Tối ưu hóa khi thực thi với hệ thống quan hệ
Ngôn ngữ dùng để truy vấn là SQL
Có thể tối ưu hóa truy vấn
Có thể index dữ liệu
Cho phép nhiều người dùng nhờ có quản lý đồng thời
-
Data Centers
Dư liệu được phân tán trên nhiều server
Sử dụng mạng LAN với 3 cấp độ giao tiếp * Các server được nhóm lại trên rack với kết nối mạng giữa các server nhanh khoảng 1gb/s * Một data center bao gồm một lượng lớn rack được kết nối với nhau bởi switch với tốc độ mạng là 100mb/s * Giữa các data center kết nối mạng tốc độ 2;3mb/s
Các server giao tiếp với nhau bằng cách gửi tin nhắn qua lại chứ không chia sẻ ổ cứng hay tài nguyên xử lý dữ liệu. Đây là kiến trúc không chia sẻ gì
-
Systèmes distribués
Hệ thống phân tán là một phần mềm cho phép điều khiển nhiều máy tinh. Sự phối hợp này được thực hiện bằng cách gửi tin nhắn qua một mạng mà các máy tính này kết nối tới
Việc quản lý data phân tán cho phép: * Truy cập hiệu quả tới lượng data lớn * Đảm bảo truy cập tới data ngay cả trong trường hớp server không có sẵn bằng cách sử dụng data center
-
Systèmes NoSQL (Not Only SQL)
NoSQL không thể thay thế database quan hệ nhưng hoàn thiện nó * Lưu được lượng lớn dữ liệu * Thời gian phản hồi nhanh * Tính nhất quán thấp
Cho phép scale vì nó có thể phân tán
Quản lý những đối tượng phức tạp và không nhất quán vì nó không có schema
-
Besoin de « scalabilité » (passage à l’échelle)
Khả năng mở rộng:
-
Khả năng của một sản phẩm để thích ứng với sự thay đổi quy mô
-
Scale theo chiều dọc: Tăng sức mạnh của server
-
Scale theo chiều ngang: Tăng số lượng server
-
-
Les volumes à gérer impliquent
Vấn đề là:
-
Lượng data lớn, data thì đa dạng và phức tạp
-
Data đến từ nhiều nguồn khác nhau
-
Data không thể được lưu trữ trên một server mà phải phân tán ở nhiều server
-
Tương tự việc xử lý data cũng phân tán (map-reduce)
-
-
Contexte
Big data là gì
-
Transactions distribuées
transations phân tán
-
Reprise après panne
Phục hồi sau lỗi
-
Gestion des pannes
Quản lý lỗi
-
Traitement distribué
xử lý phân phối
-
Réplication des données
Sao chép dữ liệu
-
Hachage cohérent
Hash nhất quán
-
Partitionnement par hachage
phân vùng theo hash
-
Partitionnement intervalle
Phân vùng theo khoảng
-
Avec imbrication
With nesting
-
Modèle Clé-Valeur
Mô hình keys - value
-
II. Fondements des systèmes NoSQL
10 trang
-
Principaux modèles de bases de données NoSQL
6 trang
-
Contexte et généralités
5 trang
-
Caractéristiques des SGBD NoSQL
Đặc tính của database NoSQL
-
Pourquoi les SGBD de relationnels ne répondent pas aux nouveaux besoins degestion de données ?
Giải thích rõ hơn phần 3.consequences tại sao Db truyền thống ko đáp ứng được nhu cầu
-
Nouvelles approches de stockage des données et de gestion des données
Giải quyết vấn đề của bigdata với một phương pháp lưu trữ mới
-
Conséquences
Bigdata ảnh hưởng thế nào tới các db truyền thống
-
-
Local file Local file
-
Métrique choisie pour la sélection de modèle et l’évaluation de sa performance
Root mean square error (RMSE)
-
Type de problème à résoudre (classification ? régression ? clustering ?)
Regression
-
-
Local file Local file
-
Réseau
gg compute engine network: https://cloud.google.com/vpc/docs/vpc
pricing: https://cloud.google.com/vpc/network-pricing#vpc-pricing
-
Visibilité
- Giải pháp này chiếm vị trí nào trên thị trường?
- Nó có được áp dụng rộng rãi không?
- Bởi ai ?
-
Domaine d’application
- Giải pháp đã nghiên cứu phù hợp với những loại nhiệm vụ nào?
- Nó có dành riêng cho quản lý cơ sở dữ liệu không?
- Đang triển khai?
Ngoài hiện các bảng ra cần có một vài câu ngắn gọn ?
-
libloud
libcloud
-
libloud
libcloud
-
API/Accès
Giải pháp đã nghiên cứu có cung cấp một API để truy cập các dịch vụ mà nó cung cấp không?
Kết nối với giao diện này được thực hiện như thế nào?
Nó có sẵn trên tất cả các loại phương tiện không?
-
Gestion de la virtualisation
Các nguồn lực được kiểm soát sẵn có như thế nào?
Họ dựa trên công nghệ ảo hóa nào?
Người dùng có phải tham gia không?
-
Authentification
- Xác thực dịch vụ được xử lý như thế nào? - A
- Người dùng có thông tin đăng nhập vĩnh viễn không? - B
- Nó có mã thông báo truy cập tạm thời có thể tái tạo không? - C
-
Type d’installation
Làm thế nào để cài đặt, triển khai và vận hành giải pháp? Có nên cài đặt nó cục bộ không? Có giao diện truy cập từ xa không?
-
Type d’installation
Cách cài đặt, cách triển khai ?
-
Disques et images
Cách tính tiền dựa trên dung lượng ổ cứng
-
Instance Compute
Là một máy ảo host trên gg cloud Tính tiền theo thời gian bật, tiền ở mỗi region có mức giá khác nhau
-
I. Business Model
Trả lời cho câu hỏi Thanh toán cho các dịch vụ được thực hiện như thế nào? -> Dùng bao nhiêu trả tiền bấy nhiêu
Gồm các phần: * Instance Compute * Disque et images * Réseau * GPU
-
Introduction
Intro: * GG compute engine là Iaas * Cho phép người dùng cài đặt db, máy ảo, ... * Compute engine là để tạo máy ảo
-
Infrastructure en tant que Service.
infrastructure as a service
-
-
developers.facebook.com developers.facebook.com
-
Subscribes to Referral events
User biết tới sani từ đâu
-
Subscribes to Message Echo events
Khi Sani gửi tin nhắn cho user
-
Subscribes to Message Received events
Khi user gửi tin nhắn cho Sani
-
-
www.francaisauthentique.com www.francaisauthentique.com
-
on fait en sorte d’avoir fini vendredi, voire jeudi
we make sure to finish on Friday, or even Thursday
-
des chemins boueux
những con đường lầy lội
-
- Mar 2022
-
www.patreon.com www.patreon.com
-
tire au sort
bốc thăm
-
se sont mises à utiliser
commencer à utiliser
-
un traîneau
một chiếc xe trượt tuyết
-
des rennes.
tuần lộc
-
les esclaves
nô lệ
-
le solstice d’hiver
ngày đông chí
-
païens
người ngoại đạo
-
je reçois des amis ce soir
I'm having friends over tonight
-
-
www.patreon.com www.patreon.com
-
surnom
nickname
-
désigne
means
-
sommet
đỉnh núi
-
députés
đại biểu
-
l’hymne nationale
quốc ca
-
le drapeau français
french flag
-
l’Assemblée
quốc hội
-
Sénat
thượng viện
-
la monarchie
chế độ quân chủ
-
-
www.patreon.com www.patreon.com
-
constamment
liên tục
-
le président gracie les condamnés.
tổng thống ân xá cho những người bị kết án.
-
déception
disappointment
-
-
www.patreon.com www.patreon.com
-
de bon matin
early in the morning
-
un déserteur c’est un soldat qui déserte la guerre
một người đào ngũ là một người lính đào ngũ trong chiến tranh
-