Cloud Computing

[kitte83]

Dạo này em thấy thuật ngữ này có vẻ khá hot, tụi MS với Yahoo tới khoa em giới thiệu, quảng bá về các sản phẩm nghiên cứu của bọn nó về cái này suốt. Không biết mọi người đã nghe đến cái này nhiều chưa. Post tạm một bài lên đây để anh em trao đổi, hy vọng mọi người quan tâm.

1. Cloud computing là gì?
Bài viết giới thiệu về cloud computing trên wikipedia. Nguyên nhân cho sự ra đời của CC là:

- Mỗi doanh nghiệp làm business bao giờ cũng cần xây dựng một hệ thống thông tin cho riêng mình, thông thường bao gồm các hệ thống: web pages, payroll, email managment, customer relation managment,... Để thiết kế và duy trì hệ thống này, các doanh nghiệp phải chi ra một số tiền không nhỏ, nhất là tiền lương trả cho DBAs. Với các doanh nghiệp nhỏ thì số tiền này là một gánh nặng không nhỏ. Vì thế cách tiếp cận khác là thay vì tự xây dựng một hệ thống như thế cho riêng mình thì hãy đi thuê của thằng khác.

- Khi mà internet bandwidth không còn là vấn đề nữa thì các ông lớn như MS, IBM, Google, Yahoo,... ngửi thấy mối hàng béo bở này liền bắt tay xây dựng một hệ thống có thể cung cấp cho khách hàng tất cả các loại dịch vụ trên thông qua các web services.

2. Problems
Khi xây dựng một thống centralized để phục vụ cho hệ thống trên thì dễ thấy các vấn đề nổi bật sẽ suất hiện là:
- Cần phải lưu trữ một khối lượng dữ liệu khổng lồ.
- Cần phải có một hệ thống tính toán đủ mạnh để có thể xử lý thousand of applications at the same time over a very huge amount of data.

3. Solutions
Cloud computing ra đời để giải quyết 2 vấn đề này:

- Dữ liệu được lưu trữ ở các Data Center khổng lồ. Mỗi một công ty lớn như MS, Google có hàng chục data center như vậy nằm rải rác khắp nước Mỹ và các nơi trên thế giới. Vấn đề chính cho các data center này chủ yếu là công suất tiêu thụ và sự tản nhiệt. Vì thế gần đây các data centers thường được xây dựng ở gần các con sống lớn (như dọc sống Colorado). Em còn nghe đồn Yahoo sắp xây một cái data center ở Alaska .

- Còn vấn đề về computing power thì có 2 giải pháp: 1 là mua các supercomputer từ Gray, Sun, Teradata,.. và 2 là dùng hệ thống tính toán song song với các comodity hardware. Tất nhiên cách thứ 2 là cách rẻ tiền nên được ưa chuộng hơn. Tuy nhiên, cách này yêu cầu có một cách phân chia công việc, scheduling và failure management một cách hợp lý. Có rất nhiều mô hình tính toán song song được phát triển, nhưng gần đây mô hình MapReduce của Google thu hút được nhiều sự chú ý về tính đơn giản và hiệu quả. Hadoop là một sản phẩm open source của Yahoo lấy ý tưởng từ cái MapReduce này. Hiện tại MapReduce và Hadoop đang là những keyword khá hot.

- Ngoài ra thì để quản lý hệ thống cơ sở dữ liệu khổng lồ này cần có cách lưu trữ, truy nhập hiệu quả mà các DBMS thông thường không đáp ứng được. MS đang chuẩn bị cho ra đời một hệ thống như thế gọi là CloudDB.

Theo cái xu hướng này thì có vẻ như trong tương lai nghề DBA sẽ tuyệt chủng nhỉ?

[d_ht_john]

Cái này có nằm trong xu hướng Software as a Service không nhỉ? Now is DB as a Service ?
Bọn nó nói về cái gì trong nghiên cứu hả Khải? Bác nào thế ?

[kitte83]

Nguyên văn bởi d_ht_john

Cái này có nằm trong xu hướng Software as a Service không nhỉ? Now is DB as a Service ?
Bọn nó nói về cái gì trong nghiên cứu hả Khải? Bác nào thế ?

DB là một phần (nhưng là phần quan trọng nhất) trong cái xu hướng này. Em nghĩ là nếu các nghiên cứu này của bọn nó thành công thì có thể làm thay đổi thị trường khá nhiều.

Lần trước là bọn MS Research đến trường em give talk về cái cloud DB, còn mấy hôm trước là bác Raghu (giáo sư cũ trường em, mới qua Yahoo! research làm chief scientist gì đó) quay lại nói chuyện về các nghiên cứu bác ấy đang làm ở Yahoo, trong đó có cloud computing và Hadoop.

Tụi Amazon cũng đang đầu tư cho cái cloud computing này, không biết anh Long có nhiều thông tin về cái này không.

Không biết những sự thay đổi này có ảnh hưởng gì nhiều đến VN không nhỉ.

[vuong3292]

Nguyên văn bởi kitte83

Không biết những sự thay đổi này có ảnh hưởng gì nhiều đến VN không nhỉ.

Cách đây ít lâu tớ nghe nói ở Việt Nam có CMC đang có dự án làm datacenter ở Hà Nội, còn một hội khác là Vinadata gì đó ở miền nam.

Nếu hạ tầng có rồi, mà hệ thống thì lại mã mở thì chắc cơ hội thực hiện là rõ ràng rồi nhỉ.

[seeker]

Nguyên văn bởi kitte83

DB là một phần (nhưng là phần quan trọng nhất) trong cái xu hướng này. Em nghĩ là nếu các nghiên cứu này của bọn nó thành công thì có thể làm thay đổi thị trường khá nhiều.

DB là cơ sở để xây dựng hệ thống. Cái Cloud computing này có tiềm năng thương mại hóa lớn (Benefiting from Cloud Computing Technology Trends) nên các ông lớn nhảy vào nhiều. Nhưng các kết quả nghiên cứu được công bố rất hạn chế.

Nghe đâu Việt Nam định xây dựng chính phủ điện tử dựa trên nền tảng Grid Computing. Grid computing được phát triển gần 20 năm, có cả các sản phẩm open source lẫn commercial.

[kitte83]

Nguyên văn bởi seeker

DB là cơ sở để xây dựng hệ thống. Cái Cloud computing này có tiềm năng thương mại hóa lớn (Benefiting from Cloud Computing Technology Trends) nên các ông lớn nhảy vào nhiều. Nhưng các kết quả nghiên cứu được công bố rất hạn chế.

Thực ra cái cụm từ Cloud Computing là cụm từ mang tính thương mại. Nó giống như hình ảnh một đám mây mà người ta có thể plug các dịch vụ vào đó. Hiển nhiên là tiềm năng thương mại của nó rất lớn vì các services nó cung cấp đều rất "dễ bán". Cloud computing cũng sẽ là một phần của Web 2.0. Các nghiên cứu hiện tại đều chưa hoàn thiện hoặc do đặc thù của một số công ty (như Google rất hiếm khi cho ra publications) nên chưa có nhiều publications về nó. Chủ yếu là họ give talk ở các trường ĐH hoặc cộng đồng làm research.

Nghe đâu Việt Nam định xây dựng chính phủ điện tử dựa trên nền tảng Grid Computing. Grid computing được phát triển gần 20 năm, có cả các sản phẩm open source lẫn commercial.

Không biết những dự án như thế này thì có thể hoàn thành được không nhỉ :D, hay lại kiểu vốn rơi rụng dần như cái 122 hồi trước. Nhìn bọn Mỹ nó quán lý tất cả thông tin của từng công dân một qua hệ thống cơ sở dữ liệu mà thèm. Ví dụ như chú nào vi phạm luật giao thông, chú cảnh sát chỉ việc nhìn bằng rồi truy nhập về CSDL trung tâm là có tất cả các dữ liệu cần thiết, có chạy đằng trời cũng chả thoát, lỗi nặng thì bằng tự động bị trừ điểm, hết điểm thì mất bằng hoặc phải vào trường học luật. Chả phải hì hụi chạy đi rút chìa khóa xe rồi đục lỗ bằng này nọ như mấy chú công an nhà mình.

[seeker]

Nguyên văn bởi kitte83

Không biết những dự án như thế này thì có thể hoàn thành được không nhỉ :D, hay lại kiểu vốn rơi rụng dần như cái 122 hồi trước. Nhìn bọn Mỹ nó quán lý tất cả thông tin của từng công dân một qua hệ thống cơ sở dữ liệu mà thèm. Ví dụ như chú nào vi phạm luật giao thông, chú cảnh sát chỉ việc nhìn bằng rồi truy nhập về CSDL trung tâm là có tất cả các dữ liệu cần thiết, có chạy đằng trời cũng chả thoát, lỗi nặng thì bằng tự động bị trừ điểm, hết điểm thì mất bằng hoặc phải vào trường học luật. Chả phải hì hụi chạy đi rút chìa khóa xe rồi đục lỗ bằng này nọ như mấy chú công an nhà mình.

Nói gì đến Mỹ, đến cả mấy nước châu Á mình còn chạy dài. Những cái infrastructure quan trọng thì không quan tâm. Toàn chạy theo phần ngọn, rồi báo chí đăng rất hoành tráng. Như bọn Hàn nó xây dựng được hệ thống quản lý toàn dân nên việc phát triển thương mại điện tử cũng dễ dàng.

[Chau Hong Linh]

Thực ra, trong số các Cloud Computing offering trên thị trường hiện nay, thì CC của Amazon là phát triển nhất.

Bọn Yahoo thì chưa có CC theo đúng nghĩa, vì chúng nó chỉ có các computing cloud chạy được mỗi app của chúng nó, còn không open và không customize được. Cái này gần với Sever Clustering hơn là Cloud Computing.

M$ đang định release ra Window Cloud cái gì đấy là OS cho Cloud Computing, nhưng không biết bao giờ mới ra, mà nếu có ra thì chỉ có bọn dở hơi mới dùng.

IBM có Cloud Computing trên nền Linux và AIX, gọi là Blue Cloud, nhưng lại bị giới hạn bởi phạm vi địa lý và computing resrource.

Google có App Cloud, nhưng chạy được mỗi Python App, không có database và không cài thêm được app.

Sun và HP cũng có CC offering, nhưng không dùng được vào đâu.

Trong khi đó, có rất nhiều công ty và nhóm lập trình sử dụng Amazon Web Services để phát triển phần mềm và deploy phần mềm.
Amazon có lợi thế lớn là có một sever farm khỏnglồ ở hầu hết mọi zone trên thế giới. Cái này thì may ra chỉ có Google là có thể cạnh tranh được.

Ngoài ra, tech team của Amazon rất mạnh.

Amazon S3 cung cấp dịch vụ lưu trữ với unlimited space, có thể lưu trữ tại bất kỳ vùng địa lý nào, ví dụ như Nam Mỹ, Bắc Mỹ, Châu Âu, Châu Phi, Châu Á ..., nên hạn chế được sự chậm trễ do khoảng cách. Nếu như một công ty nào đó có nhiều chi nhánh trên thế giới, có thể dùng nhiều S3 để lưu trữ.

Amazon EC2 cho phép người dùng chọn bất kỳ hệ điều hành nào, ví dụ như Linux (Fedora, Ubuntu ...), BSD. Hình như giờ mới có cả Window server (tuy nhiên chỉ có bọn dở hơi mới dùng Window). Mỗi EC2 instance là một virtual server, có RAM nhiều hay ít, một hay nhiều processor tùy theo loại của instance, và người dùng có thể dùng ec2 tools hoặc SSH vào, cài bất kỳ software nào mình thích lên, như là một computer bình thường. Hoặc có thể setup một EC2 instance image, rồi khi cần có thể chạy một loạt server có cấu hình giống hệt như cái instance image đấy, số lượng server là bao nhiêu là tùy ở mình.

Amazon Persistence Service cho phép người dùng sử dụng như một đĩa cứng ảo gắn vào máy tính ảo EC2.

Các chú có thể đọc thêm ở Amazon Web Services website.

Anh và hai thằng bạn cũng dùng AWS (Amazon Web Services) để làm enterprise software, dùng Ruby On Rails, Adobe Flex và PostgreSQL. Tất cả server của bọn anh là Linux chạy trên EC2.

Khi hệ thống hoạt động hơi nặng, bọn anh có chương trình tự động khởi động thêm EC2 instance, đến khi giảm tải xuống, thì nó lại tự tắt bớt EC2 intances đi. Như vậy là scalability của hệ thống không phụ thuộc vào số server cố định như trường hợp dùng công nghệ Server Clustering như đng phổ biến, mà là scale-on-demand. Bọn anh không cần phải mua thêm server, cài phần mềm lên, rồi cắm vào mạng, rồi configure ... mà là tự động tăng hay giảm số sever trong Cloud Computing. Thậm chí scale thêm server ở geographic zone nào, là tùy theo app load ở zone đấy. Hard disk cho EC2 dùng Amazon Persistent Storage.

Thuật toán về server-load detection và instance automatic management là do bọn anh tự viết (He..he..bằng Ruby).

Phần enterprise data management và image processing của bọn anh dùng S3 để lưu trữ. Enterprise Messaging dùng Amazon SQS.

He..he..Và software của bọn anh là SAAS. Nhưng bọn anh chỉ cung cấp cho enterprise corporations thôi, chứ không mở ra public.

Và Amazon WS rất an toàn, vì nó dựa trên RESTful Web Services, SSL và độc đáo hơn nữa là time-based URL, nghĩa là URL để download hay upload hay truy cập site trong AWS có thể expire sau một thời gian nhất định.

Cùng một trang web hay cùng một site, bây giờ cái URL đang là thế này, 5 phút sau (hay x phút, hay y ngàyy, hay z tháng ... sau) đã là thế khác, tùy ở người lập trình quy định. Vì thế hacker có username hay password, muốn vào xem cái gì cũng khó, vì URL bị thay đổi mất rồi.

Nếu các chú muốn thử Cloud Computing đúng nghĩa của nó, thì hiện giờ chỉ có Amazon Web Services.

Còn chạy vớ vẩn chơi cho vui thì có Google App Cloud, chạy được mỗi Python.

[seeker]

Như vậy nếu Page và Brin bây giờ mới khởi nghiệp thì có thể sẽ không phải chật vật xây dựng hệ thống server như hồi đầu rồi.

[congvc]

Cách đây ít lâu tớ nghe nói ở Việt Nam có CMC đang có dự án làm datacenter ở Hà Nội, còn một hội khác là Vinadata gì đó ở miền nam.

Nếu hạ tầng có rồi, mà hệ thống thì lại mã mở thì chắc cơ hội thực hiện là rõ ràng rồi nhỉ

CMC và Vinadata xây DC làm các dịch vụ IDC cơ bản thôi anh ạ, DC của họ cũng không hoành tráng như họ quảng cáo, em thấy có ông VNTT này là tuyên bố làm Cloud Computing.
http://www.xahoithongtin.com.vn/home/206/20081016025433903/-ibm-se-la-doi-tac-giup-vntt-xay-dung-ha-tang-dien-toan-dam-may-.html

Sắp tới NTT với VNPT, KT và EVN, DOTVN + Quang Trung, FPT cũng xây DC rầm rộ, ko biết có theo hướng Cloud Computing này ngay không.

[Chau Hong Linh]

Chú seeker, với tình trạng Cloud Computing như hiện nay, Page và Brin vẫn phải tự làm server farm cho Google.

Tất nhiên anh có thể giải thích ngay với chú "Tại sao?". Tuy nhiên, chú thử nghĩ và thảo luận một tí xem, theo chú thì tại sao, nhé?

[seeker]

Anh có thể giải thích được không ?

[hoaidiep]

Trong quá trình làm việc tại IBM, em cũng có được biết tới ứng dụng này( thực ra là đã có khá lâu rồi), và cũng quen với chuyên gia về Cloud Computing tại Việt Nam (Là anh Phạm Kim Long, người viết phần mềm Unikey, mới ở Tiệp về, giờ đã đầu quân cho IBM).

Được biết tại Việt Nam, đã có vài dự án triển khai mô hình này (trong đó có 1, 2 trường Đại Học đang triển khai).

Cũng có lần được nghe anh Long giảng cho về Cloud Computing, nhưng do trình độ kỹ thuật có hạn nên không hiểu cặn kẽ được hết ^^, nên chỉ góp vui vài dòng vậy thôi.

Chúc mọi người vui vẻ.