Thoại Viết Hoàng
Writer
Máy móc thông minh lẽ ra phải làm việc cho chúng ta, nhưng đã có những dấu hiệu cho thấy cuối cùng chúng ta sẽ làm việc cho chúng. Nơi làm việc trong tương lai sẽ như thế nào và vai trò của bạn có còn tồn tại không?
Tại giải vô địch quần vợt Úc và Mỹ mở rộng 2021, tất cả các trọng tài biên đều được thay thế bằng máy móc. Về nhiều mặt, điều này là không thể tránh khỏi. Những cỗ máy này không chỉ chính xác hơn nhiều so với bất kỳ con người nào trong việc gọi bóng vào hoặc ra, mà chúng còn có thể được lập trình để thực hiện các cuộc gọi bằng giọng nói giống như con người, để không làm người chơi mất phương hướng. Đó là một chút kỳ lạ, tiếng thét quái gở của "Out!" đến từ hư không trên sân (tại Giải Úc mở rộng, các máy được lập trình để nói giọng Úc). Nhưng nó ít khó chịu hơn nhiều so với sự chậm trễ do thách thức các cuộc gọi không chính xác và đáng tin cậy hơn nhiều. Phải mất rất ít thời gian để làm quen.
Trong một loạt các báo cáo được xuất bản vào những năm 2010 nhằm xác định công việc nào có nguy cơ bị tự động hóa cao nhất, các quan chức thể thao thường xếp hạng rất cao trong danh sách (nghiên cứu nổi tiếng nhất của Carl Benedikt Frey và Michael Osborne trong 2017, xác suất 98% việc điều hành thể thao sẽ bị máy tính loại bỏ trong vòng 20 năm). Xét cho cùng, đây là một doanh nghiệp của con người, nơi trình độ chuyên môn quan trọng nhất là khả năng đưa ra câu trả lời đúng. Vào hoặc ra? Bóng hay tấn công? Công bằng hay hôi? Đây là những quyết định cần được củng cố bởi trí thông minh chính xác. Công nghệ thậm chí không cần phải hiện đại nhất để tạo ra câu trả lời tốt hơn nhiều so với khả năng của con người. Các hệ thống Hawk-Eye đã vượt trội so với thị lực của con người trong gần 20 năm. Chúng lần đầu tiên được áp dụng chính thức cho các cuộc gọi đường dây quần vợt vào năm 2006, để kiểm tra các quyết định của trọng tài môn cricket vào năm 2009 và gần đây hơn là để xác định lỗi việt vị trong bóng đá.
Tuy nhiên, bất chấp sự xuất hiện của công nghệ thông minh này, hiện nay có nhiều người làm việc trong lĩnh vực điều hành thể thao hơn bao giờ hết. Wimbledon đã quyết định giữ lại các trọng tài trực tuyến của mình, một phần vì lý do thẩm mỹ. Là giải đấu lớn duy nhất diễn ra trên sân cỏ, trông đẹp mắt trên nền xanh là một phần quan trọng của cỗ máy kiếm tiền (do đó yêu cầu các cầu thủ không mặc gì ngoài màu trắng). Các giám khảo chủ yếu ở đó vì đồng phục của họ. Vào năm 2022, cũng như 17 năm trước, chúng được thiết kế bởi Ralph Lauren.
Các trận đấu cricket, theo truyền thống chỉ có hai trọng tài, hiện có ba trọng tài để quản lý các yêu cầu phức tạp của công nghệ, cộng với một trọng tài để theo dõi hành vi của người chơi, vốn vẫn liên quan đến yếu tố quyết định lớn của con người (ai có thể nói ý nghĩa của “ đề cao tinh thần của trò chơi”?). Các trận đấu bóng đá có tối đa năm quan chức, cộng với một nhóm lớn những người theo dõi màn hình cần thiết để giải thích các pha phát lại do hệ thống trợ lý trọng tài video (VAR) cung cấp. Trung tâm Phát lại NBA tại Secaucus, New Jersey, nơi sử dụng 25 người toàn thời gian, cùng với một loạt các quan chức trận đấu thông thường, sẽ không có vẻ lạc lõng tại Nasa.
Tính hiệu quả - thậm chí là độ chính xác - hóa ra không phải là yêu cầu chính của các tổ chức thuê người đưa ra quyết định trong các trận đấu thể thao. Họ cũng rất nhạy cảm với ngoại hình, bao gồm cả mong muốn giữ cho môn thể thao của họ trông giống như thể nó vẫn là một doanh nghiệp lấy con người làm trung tâm. Công nghệ thông minh có thể làm được nhiều việc, nhưng nếu không có robot hình người thuyết phục, thì nó thực sự không thể làm được điều đó. Vì vậy, những người thực tế được yêu cầu phải đứng giữa máy móc và những người đang nhận phán xét của họ. Kết quả là có nhiều việc hơn
Robot có thể nhảy nhưng chúng vẫn cần con người biên đạo để trông thật thuyết phục
Thật khó để biết những công việc nào có thể sẽ tiếp tục với sự xuất hiện của AI, mặc dù chúng ta có thể tin tưởng rằng phạm vi và đặc điểm của việc làm sẽ thay đổi. Nhiều nghiên cứu về rủi ro của tự động hóa, như của Frey và Osborne, chọn coi công việc là một chuỗi các nhiệm vụ, sau đó có thể đo lường mức độ phù hợp của chúng để máy móc đảm nhận. Điều này giả định rằng các rào cản trong cách thay thế con người chỉ đơn giản là những hạn chế hiện tại của công nghệ, hiện bao gồm việc không thể tiếp tục thể hiện một loạt các kỹ năng nhận thức và di động lấy con người làm trung tâm. Robot rất giỏi trong các nhiệm vụ lặp đi lặp lại, ngay cả khi những nhiệm vụ này rất phức tạp, cùng với việc xử lý dữ liệu khổng lồ hơn bao giờ hết, nhưng chúng thường gặp khó khăn với các hình thức tương tác đơn giản của con người. Nếu công việc của bạn liên quan đến sự sáng tạo, phán đoán thẩm mỹ, chuyển động thực sự linh hoạt hoặc nhạy cảm xã hội, thì với những biện pháp này, bạn có thể an toàn vào lúc này. Robot có thể nhảy, nhưng chúng vẫn cần các biên đạo múa của con người để trông thật thuyết phục.
Tuy nhiên, một nhiệm vụ không phải là một công việc, không phải theo nghĩa hiện đại của thuật ngữ này. Công việc là những vị trí được tạo ra bởi các tổ chức có yêu cầu riêng của họ. Quá đơn giản để coi những yêu cầu này không gì khác hơn là việc thực hiện hiệu quả một nhiệm vụ, ngay cả trong trường hợp của các tập đoàn hám tiền, nhẫn tâm. Nó cũng quan trọng liệu công việc có ý nghĩa liên quan đến nhu cầu của công ty hay không. Hầu hết các công việc tiếp tục yêu cầu mọi người lấp đầy chúng, bởi vì mọi người là yếu tố con người của các tổ chức phi cá nhân cung cấp việc làm. Nếu không, máy móc sẽ có vẻ như đang chạy chương trình, đây là một biểu hiện nguy hiểm trong một thế giới mà con người vẫn đang đếm.
Mọi thứ trông như thế nào không phải là tất cả. Có những bộ phận quan trọng của mọi tổ chức mà ngoại hình không quan trọng lắm, trong phòng hậu trường và thậm chí có thể là phòng họp mà công chúng không bao giờ được nhìn thấy. Kiến thức kỹ thuật hậu trường làm nền tảng cho việc thực hiện các nhiệm vụ trước công chúng có thể sẽ là cơ sở ngày càng bấp bênh cho việc làm đáng tin cậy. Điều này đúng với nhiều ngành nghề, bao gồm kế toán, tư vấn và luật. Sẽ còn rất nhiều việc cho những người đối phó với mọi người. Nhưng công việc thu thập dữ liệu, xử lý thông tin và tìm kiếm tiền lệ giờ đây có thể được thực hiện một cách đáng tin cậy hơn bằng máy móc. Những người từng đảm nhận công việc này, đặc biệt là những người làm công việc mới bắt đầu như thư ký, trợ lý hành chính và trợ lý pháp lý, có thể không ổn.
Tương lai của việc làm nhất thiết phải liên quan đến một tập hợp các mối quan hệ phức tạp, có nhiều khả năng làm thay đổi những gì chúng ta hiểu về công việc hơn là xóa bỏ nó. Có những mối quan hệ giữa con người và máy móc, một số trong số đó có thể có tổng bằng không (máy làm việc nhiều hơn có nghĩa là chúng ta làm việc ít hơn), nhưng hầu hết trong số đó vẫn có khả năng tương hỗ lẫn nhau. Các bác sĩ sử dụng công nghệ để chẩn đoán ung thư sẽ cần phải trau dồi các kỹ năng khác - bao gồm cả những cách tốt hơn để truyền đạt những gì máy móc đang nói - nhưng những kỹ năng này sẽ dễ dàng đạt được hơn nhiều so với việc mong đợi công nghệ trau dồi các kỹ năng mà bác sĩ sở hữu. Sau đó, có tất cả công việc dành cho các nhà quản lý, luật sư và nhà đạo đức học, những người sẽ cần quyết định xem liệu mối quan hệ giữa bác sĩ và máy móc có đang diễn ra như mong đợi hay không và phải làm gì khi mối quan hệ này gặp trục trặc. Trong thời đại của AI, sẽ không thiếu việc làm trong bệnh viện.
Trong thế giới công việc, vẫn là con người, tổ chức, máy móc – theo thứ tự đó. Thứ tự có thể thay đổi? Liệu các tổ chức có thể ưu tiên máy móc hơn con người hay máy móc sẽ thay mặt tổ chức đưa ra những quyết định quan trọng nhất?
Lịch sử cung cấp một phần hướng dẫn về những gì có thể xảy ra. Những lo lắng về việc tự động hóa sẽ thay thế con người cũng lâu đời như chính ý tưởng về công việc này. Cuộc cách mạng công nghiệp đã làm gián đoạn nhiều loại hình lao động – đặc biệt là trên đất liền – và hủy hoại toàn bộ lối sống. Quá trình chuyển đổi thật nghiệt ngã đối với những người phải chuyển từ phương thức tồn tại tự cung tự cấp này sang phương thức tồn tại khác. Tuy nhiên, kết quả cuối cùng là có thêm nhiều việc làm chứ không phải ít đi. Các nhà máy đưa vào sử dụng máy móc để thực hiện nhanh hơn và đáng tin cậy hơn những việc con người đã từng làm hoặc không bao giờ có thể làm được; đồng thời, các nhà máy là nơi xuất hiện các công việc mới, liên quan đến việc thực hiện các nhiệm vụ chưa bao giờ được yêu cầu trước khi máy móc xuất hiện. Mô hình này đã lặp đi lặp lại nhiều lần: công nghệ mới thay thế các hình thức làm việc quen thuộc, gây ra sự gián đoạn nghiêm trọng. Sẽ chẳng có chút an ủi nào cho những người mất việc khi được thông báo rằng sẽ sớm có những cách kiếm sống hoàn toàn mới.
Tuy nhiên, không phải lúc nào cũng có những nhiệm vụ mới được tìm thấy cho thế hệ lao động trước đó. Điều này đáng chú ý nhất là trường hợp xảy ra với những con ngựa lao động thực tế. Trong suốt thế kỷ 19, nền sản xuất công nghiệp phát triển nhanh chóng phụ thuộc nhiều vào sức lao động của ngựa để vận chuyển người và hàng hóa, đặc biệt là ở Hoa Kỳ. Từ nguồn lao động này, một số lượng lớn và nhiều công việc đa dạng đã được tạo ra cho những người cần thiết để duy trì các doanh nghiệp chạy bằng ngựa.
Chỉ 50 năm sau, nền kinh tế dựa vào sức ngựa đã gần như biến mất hoàn toàn khỏi khu vực thành thị, nếu chưa nói là biến mất khỏi khu vực nông thôn. Năm mươi năm sau đó nó ít nhiều đã biến mất khắp cả nước. Nhưng một số lượng lớn việc làm mới đã được tạo ra để phục vụ nhu cầu về ô tô. Đến năm 1950, ngành công nghiệp ô tô đã tạo ra 7 triệu việc làm mới hoặc hơn, chiếm 11% tổng lực lượng lao động Mỹ vào thời điểm đó.
Những gì chưa được tạo ra là nhiều công việc mới cho ngựa. Bộ kỹ năng của họ – kéo, gánh, không phàn nàn – hóa ra không đủ khả năng thích ứng với thời đại mới. Cuối cùng, họ chẳng còn gì nhiều để làm ngoài ngành giải trí. Khi chiếc Ford model-T đầu tiên (22 mã lực) lăn bánh khỏi dây chuyền sản xuất vào năm 1908, có khoảng 25 triệu con ngựa ở Hoa Kỳ, cùng với 90 triệu người. Khi chiếc Ford Falcon đầu tiên (260 mã lực) xuất hiện vào năm 1960, chỉ còn lại 3 triệu con ngựa – và gần 180 triệu người. Con ngựa với tư cách là công nhân đã thực sự lỗi thời.
Con người có thể đi theo con đường của con ngựa? Bộ kỹ năng của chúng ta cũng có thể trở nên không đủ khả năng thích ứng, một khi máy móc có thể làm hầu hết những việc chúng ta có thể, với tốc độ gấp rất nhiều lần. “Sức mạnh con người” của công nghệ học sâu – ví dụ, 3.000 năm kiến thức cờ vua được AlphaZero tiếp thu trong vòng chưa đầy 24 giờ (sức người: 1.000.000+) – lớn hơn theo cấp số nhân so với mã lực của ngay cả những chiếc ô tô nhanh nhất. Đúng là máy móc thông minh cũng thiếu khả năng thích ứng, hơn hết là khả năng chuyển đổi giữa các nhiệm vụ hoàn toàn khác nhau. Nhưng ô tô thiếu nhiều khả năng thích ứng so với ngựa: chúng không thể bước qua chướng ngại vật, di chuyển sang một bên hoặc bơi qua suối. Điều đó không ngăn cản chúng ta xây dựng toàn bộ nền kinh tế xung quanh chúng và mạng lưới đường bộ phù hợp với mọi hạn chế của chúng, hy sinh mạng sống của hàng triệu người trong thế kỷ tiếp theo vì những tai nạn đường bộ không thể tránh khỏi trong quá trình này.
Tuy nhiên, điểm khác biệt rõ ràng nhất của con người với ngựa là ở chỗ chúng ta không hề phàn nàn. Chúng tôi thì ngược lại. Chúng ta có quyền tự quyết, được thể hiện thông qua khả năng truyền đạt những lựa chọn của mình. Khi những con ngựa bị loại bỏ dần, đó là do các tổ chức mà chúng không có tiếng nói. Chúng tôi có tiếng nói trong các tổ chức có thể chọn loại bỏ chúng tôi. Chúng tôi đã sử dụng nó tốt hơn.
Một lý do chúng ta nên làm là các tổ chức này cũng có đại lý. Nếu không có sự góp ý của chúng tôi, họ sẽ tự đưa ra lựa chọn. Và những cỗ máy thông minh, cũng không giống như ngựa, cũng có thể đưa ra lựa chọn của riêng mình. Thật là viển vông khi cho rằng họ sẽ chọn cách loại bỏ chúng tôi một khi chúng tôi không còn phục vụ mục đích của họ nữa. Họ không có loại cơ quan đó - loại con người. Nhưng khả năng họ thực hiện một số nhiệm vụ tốt hơn chúng ta có thể đủ để cho phép họ định hình cách chúng ta sống nếu chúng ta chọn để họ làm vậy. Giống như ô tô đã định hình cách chúng ta sống khi chúng ta chọn để chúng.
Nó không bao giờ phụ thuộc vào những con ngựa. Nó không phụ thuộc vào ô tô. Nó thậm chí còn không tương xứng với dòng xe tự lái mới. Điều đó vẫn tùy thuộc vào chúng ta, các tiểu bang và tập đoàn của chúng ta.
Điều làm cho công việc trở nên khác biệt với các loại công việc khác là mối quan hệ của nó với thời gian trôi qua. Khi công việc bao gồm một nhiệm vụ hoặc một loạt nhiệm vụ, thời gian được đo bằng thời gian hoàn thành nhiệm vụ đó và kết quả của nó kéo dài bao lâu. Thường có mối liên hệ giữa hai điều này, nhưng không nhất thiết: những cuốn sách mất nhiều thời gian nhất để viết không phải là những cuốn chắc chắn sẽ tồn tại lâu dài; những bài hát mất nhiều thời gian sáng tác nhất không phải lúc nào cũng là những bài mà mọi người muốn hát. Hallelujah của Leonard Cohen, một trong những bài hát được cover nhiều nhất trong 50 năm qua, phải mất 10 năm và vô số lần chỉnh sửa để trở nên đúng đắn, nhưng Forever Young của Bob Dylan, được thu âm lại gần như thường xuyên, đã bị loại trong một thời gian dài. ngồi một mình (cũng như nhiều bài hát của Dylan).
Đối với Hannah Arendt, tác phẩm nổi bật và điều khiến nó có khả năng thỏa mãn chính là khả năng bền bỉ: mọi thứ có thể được chế tạo có thể tồn tại lâu hơn người tạo ra chúng. Những đồ tạo tác này có thể là bất cứ thứ gì, từ sách, bài hát, bàn ghế cho đến các bang và hiến pháp.
Đồng thời, nhiều công việc có tính lâu dài hơn so với nhiệm vụ họ yêu cầu. Làm tổng thống là một công việc đơn lẻ với nhiều trách nhiệm, một số trách nhiệm chỉ đòi hỏi sự chú ý từ ngày này sang ngày khác. Công việc của người sản xuất đồ nội thất có thể kéo dài suốt cuộc đời của một người trưởng thành, trong thời gian đó có thể làm ra hàng trăm, thậm chí hàng nghìn bàn ghế. Điều mang lại cho công việc sự bền vững là các tổ chức tạo ra chúng có đủ tuổi thọ của riêng mình.
Nhưng cái giá của sự đảm bảo công việc thường là sự cực nhọc hoặc lặp đi lặp lại. Làm cùng một công việc trong nhiều năm có thể gây nhàm chán. Đó là lý do tại sao các tổ chức cố gắng mang lại sự tiến bộ cũng như sự ổn định. Sự nghiệp không chỉ là một công việc - nó thường liên quan đến việc thay đổi vai trò trong một lĩnh vực nhất định và khi thích hợp cũng có thể thay đổi tổ chức. Làm nhân viên ngân hàng là một nghề nghiệp; làm việc cho ngân hàng là một công việc; nghĩ ra một sản phẩm ngân hàng là một nhiệm vụ; kết thúc một thỏa thuận là một hành động. Tuy nhiên, làm nhân viên ngân hàng cũng có nghĩa là phải đối mặt với nguy cơ bị sa thải nghiêm trọng. Nó có khả năng mang lại nhiều lợi ích hơn việc trở thành một công chức - dù sao về mặt tài chính - nhưng nó lại kém tin cậy hơn.
Những sự đánh đổi này – giữa sự đảm bảo việc làm và sự đa dạng, giữa rủi ro và phần thưởng – đã quen thuộc trong suốt lịch sử việc làm hiện đại. Chúng lặp lại sự đánh đổi rộng rãi hơn giữa cá nhân và phi cá nhân, con người và nhân tạo, những điều xác định thời đại hiện đại. Nơi mà sự cân bằng được tạo ra thay đổi theo thời gian và địa điểm. Trong phần lớn thế kỷ 20 – thời đại tuyệt vời của sự nghiệp và thậm chí là “lời khuyên nghề nghiệp” trong trường học – các tập đoàn lớn, cùng với nhà nước, có thể mang lại những triển vọng vững chắc cho sự phát triển nghề nghiệp. Có thể làm việc ở cùng một tổ chức suốt đời mà vẫn có được nhiều trải nghiệm làm việc thỏa mãn.
Thế kỷ 21 thì khác. Nhiều tổ chức lớn có tương đối ít nhân viên so với các tổ chức tương đương ở thế kỷ 20. Sự phát triển nhanh chóng của các công ty nhỏ hơn, thời gian tồn tại ngắn hơn cũng có nghĩa là tuổi thọ của công ty không còn như trước nữa. Trong thời đại khởi nghiệp, kiếm được một công việc, thậm chí (và có lẽ đặc biệt) là một công việc được trả lương cao, cũng không đảm bảo được nhiều sự an toàn. Công việc có thời gian tồn tại ngắn hơn và kết quả là sự nghiệp bị phân tán nhiều hơn. Đối với bất kỳ ai lần đầu tiên bước vào nơi làm việc vào thập kỷ thứ ba của thế kỷ 21, việc nói về “lời khuyên nghề nghiệp” chẳng có ý nghĩa gì cả. Kinh nghiệm làm việc có nhiều khả năng bao gồm nhiều công việc khác nhau, một số công việc chắc chắn được thực hiện cùng một lúc. Một người có thể làm nhiều việc, nhưng nhiều việc không thể tạo nên một sự nghiệp.
Sự phát triển của công nghệ thông minh có liên quan nhiều đến điều này. Một phần trong số đó đơn giản là sự không chắc chắn – việc cố gắng hình dung một vòng đời công việc là điều gần như không thể khi tốc độ thay đổi quá nhanh. Những cảnh báo về ngày tận thế về việc đào thải nghề nghiệp sắp xảy ra khiến việc đào tạo để trở thành luật sư hoặc kế toán viên trở nên rủi ro hơn nhiều so với trước đây. Điều đó không có nghĩa là mọi người đã ngừng đào tạo để trở thành luật sư - số lượng tuyển sinh vào các trường luật của Hoa Kỳ đang tiếp tục tăng, cũng như số trường cấp bằng luật. Nhưng có một kỳ vọng rộng rãi rằng điều này sẽ tạo ra nhiều luật sư có trình độ hơn số lượng công việc pháp lý, chứ đừng nói đến nghề luật. Người ta hy vọng rằng việc hiểu biết về luật vẫn sẽ cung cấp đào tạo tốt cho các nhiệm vụ ngày càng đa dạng hướng tới con người mà một nghề nghiệp danh mục đầu tư có thể yêu cầu, dù có hoặc không có máy móc để thực hiện những công việc nặng nhọc.
Nhưng ngay cả trong ngắn hạn, công nghệ mới đã thay đổi mối quan hệ giữa nghề nghiệp, công việc và nhiệm vụ. Thực hiện nhiệm vụ là điều mà máy móc làm tốt. Họ càng làm tốt, công việc càng trở nên định hướng theo nhiệm vụ. Theo nhiều cách, nói về triển vọng máy móc đảm nhận công việc của con người là một cách gọi sai, bởi vì một khi máy móc thực hiện công việc thì chúng không còn là công việc nữa. Máy móc không yêu cầu bảo đảm công việc, cũng như không yêu cầu các phụ kiện khác của chế độ việc làm hiện đại: ngày nghỉ, chăm sóc sức khỏe, phản hồi tích cực, trả lương dự phòng.
Công việc là những gì con người làm
Tiềm năng của cuộc cách mạng AI là rất lớn. Không khó để thấy những hệ thống này có thể được triển khai như thế nào để làm cho con người trở nên tốt đẹp hơn rất nhiều, bằng cách giải phóng chúng ta khỏi cực nhọc, cứu chúng ta khỏi bệnh tật, vận chuyển chúng ta an toàn và kích thích chúng ta không ngừng. Động lực mạnh nhất của thế hệ máy biết suy nghĩ mới hứa hẹn những điều dường như không thể cho đến gần đây: tuổi thọ kéo dài thêm hàng trăm năm, giao tiếp thần giao cách cảm, sự bùng nổ sáng tạo và khám phá khoa học theo cấp số nhân. Tất cả dường như không thể xảy ra, nhưng với tốc độ tiến bộ hiện tại, ai có thể nói rằng họ đã sai?
Đồng thời, rất dễ nhận thấy những mặt tiêu cực đang tiềm ẩn, trong đó có nguy cơ thảm họa thực sự. Ngay cả khi chúng ta có thể biết phải làm gì với thời gian rảnh rỗi của mình, cách phân phối các tài nguyên mới này một cách công bằng và liệu chúng ta có thực sự muốn biết những gì người khác đang nghĩ hay không, thì vẫn có khả năng chúng ta sẽ mất quyền kiểm soát các hệ thống thông minh mà mình có. được xây dựng. Họ sinh ra để làm việc cho chúng ta, nhưng đã có thể nghi ngờ rằng cuối cùng chúng ta sẽ làm việc cho họ. Nếu họ trở nên thông minh hơn chúng ta rất nhiều, liệu họ có còn muốn thực hiện đấu thầu của chúng ta không? Liệu họ có quan tâm đến chúng ta không? Suy cho cùng, đây chỉ là những cỗ máy. Bây giờ, và có lẽ là mãi mãi, họ sẽ không còn lương tâm, trái tim, tâm hồn. Chúng tôi xây dựng chúng để mở rộng tầm nhìn của mình, nhưng nếu chúng tôi không thể giữ chúng gắn liền với quan điểm lấy con người làm trung tâm, thì đó có thể là điều cuối cùng chúng tôi làm.
Đây là một đoạn trích đã chỉnh sửa từ The Handover: How We Gave Control of Our Lives to Corporations, States and AIs của David Runciman (Hồ sơ), xuất bản vào ngày 7 tháng 9. Để hỗ trợ Người giám hộ và Người quan sát, hãy đặt mua bản sao của bạn tại Guardianbookshop.com
Trong một loạt các báo cáo được xuất bản vào những năm 2010 nhằm xác định công việc nào có nguy cơ bị tự động hóa cao nhất, các quan chức thể thao thường xếp hạng rất cao trong danh sách (nghiên cứu nổi tiếng nhất của Carl Benedikt Frey và Michael Osborne trong 2017, xác suất 98% việc điều hành thể thao sẽ bị máy tính loại bỏ trong vòng 20 năm). Xét cho cùng, đây là một doanh nghiệp của con người, nơi trình độ chuyên môn quan trọng nhất là khả năng đưa ra câu trả lời đúng. Vào hoặc ra? Bóng hay tấn công? Công bằng hay hôi? Đây là những quyết định cần được củng cố bởi trí thông minh chính xác. Công nghệ thậm chí không cần phải hiện đại nhất để tạo ra câu trả lời tốt hơn nhiều so với khả năng của con người. Các hệ thống Hawk-Eye đã vượt trội so với thị lực của con người trong gần 20 năm. Chúng lần đầu tiên được áp dụng chính thức cho các cuộc gọi đường dây quần vợt vào năm 2006, để kiểm tra các quyết định của trọng tài môn cricket vào năm 2009 và gần đây hơn là để xác định lỗi việt vị trong bóng đá.
Tuy nhiên, bất chấp sự xuất hiện của công nghệ thông minh này, hiện nay có nhiều người làm việc trong lĩnh vực điều hành thể thao hơn bao giờ hết. Wimbledon đã quyết định giữ lại các trọng tài trực tuyến của mình, một phần vì lý do thẩm mỹ. Là giải đấu lớn duy nhất diễn ra trên sân cỏ, trông đẹp mắt trên nền xanh là một phần quan trọng của cỗ máy kiếm tiền (do đó yêu cầu các cầu thủ không mặc gì ngoài màu trắng). Các giám khảo chủ yếu ở đó vì đồng phục của họ. Vào năm 2022, cũng như 17 năm trước, chúng được thiết kế bởi Ralph Lauren.
Các trận đấu cricket, theo truyền thống chỉ có hai trọng tài, hiện có ba trọng tài để quản lý các yêu cầu phức tạp của công nghệ, cộng với một trọng tài để theo dõi hành vi của người chơi, vốn vẫn liên quan đến yếu tố quyết định lớn của con người (ai có thể nói ý nghĩa của “ đề cao tinh thần của trò chơi”?). Các trận đấu bóng đá có tối đa năm quan chức, cộng với một nhóm lớn những người theo dõi màn hình cần thiết để giải thích các pha phát lại do hệ thống trợ lý trọng tài video (VAR) cung cấp. Trung tâm Phát lại NBA tại Secaucus, New Jersey, nơi sử dụng 25 người toàn thời gian, cùng với một loạt các quan chức trận đấu thông thường, sẽ không có vẻ lạc lõng tại Nasa.
Tính hiệu quả - thậm chí là độ chính xác - hóa ra không phải là yêu cầu chính của các tổ chức thuê người đưa ra quyết định trong các trận đấu thể thao. Họ cũng rất nhạy cảm với ngoại hình, bao gồm cả mong muốn giữ cho môn thể thao của họ trông giống như thể nó vẫn là một doanh nghiệp lấy con người làm trung tâm. Công nghệ thông minh có thể làm được nhiều việc, nhưng nếu không có robot hình người thuyết phục, thì nó thực sự không thể làm được điều đó. Vì vậy, những người thực tế được yêu cầu phải đứng giữa máy móc và những người đang nhận phán xét của họ. Kết quả là có nhiều việc hơn
Robot có thể nhảy nhưng chúng vẫn cần con người biên đạo để trông thật thuyết phục
Thật khó để biết những công việc nào có thể sẽ tiếp tục với sự xuất hiện của AI, mặc dù chúng ta có thể tin tưởng rằng phạm vi và đặc điểm của việc làm sẽ thay đổi. Nhiều nghiên cứu về rủi ro của tự động hóa, như của Frey và Osborne, chọn coi công việc là một chuỗi các nhiệm vụ, sau đó có thể đo lường mức độ phù hợp của chúng để máy móc đảm nhận. Điều này giả định rằng các rào cản trong cách thay thế con người chỉ đơn giản là những hạn chế hiện tại của công nghệ, hiện bao gồm việc không thể tiếp tục thể hiện một loạt các kỹ năng nhận thức và di động lấy con người làm trung tâm. Robot rất giỏi trong các nhiệm vụ lặp đi lặp lại, ngay cả khi những nhiệm vụ này rất phức tạp, cùng với việc xử lý dữ liệu khổng lồ hơn bao giờ hết, nhưng chúng thường gặp khó khăn với các hình thức tương tác đơn giản của con người. Nếu công việc của bạn liên quan đến sự sáng tạo, phán đoán thẩm mỹ, chuyển động thực sự linh hoạt hoặc nhạy cảm xã hội, thì với những biện pháp này, bạn có thể an toàn vào lúc này. Robot có thể nhảy, nhưng chúng vẫn cần các biên đạo múa của con người để trông thật thuyết phục.
Tuy nhiên, một nhiệm vụ không phải là một công việc, không phải theo nghĩa hiện đại của thuật ngữ này. Công việc là những vị trí được tạo ra bởi các tổ chức có yêu cầu riêng của họ. Quá đơn giản để coi những yêu cầu này không gì khác hơn là việc thực hiện hiệu quả một nhiệm vụ, ngay cả trong trường hợp của các tập đoàn hám tiền, nhẫn tâm. Nó cũng quan trọng liệu công việc có ý nghĩa liên quan đến nhu cầu của công ty hay không. Hầu hết các công việc tiếp tục yêu cầu mọi người lấp đầy chúng, bởi vì mọi người là yếu tố con người của các tổ chức phi cá nhân cung cấp việc làm. Nếu không, máy móc sẽ có vẻ như đang chạy chương trình, đây là một biểu hiện nguy hiểm trong một thế giới mà con người vẫn đang đếm.
Mọi thứ trông như thế nào không phải là tất cả. Có những bộ phận quan trọng của mọi tổ chức mà ngoại hình không quan trọng lắm, trong phòng hậu trường và thậm chí có thể là phòng họp mà công chúng không bao giờ được nhìn thấy. Kiến thức kỹ thuật hậu trường làm nền tảng cho việc thực hiện các nhiệm vụ trước công chúng có thể sẽ là cơ sở ngày càng bấp bênh cho việc làm đáng tin cậy. Điều này đúng với nhiều ngành nghề, bao gồm kế toán, tư vấn và luật. Sẽ còn rất nhiều việc cho những người đối phó với mọi người. Nhưng công việc thu thập dữ liệu, xử lý thông tin và tìm kiếm tiền lệ giờ đây có thể được thực hiện một cách đáng tin cậy hơn bằng máy móc. Những người từng đảm nhận công việc này, đặc biệt là những người làm công việc mới bắt đầu như thư ký, trợ lý hành chính và trợ lý pháp lý, có thể không ổn.
Tương lai của việc làm nhất thiết phải liên quan đến một tập hợp các mối quan hệ phức tạp, có nhiều khả năng làm thay đổi những gì chúng ta hiểu về công việc hơn là xóa bỏ nó. Có những mối quan hệ giữa con người và máy móc, một số trong số đó có thể có tổng bằng không (máy làm việc nhiều hơn có nghĩa là chúng ta làm việc ít hơn), nhưng hầu hết trong số đó vẫn có khả năng tương hỗ lẫn nhau. Các bác sĩ sử dụng công nghệ để chẩn đoán ung thư sẽ cần phải trau dồi các kỹ năng khác - bao gồm cả những cách tốt hơn để truyền đạt những gì máy móc đang nói - nhưng những kỹ năng này sẽ dễ dàng đạt được hơn nhiều so với việc mong đợi công nghệ trau dồi các kỹ năng mà bác sĩ sở hữu. Sau đó, có tất cả công việc dành cho các nhà quản lý, luật sư và nhà đạo đức học, những người sẽ cần quyết định xem liệu mối quan hệ giữa bác sĩ và máy móc có đang diễn ra như mong đợi hay không và phải làm gì khi mối quan hệ này gặp trục trặc. Trong thời đại của AI, sẽ không thiếu việc làm trong bệnh viện.
Trong thế giới công việc, vẫn là con người, tổ chức, máy móc – theo thứ tự đó. Thứ tự có thể thay đổi? Liệu các tổ chức có thể ưu tiên máy móc hơn con người hay máy móc sẽ thay mặt tổ chức đưa ra những quyết định quan trọng nhất?
Lịch sử cung cấp một phần hướng dẫn về những gì có thể xảy ra. Những lo lắng về việc tự động hóa sẽ thay thế con người cũng lâu đời như chính ý tưởng về công việc này. Cuộc cách mạng công nghiệp đã làm gián đoạn nhiều loại hình lao động – đặc biệt là trên đất liền – và hủy hoại toàn bộ lối sống. Quá trình chuyển đổi thật nghiệt ngã đối với những người phải chuyển từ phương thức tồn tại tự cung tự cấp này sang phương thức tồn tại khác. Tuy nhiên, kết quả cuối cùng là có thêm nhiều việc làm chứ không phải ít đi. Các nhà máy đưa vào sử dụng máy móc để thực hiện nhanh hơn và đáng tin cậy hơn những việc con người đã từng làm hoặc không bao giờ có thể làm được; đồng thời, các nhà máy là nơi xuất hiện các công việc mới, liên quan đến việc thực hiện các nhiệm vụ chưa bao giờ được yêu cầu trước khi máy móc xuất hiện. Mô hình này đã lặp đi lặp lại nhiều lần: công nghệ mới thay thế các hình thức làm việc quen thuộc, gây ra sự gián đoạn nghiêm trọng. Sẽ chẳng có chút an ủi nào cho những người mất việc khi được thông báo rằng sẽ sớm có những cách kiếm sống hoàn toàn mới.
Tuy nhiên, không phải lúc nào cũng có những nhiệm vụ mới được tìm thấy cho thế hệ lao động trước đó. Điều này đáng chú ý nhất là trường hợp xảy ra với những con ngựa lao động thực tế. Trong suốt thế kỷ 19, nền sản xuất công nghiệp phát triển nhanh chóng phụ thuộc nhiều vào sức lao động của ngựa để vận chuyển người và hàng hóa, đặc biệt là ở Hoa Kỳ. Từ nguồn lao động này, một số lượng lớn và nhiều công việc đa dạng đã được tạo ra cho những người cần thiết để duy trì các doanh nghiệp chạy bằng ngựa.
Chỉ 50 năm sau, nền kinh tế dựa vào sức ngựa đã gần như biến mất hoàn toàn khỏi khu vực thành thị, nếu chưa nói là biến mất khỏi khu vực nông thôn. Năm mươi năm sau đó nó ít nhiều đã biến mất khắp cả nước. Nhưng một số lượng lớn việc làm mới đã được tạo ra để phục vụ nhu cầu về ô tô. Đến năm 1950, ngành công nghiệp ô tô đã tạo ra 7 triệu việc làm mới hoặc hơn, chiếm 11% tổng lực lượng lao động Mỹ vào thời điểm đó.
Những gì chưa được tạo ra là nhiều công việc mới cho ngựa. Bộ kỹ năng của họ – kéo, gánh, không phàn nàn – hóa ra không đủ khả năng thích ứng với thời đại mới. Cuối cùng, họ chẳng còn gì nhiều để làm ngoài ngành giải trí. Khi chiếc Ford model-T đầu tiên (22 mã lực) lăn bánh khỏi dây chuyền sản xuất vào năm 1908, có khoảng 25 triệu con ngựa ở Hoa Kỳ, cùng với 90 triệu người. Khi chiếc Ford Falcon đầu tiên (260 mã lực) xuất hiện vào năm 1960, chỉ còn lại 3 triệu con ngựa – và gần 180 triệu người. Con ngựa với tư cách là công nhân đã thực sự lỗi thời.
Con người có thể đi theo con đường của con ngựa? Bộ kỹ năng của chúng ta cũng có thể trở nên không đủ khả năng thích ứng, một khi máy móc có thể làm hầu hết những việc chúng ta có thể, với tốc độ gấp rất nhiều lần. “Sức mạnh con người” của công nghệ học sâu – ví dụ, 3.000 năm kiến thức cờ vua được AlphaZero tiếp thu trong vòng chưa đầy 24 giờ (sức người: 1.000.000+) – lớn hơn theo cấp số nhân so với mã lực của ngay cả những chiếc ô tô nhanh nhất. Đúng là máy móc thông minh cũng thiếu khả năng thích ứng, hơn hết là khả năng chuyển đổi giữa các nhiệm vụ hoàn toàn khác nhau. Nhưng ô tô thiếu nhiều khả năng thích ứng so với ngựa: chúng không thể bước qua chướng ngại vật, di chuyển sang một bên hoặc bơi qua suối. Điều đó không ngăn cản chúng ta xây dựng toàn bộ nền kinh tế xung quanh chúng và mạng lưới đường bộ phù hợp với mọi hạn chế của chúng, hy sinh mạng sống của hàng triệu người trong thế kỷ tiếp theo vì những tai nạn đường bộ không thể tránh khỏi trong quá trình này.
Tuy nhiên, điểm khác biệt rõ ràng nhất của con người với ngựa là ở chỗ chúng ta không hề phàn nàn. Chúng tôi thì ngược lại. Chúng ta có quyền tự quyết, được thể hiện thông qua khả năng truyền đạt những lựa chọn của mình. Khi những con ngựa bị loại bỏ dần, đó là do các tổ chức mà chúng không có tiếng nói. Chúng tôi có tiếng nói trong các tổ chức có thể chọn loại bỏ chúng tôi. Chúng tôi đã sử dụng nó tốt hơn.
Một lý do chúng ta nên làm là các tổ chức này cũng có đại lý. Nếu không có sự góp ý của chúng tôi, họ sẽ tự đưa ra lựa chọn. Và những cỗ máy thông minh, cũng không giống như ngựa, cũng có thể đưa ra lựa chọn của riêng mình. Thật là viển vông khi cho rằng họ sẽ chọn cách loại bỏ chúng tôi một khi chúng tôi không còn phục vụ mục đích của họ nữa. Họ không có loại cơ quan đó - loại con người. Nhưng khả năng họ thực hiện một số nhiệm vụ tốt hơn chúng ta có thể đủ để cho phép họ định hình cách chúng ta sống nếu chúng ta chọn để họ làm vậy. Giống như ô tô đã định hình cách chúng ta sống khi chúng ta chọn để chúng.
Nó không bao giờ phụ thuộc vào những con ngựa. Nó không phụ thuộc vào ô tô. Nó thậm chí còn không tương xứng với dòng xe tự lái mới. Điều đó vẫn tùy thuộc vào chúng ta, các tiểu bang và tập đoàn của chúng ta.
Điều làm cho công việc trở nên khác biệt với các loại công việc khác là mối quan hệ của nó với thời gian trôi qua. Khi công việc bao gồm một nhiệm vụ hoặc một loạt nhiệm vụ, thời gian được đo bằng thời gian hoàn thành nhiệm vụ đó và kết quả của nó kéo dài bao lâu. Thường có mối liên hệ giữa hai điều này, nhưng không nhất thiết: những cuốn sách mất nhiều thời gian nhất để viết không phải là những cuốn chắc chắn sẽ tồn tại lâu dài; những bài hát mất nhiều thời gian sáng tác nhất không phải lúc nào cũng là những bài mà mọi người muốn hát. Hallelujah của Leonard Cohen, một trong những bài hát được cover nhiều nhất trong 50 năm qua, phải mất 10 năm và vô số lần chỉnh sửa để trở nên đúng đắn, nhưng Forever Young của Bob Dylan, được thu âm lại gần như thường xuyên, đã bị loại trong một thời gian dài. ngồi một mình (cũng như nhiều bài hát của Dylan).
Đối với Hannah Arendt, tác phẩm nổi bật và điều khiến nó có khả năng thỏa mãn chính là khả năng bền bỉ: mọi thứ có thể được chế tạo có thể tồn tại lâu hơn người tạo ra chúng. Những đồ tạo tác này có thể là bất cứ thứ gì, từ sách, bài hát, bàn ghế cho đến các bang và hiến pháp.
Đồng thời, nhiều công việc có tính lâu dài hơn so với nhiệm vụ họ yêu cầu. Làm tổng thống là một công việc đơn lẻ với nhiều trách nhiệm, một số trách nhiệm chỉ đòi hỏi sự chú ý từ ngày này sang ngày khác. Công việc của người sản xuất đồ nội thất có thể kéo dài suốt cuộc đời của một người trưởng thành, trong thời gian đó có thể làm ra hàng trăm, thậm chí hàng nghìn bàn ghế. Điều mang lại cho công việc sự bền vững là các tổ chức tạo ra chúng có đủ tuổi thọ của riêng mình.
Nhưng cái giá của sự đảm bảo công việc thường là sự cực nhọc hoặc lặp đi lặp lại. Làm cùng một công việc trong nhiều năm có thể gây nhàm chán. Đó là lý do tại sao các tổ chức cố gắng mang lại sự tiến bộ cũng như sự ổn định. Sự nghiệp không chỉ là một công việc - nó thường liên quan đến việc thay đổi vai trò trong một lĩnh vực nhất định và khi thích hợp cũng có thể thay đổi tổ chức. Làm nhân viên ngân hàng là một nghề nghiệp; làm việc cho ngân hàng là một công việc; nghĩ ra một sản phẩm ngân hàng là một nhiệm vụ; kết thúc một thỏa thuận là một hành động. Tuy nhiên, làm nhân viên ngân hàng cũng có nghĩa là phải đối mặt với nguy cơ bị sa thải nghiêm trọng. Nó có khả năng mang lại nhiều lợi ích hơn việc trở thành một công chức - dù sao về mặt tài chính - nhưng nó lại kém tin cậy hơn.
Những sự đánh đổi này – giữa sự đảm bảo việc làm và sự đa dạng, giữa rủi ro và phần thưởng – đã quen thuộc trong suốt lịch sử việc làm hiện đại. Chúng lặp lại sự đánh đổi rộng rãi hơn giữa cá nhân và phi cá nhân, con người và nhân tạo, những điều xác định thời đại hiện đại. Nơi mà sự cân bằng được tạo ra thay đổi theo thời gian và địa điểm. Trong phần lớn thế kỷ 20 – thời đại tuyệt vời của sự nghiệp và thậm chí là “lời khuyên nghề nghiệp” trong trường học – các tập đoàn lớn, cùng với nhà nước, có thể mang lại những triển vọng vững chắc cho sự phát triển nghề nghiệp. Có thể làm việc ở cùng một tổ chức suốt đời mà vẫn có được nhiều trải nghiệm làm việc thỏa mãn.
Thế kỷ 21 thì khác. Nhiều tổ chức lớn có tương đối ít nhân viên so với các tổ chức tương đương ở thế kỷ 20. Sự phát triển nhanh chóng của các công ty nhỏ hơn, thời gian tồn tại ngắn hơn cũng có nghĩa là tuổi thọ của công ty không còn như trước nữa. Trong thời đại khởi nghiệp, kiếm được một công việc, thậm chí (và có lẽ đặc biệt) là một công việc được trả lương cao, cũng không đảm bảo được nhiều sự an toàn. Công việc có thời gian tồn tại ngắn hơn và kết quả là sự nghiệp bị phân tán nhiều hơn. Đối với bất kỳ ai lần đầu tiên bước vào nơi làm việc vào thập kỷ thứ ba của thế kỷ 21, việc nói về “lời khuyên nghề nghiệp” chẳng có ý nghĩa gì cả. Kinh nghiệm làm việc có nhiều khả năng bao gồm nhiều công việc khác nhau, một số công việc chắc chắn được thực hiện cùng một lúc. Một người có thể làm nhiều việc, nhưng nhiều việc không thể tạo nên một sự nghiệp.
Sự phát triển của công nghệ thông minh có liên quan nhiều đến điều này. Một phần trong số đó đơn giản là sự không chắc chắn – việc cố gắng hình dung một vòng đời công việc là điều gần như không thể khi tốc độ thay đổi quá nhanh. Những cảnh báo về ngày tận thế về việc đào thải nghề nghiệp sắp xảy ra khiến việc đào tạo để trở thành luật sư hoặc kế toán viên trở nên rủi ro hơn nhiều so với trước đây. Điều đó không có nghĩa là mọi người đã ngừng đào tạo để trở thành luật sư - số lượng tuyển sinh vào các trường luật của Hoa Kỳ đang tiếp tục tăng, cũng như số trường cấp bằng luật. Nhưng có một kỳ vọng rộng rãi rằng điều này sẽ tạo ra nhiều luật sư có trình độ hơn số lượng công việc pháp lý, chứ đừng nói đến nghề luật. Người ta hy vọng rằng việc hiểu biết về luật vẫn sẽ cung cấp đào tạo tốt cho các nhiệm vụ ngày càng đa dạng hướng tới con người mà một nghề nghiệp danh mục đầu tư có thể yêu cầu, dù có hoặc không có máy móc để thực hiện những công việc nặng nhọc.
Nhưng ngay cả trong ngắn hạn, công nghệ mới đã thay đổi mối quan hệ giữa nghề nghiệp, công việc và nhiệm vụ. Thực hiện nhiệm vụ là điều mà máy móc làm tốt. Họ càng làm tốt, công việc càng trở nên định hướng theo nhiệm vụ. Theo nhiều cách, nói về triển vọng máy móc đảm nhận công việc của con người là một cách gọi sai, bởi vì một khi máy móc thực hiện công việc thì chúng không còn là công việc nữa. Máy móc không yêu cầu bảo đảm công việc, cũng như không yêu cầu các phụ kiện khác của chế độ việc làm hiện đại: ngày nghỉ, chăm sóc sức khỏe, phản hồi tích cực, trả lương dự phòng.
Công việc là những gì con người làm
Tiềm năng của cuộc cách mạng AI là rất lớn. Không khó để thấy những hệ thống này có thể được triển khai như thế nào để làm cho con người trở nên tốt đẹp hơn rất nhiều, bằng cách giải phóng chúng ta khỏi cực nhọc, cứu chúng ta khỏi bệnh tật, vận chuyển chúng ta an toàn và kích thích chúng ta không ngừng. Động lực mạnh nhất của thế hệ máy biết suy nghĩ mới hứa hẹn những điều dường như không thể cho đến gần đây: tuổi thọ kéo dài thêm hàng trăm năm, giao tiếp thần giao cách cảm, sự bùng nổ sáng tạo và khám phá khoa học theo cấp số nhân. Tất cả dường như không thể xảy ra, nhưng với tốc độ tiến bộ hiện tại, ai có thể nói rằng họ đã sai?
Đồng thời, rất dễ nhận thấy những mặt tiêu cực đang tiềm ẩn, trong đó có nguy cơ thảm họa thực sự. Ngay cả khi chúng ta có thể biết phải làm gì với thời gian rảnh rỗi của mình, cách phân phối các tài nguyên mới này một cách công bằng và liệu chúng ta có thực sự muốn biết những gì người khác đang nghĩ hay không, thì vẫn có khả năng chúng ta sẽ mất quyền kiểm soát các hệ thống thông minh mà mình có. được xây dựng. Họ sinh ra để làm việc cho chúng ta, nhưng đã có thể nghi ngờ rằng cuối cùng chúng ta sẽ làm việc cho họ. Nếu họ trở nên thông minh hơn chúng ta rất nhiều, liệu họ có còn muốn thực hiện đấu thầu của chúng ta không? Liệu họ có quan tâm đến chúng ta không? Suy cho cùng, đây chỉ là những cỗ máy. Bây giờ, và có lẽ là mãi mãi, họ sẽ không còn lương tâm, trái tim, tâm hồn. Chúng tôi xây dựng chúng để mở rộng tầm nhìn của mình, nhưng nếu chúng tôi không thể giữ chúng gắn liền với quan điểm lấy con người làm trung tâm, thì đó có thể là điều cuối cùng chúng tôi làm.
Đây là một đoạn trích đã chỉnh sửa từ The Handover: How We Gave Control of Our Lives to Corporations, States and AIs của David Runciman (Hồ sơ), xuất bản vào ngày 7 tháng 9. Để hỗ trợ Người giám hộ và Người quan sát, hãy đặt mua bản sao của bạn tại Guardianbookshop.com
