Berechnungen beschleunigen ist ein Ziel, das jeder erreichen m?chte. Was ist, wenn Sie ein Skript haben, das zehnmal schneller ausgeführt werden k?nnte als die aktuelle Laufzeit? In diesem Artikel werden wir uns Python Multiprocessing und eine Bibliothek namens Multiprocessing ansehen. Wir werden darüber sprechen, was Multiprocessing ist, seine Vorteile und wie Sie die Laufzeit Ihrer Python -Programme verbessern k?nnen, indem Sie parallele Programme verwenden.

Okay, also lass uns gehen!

Key Takeaways

• Parallele Computing ist eine Methode zur Beschleunigung von Berechnungen, indem mehrere Kerne einer CPU gleichzeitig verwendet werden. Dies kann in Python durch Multiprocessing erreicht werden, ein Modul, das die Erstellung mehrerer Prozesse erm?glicht, die jeweils auf einem separaten Kern ausgeführt werden.
Das Multiprozesationsmodul von Python bietet Vorteile wie eine bessere Nutzung der CPU für hochintensive Aufgaben, mehr Kontrolle über Kinderprozesse im Vergleich zu Threads und eine einfache Implementierung für Aufgaben, die für die parallele Programmierung geeignet sind.
Python -Multiprozessierung ist nicht immer effizienter als serielles Computing. Bei niedrigen CPU-intensiven Aufgaben kann die serielle Berechnung aufgrund des Overheads schneller sein, das durch Aufteilen von Berechnungen zwischen den Prozessen eingeführt wird.
Das Multiprocessing -Modul in Python erstellt einen neuen Prozess für jede Aufgabe, die gleichzeitig ausgeführt werden muss. Jeder Prozess hat seinen eigenen Python -Interpreter und einen Speicherraum, der es ihm erm?glicht, unabh?ngig von anderen Prozessen auszuführen.
W?hrend die Multiprozesation in Python die Geschwindigkeit und Effizienz eines Programms erheblich verbessern kann, erh?ht es auch die Komplexit?t des Codes. Nicht alle Aufgaben sind für die Parallelisierung geeignet, und in einigen F?llen kann der Overhead der Erstellung und Verwaltung mehrerer Prozesse die potenziellen Leistungsgewinne überwiegen.

Eine Einführung in die Parallelit?t

Bevor wir in Python Code eintauchen, müssen wir über Parallel Computing sprechen, was ein wichtiges Konzept in der Informatik ist.

Wenn Sie ein Python -Skript ausführen, wird Ihr Code normalerweise irgendwann zum Prozess und der Prozess wird auf einem einzigen Kern Ihrer CPU ausgeführt. Aber moderne Computer haben mehr als einen Kern. Was ist also, wenn Sie mehr Kerne für Ihre Berechnungen verwenden k?nnten? Es stellt sich heraus, dass Ihre Berechnungen schneller sein werden.

Nehmen wir dies vorerst als allgemeines Prinzip, aber sp?ter in diesem Artikel werden wir sehen, dass dies nicht allgemein wahr ist.

Ohne auf zu viele Details einzugehen, ist die Idee hinter der Parallelit?t, Ihren Code so zu schreiben, dass er mehrere Kerne der CPU verwenden kann.

Um die Dinge einfacher zu machen, schauen wir uns ein Beispiel an.

paralleles und serielles Computing

Stellen Sie sich vor, Sie haben ein gro?es Problem zu l?sen, und Sie sind allein. Sie müssen die Quadratwurzel von acht verschiedenen Zahlen berechnen. Was machst du? Nun, Sie haben nicht viele M?glichkeiten. Sie beginnen mit der ersten Zahl und berechnen das Ergebnis. Dann fahren Sie mit den anderen fort.

Was ist, wenn Sie drei Freunde haben, die gut in Mathe sind, die Ihnen helfen m?chten? Jeder von ihnen berechnet die Quadratwurzel von zwei Zahlen, und Ihr Job wird einfacher, da die Arbeitsbelastung gleicherma?en zwischen Ihren Freunden verteilt ist. Dies bedeutet, dass Ihr Problem schneller gel?st wird.

Okay, also alles klar? In diesen Beispielen repr?sentiert jeder Freund einen Kern der CPU. Im ersten Beispiel wird die gesamte Aufgabe nacheinander von Ihnen gel?st. Dies wird als Seriencomputer bezeichnet. Im zweiten Beispiel verwenden Sie, da Sie insgesamt mit vier Kernen arbeiten, Parallel Computing. Parallele Computing beinhaltet die Verwendung paralleler Prozesse oder Prozesse, die in mehreren Kernen in einem Prozessor unterteilt sind.

Modelle für die parallele Programmierung

Wir haben festgestellt, was parallele Programmierung ist, aber wie verwenden wir sie? Nun, wir sagten zuvor, dass das parallele Computing die Ausführung mehrerer Aufgaben zwischen mehreren Kernen des Prozessors umfasst, was bedeutet, dass diese Aufgaben gleichzeitig ausgeführt werden. Es gibt einige Fragen, die Sie berücksichtigen sollten, bevor Sie sich der Parallelisierung n?hern. Gibt es beispielsweise andere Optimierungen, die unsere Berechnungen beschleunigen k?nnen?

Nehmen wir vorerst an, dass die Parallelisierung die beste L?sung für Sie ist. Es gibt haupts?chlich drei Modelle im parallelen Computer:

• perfekt parallel. Die Aufgaben k?nnen unabh?ngig ausgeführt werden und müssen nicht miteinander kommunizieren.
• gemeinsames Ged?chtnisparallelit?t. Prozesse (oder F?den) müssen kommunizieren, damit sie einen globalen Adressraum teilen.
• Nachricht zum Passieren. Prozesse müssen bei Bedarf Nachrichten freigeben.

In diesem Artikel werden wir das erste Modell veranschaulichen, das auch das einfachste ist.

Python-Multiprozessing: prozessbasierte Parallelit?t in Python

Eine M?glichkeit, die Parallelit?t in Python zu erreichen, besteht darin, das Multiprozessungsmodul zu verwenden. Mit dem Multiprocessing -Modul k?nnen Sie mehrere Prozesse erstellen, von denen jeder mit einem eigenen Python -Interpreter. Aus diesem Grund führt die Python-Multiprozessierung prozessbasierte Parallelit?t durch.

Sie haben vielleicht von anderen Bibliotheken geh?rt, wie Threading, die auch mit Python integriert sind, aber es gibt entscheidende Unterschiede zwischen ihnen. Das Multiprocessing -Modul erstellt neue Prozesse, w?hrend Threading neue Threads erstellt.

Im n?chsten Abschnitt werden wir uns mit den Vorteilen der Verwendung von Multiprocessing befassen.

Vorteile der Verwendung von Multiprocessing

Hier sind einige Vorteile der Multiprozessierung:

• Bessere Verwendung der CPU im Umgang mit hohen CPU-intensiven Aufgaben
Mehr Kontrolle über ein Kind im Vergleich zu Threads
einfach zu codieren

Der erste Vorteil h?ngt mit der Leistung zusammen. Da Multiprocessing neue Prozesse erzeugt, k?nnen Sie die Rechenleistung Ihrer CPU viel besser nutzen, indem Sie Ihre Aufgaben unter den anderen Kernen teilen. Meisten

Der zweite Vorteil befasst sich mit einer Alternative zur Multiprozessierung, die Multithreading ist. Themen sind jedoch keine Prozesse, und dies hat seine Konsequenzen. Wenn Sie einen Thread erstellen, ist es gef?hrlich, ihn zu t?ten oder sogar zu unterbrechen, wie Sie es mit einem normalen Prozess ausführen würden. Da der Vergleich zwischen Multiprozessing und Multithreading nicht im Rahmen dieses Artikels liegt, ermutige ich Sie, weitere Lesen darüber zu lesen.

Der dritte Vorteil der Multiprozessierung besteht darin, dass es recht einfach ist, da die Aufgabe, die Sie zu erledigen m?chten, für eine parallele Programmierung geeignet ist.

Erste Schritte mit Python Multiprocessing

Wir sind endlich bereit, einen Python -Code zu schreiben!

wir beginnen mit einem sehr grundlegenden Beispiel und verwenden es, um die Kernaspekte der Python -Multiprozessierung zu veranschaulichen. In diesem Beispiel haben wir zwei Prozesse:

• Der übergeordnete Prozess. Es gibt nur einen übergeordneten Prozess, der mehrere Kinder haben kann.
• Der Kinderprozess. Dies wird vom Elternteil hervorgebracht. Jedes Kind kann auch neue Kinder haben.

Wir werden den untergeordneten Prozess verwenden, um eine bestimmte Funktion auszuführen. Auf diese Weise kann der Elternteil seine Ausführung fortsetzen.

Ein einfaches Beispiel für Python -Multiprocessing

Hier ist der Code, den wir für dieses Beispiel verwenden werden:

<span>from multiprocessing import Process
</span>
<span>def bubble_sort(array):
</span>    check <span>= True
</span>    <span>while check == True:
</span>      check <span>= False
</span>      <span>for i in range(0, len(array)-1):
</span>        <span>if array[i] > array[i+1]:
</span>          check <span>= True
</span>          temp <span>= array[i]
</span>          array<span>[i] = array[i+1]
</span>          array<span>[i+1] = temp
</span>    <span>print("Array sorted: ", array)
</span>
<span>if __name__ == '__main__':
</span>    p <span>= Process(target=bubble_sort, args=([1,9,4,5,2,6,8,4],))
</span>    p<span>.start()
</span>    p<span>.join()
</span>

In diesem Snippet haben wir eine Funktion namens Bubble_Sort (Array) definiert. Diese Funktion ist eine wirklich naive Implementierung des Blasensortierungsalgorithmus. Wenn Sie nicht wissen, was es ist, machen Sie sich keine Sorgen, denn es ist nicht so wichtig. Das entscheidende zu wissen, ist, dass es eine Funktion ist, die einige Arbeit leistet.

Die Prozessklasse

von Multiprocessing importieren wir den Klassenprozess. Diese Klasse stellt eine Aktivit?t dar, die in einem separaten Prozess ausgeführt wird. In der Tat k?nnen Sie sehen, dass wir einige Argumente bestanden haben:

target = bubble_sort, was bedeutet, dass unser neuer Prozess die Funktion bubble_sort
• ausführt
args = ([1,9,4,52,6,8,4],), das das Array als Argument an die Zielfunktion

, ist

Sobald wir eine Instanz für die Prozessklasse erstellt haben, müssen wir den Prozess nur starten. Dies geschieht durch das Schreiben von P.Start (). Zu diesem Zeitpunkt wird der Prozess gestartet.

Bevor wir beenden, müssen wir warten, bis der Kinderprozess seine Berechnungen beendet hat. Die join () -Methode wartet darauf, dass der Prozess endet.

In diesem Beispiel haben wir nur einen Kinderprozess erstellt. Wie Sie vielleicht vermuten, k?nnen wir mehr Kinderprozesse erstellen, indem wir mehr Instanzen in der Prozessklasse erstellen.

Die Poolklasse

Was ist, wenn wir mehrere Prozesse erstellen müssen, um mehr CPU-intensive Aufgaben zu erledigen? Müssen wir immer explizit auf die Kündigung beginnen und warten? Die L?sung hier ist die Verwendung der Poolklasse.

Mit der Poolklasse k?nnen Sie einen Pool von Arbeitsprozessen erstellen, und im folgenden Beispiel werden wir uns ansehen, wie wir ihn verwenden k?nnen. Dies ist unser neues Beispiel:

<span>from multiprocessing import Process
</span>
<span>def bubble_sort(array):
</span>    check <span>= True
</span>    <span>while check == True:
</span>      check <span>= False
</span>      <span>for i in range(0, len(array)-1):
</span>        <span>if array[i] > array[i+1]:
</span>          check <span>= True
</span>          temp <span>= array[i]
</span>          array<span>[i] = array[i+1]
</span>          array<span>[i+1] = temp
</span>    <span>print("Array sorted: ", array)
</span>
<span>if __name__ == '__main__':
</span>    p <span>= Process(target=bubble_sort, args=([1,9,4,5,2,6,8,4],))
</span>    p<span>.start()
</span>    p<span>.join()
</span>

In diesem Code -Snippet haben wir eine Würfelfunktion (x), die einfach eine Ganzzahl erfordert und seine quadratische Wurzel zurückgibt. Einfach, richtig?

Dann erstellen wir eine Instanz der Poolklasse, ohne ein Attribut anzugeben. Die Poolklasse erstellt standardm??ig einen Prozess pro CPU -Kern. Als n?chstes führen wir die Kartenmethode mit ein paar Argumenten aus.

Die Kartenmethode wendet die Würfelfunktion auf jedes Element des iterablen an, das wir bereitstellen - was in diesem Fall eine Liste jeder Zahl von 10 bis N.

ist

Der gro?e Vorteil davon ist, dass die Berechnungen auf der Liste parallel geschehen!

Nutze der Python -Multiprocessing

am besten verwendet

Erstellen mehrerer Prozesse und parallele Berechnungen ist nicht unbedingt effizienter als serielles Computing. Bei niedrigen CPU-intensiven Aufgaben ist die serielle Berechnung schneller als die parallele Berechnung. Aus diesem Grund ist es wichtig zu verstehen, wann Sie Multiprocessing verwenden sollten - was von den Aufgaben abh?ngt, die Sie ausführen.

Um Sie davon zu überzeugen, schauen wir uns ein einfaches Beispiel an:

<span>from multiprocessing import Pool
</span><span>import time
</span><span>import math
</span>
N <span>= 5000000
</span>
<span>def cube(x):
</span>    <span>return math.sqrt(x)
</span>
<span>if __name__ == "__main__":
</span>    <span>with Pool() as pool:
</span>      result <span>= pool.map(cube, range(10,N))
</span>    <span>print("Program finished!")
</span>

Dieses Snippet basiert auf dem vorherigen Beispiel. Wir l?sen das gleiche Problem, n?mlich die Quadratwurzel von N -Zahlen, jedoch auf zwei Arten. Der erste beinhaltet die Verwendung von Python -Multiprozessing, w?hrend der zweite nicht. Wir verwenden die Methode perf_counter () aus der Zeitbibliothek, um die Zeitleistung zu messen.

Auf meinem Laptop bekomme ich dieses Ergebnis:

<span>from multiprocessing import Pool
</span><span>import time
</span><span>import math
</span>
N <span>= 5000000
</span>
<span>def cube(x):
</span>    <span>return math.sqrt(x)
</span>
<span>if __name__ == "__main__":
</span>    <span># first way, using multiprocessing
</span>    start_time <span>= time.perf_counter()
</span>    <span>with Pool() as pool:
</span>      result <span>= pool.map(cube, range(10,N))
</span>    finish_time <span>= time.perf_counter()
</span>    <span>print("Program finished in {} seconds - using multiprocessing".format(finish_time-start_time))
</span>    <span>print("---")
</span>    <span># second way, serial computation
</span>    start_time <span>= time.perf_counter()
</span>    result <span>= []
</span>    <span>for x in range(10,N):
</span>      result<span>.append(cube(x))
</span>    finish_time <span>= time.perf_counter()
</span>    <span>print("Program finished in {} seconds".format(finish_time-start_time))
</span>

Wie Sie sehen, gibt es mehr als einen Sekundenspunkt. In diesem Fall ist die Multiprozessierung besser.

Lassen Sie uns etwas im Code ?ndern, wie den Wert von N. Lassen Sie uns auf n = 10000 senken und sehen, was passiert.

Das bekomme ich jetzt:

<span>> python code.py
</span>Program finished <span>in 1.6385094 seconds - using multiprocessing
</span>---
Program finished <span>in 2.7373942999999996 seconds
</span>

Was ist passiert? Es scheint, dass Multiprocessing jetzt eine schlechte Wahl ist. Warum?

Der Overhead, der durch Aufspalten der Berechnungen zwischen den Prozessen eingeführt wird, ist im Vergleich zu der gel?sten Aufgabe zu stark. Sie k?nnen sehen, wie viel Unterschied es in Zeitaufführungen gibt.

Schlussfolgerung

In diesem Artikel haben wir über die Leistungsoptimierung des Python -Codes mithilfe von Python -Multiprocessing gesprochen.

Erstens haben wir kurz vorgestellt, was paralleles Computer ist und die Hauptmodelle dafür. Dann sprachen wir über Multiprocessing und seine Vorteile. Am Ende sahen wir, dass die Parallelisierung der Berechnungen nicht immer die beste Wahl ist, und das Multiprozessungsmodul sollte zur parallelisierenden CPU-gebundenen Aufgaben verwendet werden. Wie immer geht es darum, das spezifische Problem zu berücksichtigen, mit dem Sie konfrontiert sind, und die Vor- und Nachteile der verschiedenen L?sungen zu bewerten.

Ich hoffe, Sie haben festgestellt

FAQs über die Python -Multiprozessing und die parallele Programmierung

Was ist der Hauptvorteil bei der Verwendung von Multiprozessing in Python? Dies ist besonders vorteilhaft bei der Arbeit mit CPU-intensiven Aufgaben, da das Programm mehrere Kerne der CPU nutzen kann, wodurch die Geschwindigkeit und Effizienz des Programms erheblich verbessert wird. Im Gegensatz zum Gewinde leidet die Multiprozessierung nicht an der globalen Interpreter -Sperre (GIL) in Python, was bedeutet, dass jeder Prozess unabh?ngig laufen kann, ohne von anderen Prozessen betroffen zu sein. Dies macht Multiprocessing zu einem leistungsstarken Werkzeug für die parallele Programmierung in Python. gleichzeitig ausgeführt werden. Jeder Prozess hat einen eigenen Python -Interpreter und einen eigenen Speicherplatz, was bedeutet, dass er unabh?ngig von anderen Prozessen ausgeführt werden kann. Das Multiprocessing -Modul bietet eine Reihe von Klassen und Funktionen, mit denen diese Prozesse einfach erstellt und verwaltet werden k?nnen. Zum Beispiel wird die Prozessklasse verwendet, um einen neuen Prozess zu erstellen, w?hrend die Poolklasse zum Verwalten eines Pools von Arbeitsprozessen verwendet wird. > Der Hauptunterschied zwischen Multiprozessing und Multithreading in Python liegt in der Art und Weise, wie sie mit Aufgaben umgehen. W?hrend Multiprocessing für jede Aufgabe einen neuen Prozess erstellt, erstellt Multithreading einen neuen Thread im selben Prozess. Dies bedeutet, dass Multithreading zwar mehrere CPU -Kerne durch die globale Interpreter -Sperre (GIL) in Python begrenzt wird, wodurch nur ein Thread gleichzeitig ausgeführt wird. Multithreading kann jedoch immer noch für I/O-gebundene Aufgaben nützlich sein, bei denen das Programm die meiste Zeit damit verbringt, auf Eingabe-/Ausgangsvorg?nge abzuschlie?en.

Wie kann ich Daten zwischen Prozessen in Python teilen? Dazu geh?ren die Wert- und Array -Klassen, die die Erstellung gemeinsamer Variablen bzw. Arrays erm?glichen. Es ist jedoch wichtig anzumerken, dass, da jeder Prozess seinen eigenen Speicherplatz hat, ?nderungen an gemeinsam genutzten Variablen oder Arrays in einem Prozess in anderen Prozessen nicht reflektiert werden, es sei denn, sie werden mithilfe von Sperren oder anderen Synchronisationsprimitiven explizit synchronisiert.

Was sind die m?glichen Fallstricke bei der Verwendung von Multiprozessing in Python? In Python kann die Geschwindigkeit und Effizienz Ihres Programms erheblich verbessern, es wird auch mit eigenen Herausforderungen verbunden. Eine der Hauptverfahren ist die erh?hte Komplexit?t Ihres Codes. Das Verwalten mehrerer Prozesse kann komplexer sein als das Verwalten eines einsthread-Programms, insbesondere wenn es um die Behandlung gemeinsamer Daten und die Synchronisierungsprozesse geht. Darüber hinaus ist das Erstellen eines neuen Prozesses ressourcenintensiver als das Erstellen eines neuen Threads, was zu einem erh?hten Speicherverbrauch führen kann. Schlie?lich sind nicht alle Aufgaben für die Parallelisierung geeignet, und in einigen F?llen kann der Aufwand des Erstellens und Verwaltens mehrerer Prozesse die potenziellen Leistungssteigerungen überwiegen. ??> Handhabung von Ausnahmen bei der Multiprozessierung in Python kann etwas schwierig sein, da Ausnahmen, die in Kindernprozessen auftreten, nicht auftreten sich automatisch auf den übergeordneten Prozess ausbreiten. Das Multiprocessing -Modul bietet jedoch verschiedene M?glichkeiten, Ausnahmen zu behandeln. Eine M?glichkeit besteht darin, die IS_ALIVE () -Methode der Prozessklasse zu verwenden, um zu überprüfen, ob noch ein Prozess ausgeführt wird. Wenn die Methode false zurückgibt, bedeutet dies, dass der Prozess beendet wurde, was auf eine Ausnahme zurückzuführen ist. Eine andere M?glichkeit besteht darin, das ExitCode -Attribut der Prozessklasse zu verwenden, mit dem weitere Informationen darüber geliefert werden k?nnen, warum ein Prozess terminiert ist. Andere Python -Bibliotheken. Es ist jedoch wichtig zu beachten, dass nicht alle Bibliotheken so konzipiert sind, dass sie in einer Multiprozesationsumgebung verwendet werden. Einige Bibliotheken sind m?glicherweise nicht threadsicher oder unterstützen m?glicherweise nicht die gleichzeitige Ausführung. Daher ist es immer eine gute Idee, die Dokumentation der Bibliothek zu überprüfen, die Sie verwenden, um festzustellen, ob sie die Multiprozessierung unterstützt.

Wie kann ich ein Multiprozessing -Programm in Python debuggen? Es gibt jedoch verschiedene Techniken, mit denen Sie Ihr Programm debuggen k?nnen. Eine M?glichkeit besteht darin, Druckanweisungen zu verwenden oder sich anzumelden, um die Ausführung Ihres Programms zu verfolgen. Eine andere M?glichkeit besteht darin, die Funktion des PDB -Moduls set_trace () zu verwenden, um Breakpoints in Ihrem Code festzulegen. Sie k?nnen auch spezielle Debugging -Tools verwenden, die die Multiprozessierung unterstützen, z. Betriebssysteme? Das Multiprocessing -Modul ist Teil der Standard -Python -Bibliothek, was bedeutet, dass es auf allen Plattformen erh?ltlich ist, die Python unterstützen. Das Verhalten des Multiprozessierungsmoduls kann jedoch aufgrund von Unterschieden in der Umgangszahlung mit Prozessen zwischen verschiedenen Betriebssystemen geringfügig variieren. Daher ist es immer eine gute Idee, Ihr Programm auf dem Zielbetriebssystem zu testen, um sicherzustellen, dass es wie erwartet funktioniert. Verwenden der Multiprozessierung in Python geh?ren:

- Vermeiden Sie die Teilen von Daten zwischen Prozessen, wann immer m?glich, da dies zu komplexen Synchronisationsproblemen führen kann. Verwalten Sie Ihre Arbeitsprozesse, da es eine Schnittstelle auf h?herer Ebene bietet, die den Prozess des Erstellens und Verwaltens von Prozessen vereinfacht. Das Programm wird fortgesetzt.

- Ausnahmen ordnungsgem?? behandeln, um zu verhindern Umgebung.

Das obige ist der detaillierte Inhalt vonEin Leitfaden zur Python -Multiprocessing und zur parallele Programmierung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!