golang高并发项目

以下是一些关于golang高并发项目的信息：，，- Go 的并发属于 CSP 并发模型的一种实现，CSP 并发模型的核心概念是：“不要通过共享内存来通信，而应该通 过通信来共享内存”。 这在 Go 语言中的实现就是 Goroutine 和 Channel。，- 在一些场景下，有大规模请求(十万或百万级qps),我们处理的请求可能不需要立马知道结果，例如数据的打点，文件的上传等等。 这时候我们需要异步化处理。 常用的方法有使用resque、MQ、RabbitMQ等。

golang简介

Go(又称Golang)是Google开发的一种静态强类型，编译型，并具有垃圾回收功能的编程语言，它于2007年11月由Robert Griesemer,Rob Pike和Ken Thompson共同设计，并在2009年正式推出，Go语言的设计目标是实现简洁、高效、安全和可靠的编程语言，相较于C++,Go语言更注重代码的可读性和简洁性，同时也具有较高的性能，Go语言广泛应用于Web开发、云计算、微服务、分布式系统等领域。

高并发任务调度实践

1、使用goroutine和channel进行并发编程

Go语言中，goroutine是轻量级的线程，它们在同一个程序内执行，而不受操作系统的限制，通过使用channel,我们可以在不同goroutine之间传递数据，实现任务之间的通信，下面是一个简单的示例：

package main
import (
 "fmt"
 "time"
)
func worker(id int, jobs <-chan int, results chan<int) {
 for j := range jobs {
  fmt.Println("worker", id, "processing job", j)
  time.Sleep(time.Second)
  results <j * 2
 }
}
func main() {
 const numJobs = 5
 const numWorkers = 3
 jobs := make(chan int, numJobs)
 results := make(chan int, numJobs)
 // 启动工作协程
 for w := 1; w <= numWorkers; w++ {
  go worker(w, jobs, results)
 }
 // 提交任务到工作队列
 for j := 1; j <= numJobs; j++ {
  jobs <j
 }
 close(jobs)
 // 收集结果并输出
 for a := 1; a <= numJobs; a++ {
  <-results
 }
}

2、使用sync.WaitGroup进行任务同步与等待

在上述示例中，我们使用了goroutine和channel实现了简单的任务调度，当任务数量较大时，可能会出现多个goroutine同时访问channel的情况，导致数据竞争和死锁，为了解决这个问题，我们可以使用sync.WaitGroup来实现任务同步与等待，以下是一个使用sync.WaitGroup的示例：

package main
import (
 "fmt"
 "sync"
 "time"
)
func worker(id int, jobs <-chan int, results *[]int) {
 defer func() {
  close(*results)
 }()
 for j := range jobs {
  process(j) // 处理任务的函数名需要替换为实际的函数名
 }
}
func main() {
 const numJobs = 5
 const numWorkers = 3
 jobs := make(chan int, numJobs)
 results := make([]*int, numJobs) // 需要使用指针接收结果，以便修改结果数组的内容
 var waitGroup sync.WaitGroup // 定义一个WaitGroup对象用于同步和等待任务完成
 waitGroup.Add(numWorkers) // 将工作协程的数量添加到WaitGroup中
 for w := 1; w <= numWorkers; w++ { // 启动工作协程并将其ID放入jobs通道中
  go worker(w, jobs, &results[w-1]) // 注意：这里需要将results数组的索引减1,以便正确地引用数组元素并修改其值
 }
 for j := 1; j <= numJobs; j++ { // 将任务提交到工作队列中(注意：这里需要将jobs通道作为参数传递给worker函数)
  jobs <j // 将任务ID推送到jobs通道中，以便工作协程接收并处理任务
 } close(jobs) // 当所有任务都已提交后，关闭jobs通道以通知工作协程退出循环并结束任务调度过程
 waitGroup.Wait() // 当所有工作协程都已完成任务调度后，调用WaitGroup的Wait方法等待它们全部结束(注意：这里需要将jobs通道作为参数传递给WaitGroup的Wait方法)